Google App Engine을 사용하여 Google 드라이브 또는 클라우드 스토리지로 대용량 파일 읽기 및 쓰기

Question

Google App Engine이 Google 드라이브 또는 클라우드 스토리지로 대규모 파일 (예 : 2GB 이상의 크기의 텍스트 파일)을 읽고 쓰는 것을 지원하는지 궁금해하고있었습니다.

어떤 문제가 기대할 수 있습니까?

나는 Python 2,7 Google App Engine SDK를 사용하여 사용하고 있습니다.

---

업데이트

Google의 데이터 저장소 (또는 새로운 NDB)에서 최대 100 만 열의 데이터를 읽고 Google Cloud Compute 또는 Picloud와 같은 일부 타사 서비스에서 추가 처리를 위해 데이터를 텍스트 파일에 저장하려고합니다.

데이터는 기본적으로 네트워크 관계 가며 다음과 같이됩니다.

A -> B
B -> C
A -> D

.

a는 a가 b, b에 링크 된 b가 c와 연결되어 있고 a는 d 등에 연결되어 있습니다 ...

백만 개의 가장자리가 넘 듯이, 작업 큐 또는 크론 작업을 사용해야 할 수도 있습니다.

그래서 관계를 처리 한 후에는 데이터베이스에 다시 쓰는 것보다 각 쌍의 노드 사이에 일부 점수를 포함하는 또 다른 텍스트 파일을 가질 것입니다.

최고의 안부.

Answer 1

예, 그 이유는 파일을 작성하려는 방법입니다.

"NoFollow"> gsutil 또는 create_upload_url 또는이 파일 API .

파일 API를 사용하는 경우 32MB보다 큰 청크를 읽거나 쓸 필요가 있습니다.

Answer 2

API는 APP 엔진을 위해 주변에 있거나 REST Cloud API를 사용할 수 있다고 가정합니다.방금 이걸 시작했지만 여기에는 API 페이지가 있습니다. "Nofollow"> https://developers.google.com/appengine/doc/python/googine/docs/python/googlestorage/