Ler e gravar arquivos grandes de e para o Google Drive ou Cloud Storage usando o Google App Engine

Question

Gostaria de saber se o Google App Engine oferece suporte à leitura e gravação de arquivos grandes (por exemplo, arquivos de texto com tamanho superior a 2 GB) no Google Drive ou no Cloud Storage.

Que problemas posso esperar?

A propósito, estou usando o SDK do Google App Engine Python 2.7.

---

Atualizações.

Pretendo ler até um milhão de linhas de dados do Data Store do Google (ou talvez do novo NDB) e salvar os dados em um arquivo de texto para processamento posterior no Google Cloud Compute ou em alguns serviços de terceiros como o PiCloud.

Os dados são basicamente um relacionamento de rede e são assim:

A -> B
B -> C
A -> D

O que foi dito acima significa que A está ligado a B, B está ligado a C e A está ligado a D e assim por diante...

Como tenho mais de um milhão de arestas, acho que talvez seja necessário usar a fila de tarefas ou o cron job para fazer isso.

Então, depois de processar os relacionamentos, terei outro arquivo de texto que contém algumas pontuações entre cada par de nós, que irei gravar de volta no banco de dados.

Atenciosamente.

Answer 1

Sim, é verdade - a questão é como você pretende gravar os arquivos?

Você pode fazer upload direto para o Cloud Storage usando gsutil ou criar_upload_url, ou você pode escrever a partir do seu aplicativo usando este API de arquivos.

Se estiver usando a API de arquivo, você precisará ler ou escrever em blocos de no máximo 32 MB.

Answer 2

existe uma API para o mecanismo de aplicativo ou suponho que você possa usar a API da nuvem REST.Acabei de começar com isso, mas aqui está a página da APIhttps://developers.google.com/appengine/docs/python/googlestorage/