Lettura e scrittura di file di grandi dimensioni da e verso Google Drive o cloud Storage utilizzando Google App Engine

Question

Mi stavo chiedendo se Google App Engine supporta la lettura e la scrittura di file di grandi dimensioni (esempio, file di testo di dimensioni più di 2 GB) dentro e da Google Drive o Cloud Storage?

Quali problemi posso aspettarmi?

Sto usando il Python 2,7 Google App Engine Engine A proposito.

---

.

Aggiornamenti.

Io intendo leggere fino a un milione di righe di dati dall'archivio dati di Google (o forse il nuovo NDB) e salvare i dati in un file di testo per ulteriori elaborazioni su Google Cloud Compute o alcuni servizi di terze parti come Picloud.

I dati sono fondamentalmente una relazione di rete ed è così:

A -> B
B -> C
A -> D

.

Quanto sopra significa che A è collegato a B, B è collegato a C e A è collegato a D e così su ...

Come ho oltre un milione di bordi, penso che potrei dover usare la coda di attività o il lavoro di cron per farlo?

So che dopo aver elaborato le relazioni, avrò un altro file di testo che contiene alcuni punteggi tra ogni coppia di nodi, che avrò di nuovo nel database.

Cordiali saluti.

Answer 1

Sì, lo fa - la domanda è come intendi scrivere i file?

Puoi caricare direttamente su cloud storage utilizzando gsutil o create_upload_url o puoi scrivere dalla tua app usando questo https API API .

Se stai utilizzando l'API del file, è necessario leggere o scrivere in blocchi non più grandi di 32 MB.

Answer 2

Un API è in giro per il motore dell'app o suppongo che tu possa usare l'API del resto cloud.Ho appena iniziato con questo, ma qui è la pagina API https://developers.google.com/appengine/docs/python/googlestorage/