Lectura y escritura de archivos grandes desde y hacia Google Drive o Cloud Storage usando Google App Motor

Question

Me preguntaba si Google App Engine admite la lectura y la escritura de archivos grandes (ejemplo, archivos de texto de tamaño de más de 2 GB) desde y hacia Google Drive o Storage Cloud?

¿Qué problemas puedo esperar?

Estoy usando el SDK del motor de la aplicación de Google de Python 2,7 por cierto.

---

Actualizaciones.

Tengo la intención de leer hasta un millón de filas de datos de la tienda de datos de Google (o quizás la nueva NDB), y guardar los datos en un archivo de texto para su procesamiento adicional en Google Cloud Compute o en algunos servicios de terceros como Picloud.

Los datos son básicamente una relación de red y va así:

A -> B
B -> C
A -> D

Lo anterior significa que A está vinculado a B, B está vinculado a C y A está vinculado a D y así, en ...

Como tengo más de un millón de bordes, ¡creo que podría tener que usar la cola de tareas o el trabajo de Cron para hacer esto?

Entonces, después de procesar las relaciones, tendré otro archivo de texto que contenga algunas puntuaciones entre cada par de nodos, que lo haré que volver a escribir en la base de datos.

Saludos cordiales.

Answer 1

sí lo hace: la pregunta es ¿cómo pretende escribir los archivos?

Puede cargar directamente al almacenamiento en la nube utilizando gsutil o create_upload_url , o puede escribir en su aplicación usando este archivos api .

Si está utilizando la API del archivo, debe leer o escribir en trozos, no más de 32MB.

Answer 2

Una API está alrededor para el motor de la aplicación o supongo que puede usar la API de la nube de descanso.Acabo de empezar con esto, pero aquí está la página API. https://developers.google.com/appengine/docs/python/googlestorage/