Lecture et écriture de fichiers volumineux vers et depuis Google Drive ou Stockage Cloud à l'aide de Google App Moteur

Question

Je me demandais si Google App Engine prend en charge la lecture et l'écriture de fichiers volumineux (exemple, des fichiers texte de taille supérieure à 2 Go) dans et à partir de Google Drive ou Stock Stockage?

Quels problèmes puis-je m'attendre?

J'utilise le SDK Python 2,7 Google App Moteur de Google.

---

mises à jour.

J'ai l'intention de lire jusqu'à un million de lignes de données de Google Data Store (ou peut-être la nouvelle NDB), et enregistrez les données dans un fichier texte pour un traitement ultérieur sur Google Cloud Compute ou certains services tiers tels que Picloud.

Les données sont essentiellement une relation réseau et cela va comme ceci:

A -> B
B -> C
A -> D

Le moyen ci-dessus signifie que A est lié à B, B est lié à C et A est relié à D et ainsi de suite ...

Comme j'ai plus d'un million de bords, je pense que je devrais devoir utiliser la file d'attente de la tâche ou le travail cron pour le faire?

Afin après avoir traité les relations, je vais avoir un autre fichier texte qui contient des scores entre chaque paire de nœuds, que je vais de retourner dans la base de données.

meilleures salutations.

Answer 1

Oui, c'est la question - la question est de savoir comment l'intention d'écrire les fichiers?

Vous pouvez soit télécharger directement au stockage en cloud à l'aide de gsutil ou create_upload_url , ou vous pouvez écrire à partir de votre application à l'aide de ce Fichiers API .

Si vous utilisez l'API de fichier, vous devez lire ou écrire dans des morceaux de plus de 32 Mo.

Answer 2

Une API est autour du moteur App ou je suppose que vous pouvez utiliser l'API du cloud de repos.Je viens de commencer avec cela mais voici la page API https://developers.google.com/appengine/docs/python/googlestorage/