Lesen und Schreiben von großen Dateien in und vom Google App-Motor mit Google App-Motor

Question

Ich habe mich gefragt, ob Google App Engine die Lesung und Schreiben von großen Dateien (Beispiel, Textdateien von Größe mehr als 2 GB) in und vom Google-Laufwerk oder Cloud-Speicher unterstützt?

Welche Probleme kann ich erwarten?

Ich benutze übrigens den Python-2,7-Google-App-Motor SDK.

---

Updates.

Ich möchte bis zu einer Million Zeilen von Daten aus dem Datenspeicher von Google (oder möglicherweise der neuen NDB) und speichern Sie die Daten in eine Textdatei, um die weitere Verarbeitung entweder auf Google Cloud-Berechnung oder einige Dienste von Drittanbietern wie Picloud zu speichern.

Die Daten sind im Wesentlichen eine Netzwerkbeziehung und es geht so: generasacodicetagpre.

Das oben bedeutet, dass a mit B verbunden ist, B ist mit C verbunden, und a ist mit d verbunden, und so auf ...

Wie ich über eine Million Ränder habe, denke ich, dass ich vielleicht die Task-Warteschlange oder den CRON-Job verwenden muss, um dies zu tun?

Nachdem ich die Beziehungen verarbeitet habe, habe ich eine weitere Textdatei, die einige Punkte zwischen jedem Knotenpaar enthält, das ich in die Datenbank zurückschreiben kann.

beste Grüße.

Answer 1

Ja, es tut - die Frage ist, wie Sie die Dateien schreiben möchten?

Sie können entweder direkt auf Cloud-Speicher laden, indem Sie entweder gsutil oder create_upload_url , oder Sie können mit diesem Dateien API .

Wenn Sie die Datei-API verwenden, müssen Sie in Brocken nicht mehr als 32 MB lesen oder schreiben.

Answer 2

Eine API ist in der Nähe der App-Engine, oder ich nehme an, Sie können die REST Cloud-API verwenden.Ich habe gerade mit dem angefangen, aber hier ist die API-Seite https://developers.google.com/appegine/docs/python/googlestorage/