Google App Engineを使用してGoogleドライブまたはクラウドストレージとの間で大きなファイルを読み書きする
-
11-12-2019 - |
質問
Google App EngineがGoogle DriveまたはCloud Storageへの大きなファイル(例、2GBを超えるサイズのテキストファイル)の読み書きをサポートしているのか疑問に思いましたか?
どのような問題が期待できますか?
方法でPython 2,7 Google App Engine SDKを使用しています。
アップデート
Googleのデータストア(または新しいNDB)から最大百万行のデータを読み取り、PICloudのようなGoogle Cloud Computeまたはサードパーティのサービスのどちらかをさらに処理するためにデータをテキストファイルに保存する予定です。
データは基本的にネットワーク関係で、このようになります。
A -> B
B -> C
A -> D
.
上記のことは、AがBにリンクされていることを意味し、BはCとAにリンクされていること、Dなどにリンクされています...
私が百万のエッジを超えているので、私はこれを行うためにタスクキューまたはクルンの仕事を使う必要があるかもしれないと思いますか?
だから私が関係を処理した後、私はデータベースに書き戻すよりも、ノードの各ペアの間にいくつかのスコアを含む別のテキストファイルを持っています。
最善について
解決
はい、そうです - 質問はあなたがファイルをどのように書くつもりですか?
どちらの gsutil または create_upload_url 、あるいはこのファイルAPI 。
ファイルAPIを使用している場合は、チャンクを32MB以下のチャンクに読み書きする必要があります。
他のヒント
APIはApp Engineのためのものです。また、REST Cloud APIを使用できると思います。私はちょうどこれを始めましたが、ここはAPIページです https://developers.google.com/appengine/docs/python/googlestorage/a>