ElasticMapReduceからS3にzipファイルとしてディレクトリをアップロードする

Question

ディレクトリをEMRローカルファイルシステムからs3にzipファイルとしてアップロードしたいと思います。

現在使用している方法よりも、これにアプローチするためのより良い方法はありますか？

ZipOutputStreamをレデューサー出力として返すことは可能ですか？

ありがとう ジェネラコディセタグプレ

Answer 1

あなたが取っているアプローチはうまく見えます。シングルスレッドであるために遅すぎることがわかった場合は、zipファイルに書き込む独自のHadoopOutputFormat実装を作成できます。

注意しなければならないことの1つは、Java SEのZipOutputFormatの実装はZip64をサポートしていないことです。つまり、4GBを超えるサイズのZIPファイルはサポートしていません。TrueZIPのように、ZIPには他にもJavaの実装があります。