Hadoopストリーミング最大ライン長

Question

Amazon Elastic Map ReduceのHadoopストリーミングワークフローに取り組んでおり、いくつかのバイナリオブジェクトをシリアル化してHadoopにストリーミングすることが含まれます。 Hadoopには、ストリーミング入力に最大のライン長がありますか？

私は大きくて大きな線でテストし始めましたが、最初にここで尋ねると考えました。

Answer 1

ラインの長さに制限が課されていないようです。質問をしてから、バイナリオブジェクトをシリアル化するコードを作成し、Base64でそれらをエンコードし、処理のためにストリームに入れます。その結果、いくつかの行は非常に長いです。 Hadoopは、苦情と一緒にまっすぐ噛みます。