Hadoopストリーミングで生成されたシーケンスファイルを作成できません
-
26-10-2019 - |
質問
Mahoutの例の1つによって生成されたシーケンスファイルをストリーミングして、その内容を確認しようとしています。
hadoop jar hadoop-streaming-0.20.2-cdh3u0.jar \
-input /tmp/mahout-work-me/20news-bydate/bayes-test-input-output/ \
-output /tmp/me/mm \
-mapper "cat" \
-reducer "wc -l" \
-inputformat SequenceFileAsTextInputFormat
仕事は正常に始まり、最終的には次のように死にます。
11/11/30 21:08:39 INFO streaming.StreamJob: map 0% reduce 0%
11/11/30 21:09:17 INFO streaming.StreamJob: map 100% reduce 100%
java.lang.RuntimeException: java.io.IOException: WritableName can't load class: org.apache.mahout.common.StringTuple
私のストリーミングジャーファイルに何か問題があるのだろうか、IIがこのクラスを備えたMahout Jarを明示的に指す必要がある場合(hadoop_classpathをmahout-core-0.5-cdh3u2.jarの場所に設定しようとしましたが、機能しませんでした)、または機能しませんでした)、または機能しませんでした)、または多分何か他のものさえ?
どんな助けも感謝しています。ありがとう。
解決
このオプションを追加します:
-libjars mahout-core-0.5-cdh3u2.jar
所属していません StackOverflow