MapReduceバージョン2の入門
-
21-12-2019 - |
質問
おはようございます、
私は糸(すなわち2番目のバージョンのMapReduceの2番目のバージョン)を見つけることに成功しなかった、常に提示されているものは、MapReduceの最初のバージョンで提示されたものとまったく同じコードであるWordCountです。 「Hadoop:決定的なガイド」でさえ、糸のコードはありません!
前のバージョンと最新バージョンでMapReduceコードを書くという違いを示すコードを私に提供することができますか?
実際、私はMR1に枝と束縛コードを書いていていましたが、ヤーンは分岐除去されていることを簡単にすることができることを見ました。
あらゆる助けが高く評価されています 事前にありがとう
解決
ソースコードの単一の行を変更することなく、MRV1用に書き込まれたプログラムをYARN(MRV2)にコンパイルできます。それは完全にソースコード互換です。
これは糸の例です: http://wiki.apache.org/hadoop/wordcount
これはMap Red 1の例です。例: HTTPS://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#example%3a + WordCount+v1.0
APIレベルで注意するいくつかの明らかな違い:
- 新しいAPIはインターフェイス上で抽象クラスを使用します
- MapReduceパッケージが異なる
所属していません StackOverflow