アマゾンのMapReduceなし減速ジョブ
-
22-09-2019 - |
質問
私はAWS(ストリーミング仕事)を経由してマッパーのみジョブを作成しようとしています。 私はダミーの実行ファイルを与え、そしてエクストラArgsのボックスに-jobconf mapred.map.tasks = 0を追加していて減速フィールドが、必要とされます。私がインストールしたのHadoop環境(バージョン0.20)では、全く減速ジョブは起動しないでしょうが、AWSでダミーの実行ファイルが起動し、失敗します。
AWSでno減速/マッパーにのみジョブを実行するにはどうすればよい?
解決
あなたも減速引数として猫またはNONEを使用することができます。
他のヒント
M / Rマッパーアマゾンでのみジョブを作成する方法はありません。 私が代わりにアイデンティティリデューサ(org.apache.hadoop.mapred.lib.IdentityReducer)を使用しています。
所属していません StackOverflow