MapReduce非効率的な減速機

Question

Map関数によって出力されたすべてのキーから離れてマップreduceジョブの中で単一の減速機のみを引き起こすのですか？

Answer 1

考えられる原因：

1. クラスタはまだ1回の減速機（=デフォルト値）を持つデフォルト設定を持っています。
2. コードは、値を1倍にすると明示的に設定します。
3. ローカルモードで実行中（まったくクラスタなし）。

   mapred-default.xml

   <property>
     <name>mapred.reduce.tasks</name>
     <value>1</value>
     <description>The default number of reduce tasks per job. Typically set to 99%
     of the cluster's reduce capacity, so that if a node fails the reduces can 
     still be executed in a single wave.
     Ignored when mapred.job.tracker is "local".
     </description>
   </property>
   

   .