Mapreduce ineficiente reductor

Question

¿Qué causaría solo un solo reductor en un trabajo MapReduce que aparte de todas las teclas de salida por la función del mapa es el mismo?

Answer 1

Causas posibles:

1. Su clúster aún tiene la configuración predeterminada de tener solo 1 reductor (= valor predeterminado).
2. Su código establece explícitamente el valor para ser 1 reductor.
3. Está ejecutando en modo local (es decir, no hay clúster en absoluto).

   cita de MAPRED-default.xml

   <property>
     <name>mapred.reduce.tasks</name>
     <value>1</value>
     <description>The default number of reduce tasks per job. Typically set to 99%
     of the cluster's reduce capacity, so that if a node fails the reduces can 
     still be executed in a single wave.
     Ignored when mapred.job.tracker is "local".
     </description>
   </property>