Mapreduce riduttore inefficiente

Question

Cosa causerebbe solo un singolo riduttore in un lavoro di MapreDuce a parte tutti gli output dei tasti dalla funzione della mappa è la stessa?

Answer 1

Possibili cause:

.
1. Il tuo cluster ha ancora l'impostazione predefinita di avere solo 1 riduttore (= valore predefinito).
2. Il tuo codice imposta esplicitamente il valore per essere 1 riduttore.
3. Si è in esecuzione in modalità locale (cioè nessun cluster).

   citazione da Mapred-default.xml

   <property>
     <name>mapred.reduce.tasks</name>
     <value>1</value>
     <description>The default number of reduce tasks per job. Typically set to 99%
     of the cluster's reduce capacity, so that if a node fails the reduces can 
     still be executed in a single wave.
     Ignored when mapred.job.tracker is "local".
     </description>
   </property>
   

   .