MapReduce Reducer inefficace
Question
Qu'est-ce qui ne provoquerait qu'un seul réducteur dans un travail MapReduce en dehors de toutes les sorties de touches par la fonction de carte étant la même?
La solution
Causes possibles:
- Votre cluster a toujours le paramètre par défaut d'avoir seulement 1 réducteur (= valeur par défaut).
- Votre code définit explicitement la valeur à 1 réducteur.
- Vous utilisez en mode local (c'est-à-dire pas de cluster du tout).
Citation de mapred-default.xml
<property>
<name>mapred.reduce.tasks</name>
<value>1</value>
<description>The default number of reduce tasks per job. Typically set to 99%
of the cluster's reduce capacity, so that if a node fails the reduces can
still be executed in a single wave.
Ignored when mapred.job.tracker is "local".
</description>
</property>
Licencié sous: CC-BY-SA avec attribution
Non affilié à StackOverflow