Comment augmenter le nombre de conteneurs dans NODEMANAGER dans le fil

Question

Un nœud de mon cluster de fil a 64 Go de mémoire et 24 cœurs.Je définit les propriétés suivantes dans le site de fil-site.xml:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

Mais j'ai trouvé toujours le nodemanager dans le nœud n'a que 7 conteneurs.Quelles sont les autres propriétés dont j'ai besoin pour définir?

Answer 1

Vous devez dire au fil comment décomposer la mémoire aux conteneurs afin que vous définissez la mémoire par conteneur sur 2GB vous donnera 16 conteneurs

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

Answer 2

Essayez quelque chose comme:

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>