Come aumentare il numero di contenitori a NodeManager in filati

Question

Un nodo nel mio cluster di filati ha una memoria da 64 GB e 24 core.Ho impostato le seguenti proprietà nel filato-sito.xml:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

.

Ma ho trovato che il NodeManager nel nodo ha solo 7 contenitori.Quali sono le altre proprietà che devo impostare?

Answer 1

È necessario dire a filato come abbattere la memoria ai contenitori, quindi ad esempio se si imposta la memoria per contenitore su 2 GB ti darà 16 contenitori

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

.

Answer 2

Prova qualcosa come:

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>

.