Como aumentar o número de contêineres no nodemanager no YARN
Pergunta
Um nó em meu cluster YARN possui 64 GB de memória e 24 núcleos.Defino as seguintes propriedades no yarn-site.xml:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
Mas ainda descobri que o nodemanager no nó tem apenas 7 contêineres.Quais são as outras propriedades que preciso definir?
Solução
Você precisa dizer ao YARN como dividir a memória em contêineres, por exemplo, se você definir a memória por contêiner como 2 GB, você terá 16 contêineres
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
Outras dicas
tente algo como:
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
Licenciado em: CC-BY-SA com atribuição
Não afiliado a StackOverflow