Configuração do contêiner Hadoop Yarn (CPU, memória…)

Question

Acabei de configurar um novo cluster Hadoop com Hadoop 2.2.0 e executar o trabalho MapReduce no HBase baseado na estrutura Yarn.

Estou com um problema de configuração de containers.Em geral, temos 8 nós, metade dos quais são máquinas antigas com CPU de 8 núcleos e metade são máquinas novas com CPU de 24 núcleos.Gostaria de saber se é possível configurar separadamente com mais containers em máquinas novas e menos em máquinas antigas.Com a configuração real, o número de contêineres é limitado a 8, o que significa pelo menos 1 núcleo por contêiner.Mesmo que eu tenha recursos restantes em máquinas novas, eles não estão alocados para mais contêineres em máquinas novas.Usamos o agendador justo.

Obrigado

Answer 1

No arquivo de configuração yarn-site.xml, existe uma propriedade chamada yarn.nodemanager.resource.cpu-vcores que define os núcleos da CPU do nó.À medida que defino esse valor de forma diferente das máquinas antigas e novas, mais contêineres estão sendo executados em novos nós.

Eu novamente respondo minha própria pergunta :)