Configuración del contenedor de Hadoop Yarn (CPU, memoria ...)

Question

Acabo de configurar un nuevo clúster de Hadoop con Hadoop 2.2.0 y ejecutar el trabajo MapReduce en HBase basado en el marco de hilo.

Tengo un problema de la configuración de los contenedores.En general, tenemos 8 nodos, la mitad de los cuales son máquinas antiguas con 8 núcleos CPU y la mitad de los cuales son nuevas máquinas con 24 núcleos CPU.Me pregunto si es posible configurar por separado con más contenedores en nuevas máquinas y menos en máquinas antiguas.Con el ajuste real, el número de contenedores se limita a 8, lo que significa 1 núcleo por contenedor al menos.Aunque, sin embargo, tengo recursos en nuevas máquinas, no se asigna a más contenedores en nuevas máquinas.Utilizamos el Programador Ferial.

gracias

Answer 1

En el archivo de configuración yarn-site.xml, hay una propiedad llamada yarn.nodemanager.resource.cpu-vcores que define los núcleos de la CPU del nodo.Mientras configuro este valor de manera diferente a las máquinas antiguas y nuevas, más contenedores se están ejecutando en nuevos nodos.

Volver a responder a mi propia pregunta :)