Cómo aumentar el número de contenedores en NodoManager en hilo
Pregunta
Un nodo en mi clúster de hilo tiene una memoria de 64 GB y 24 núcleos.Establece las siguientes propiedades en el hilo-sitio.xml:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
Pero a continuación me encontré, el NodoManager en el nodo tiene solo 7 contenedores.¿Cuáles son otras propiedades que necesito para establecer?
Solución
Debe decirle a Hyn Cómo romper la memoria a los contenedores, por lo que, por ejemplo, si configura la memoria por contenedor a 2GB, le dará 16 contenedores
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
Otros consejos
prueba algo como:
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
Licenciado bajo: CC-BY-SA con atribución
No afiliado a StackOverflow