원사의 NodeManager의 컨테이너 수를 늘리는 방법
문제
내 원사 클러스터의 노드는 64GB 메모리와 24 개의 코어가 있습니다.나는 site.xml :
에 다음 속성을 설정합니다.<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
.
그러나 나는 노드의 NodeManager가 7 개의 컨테이너 만 있었다.다른 속성은 무엇입니까?
해결책
컨테이너 당 메모리를 2GB로 설정 한 경우에 컨테이너 당 메모리를 설정하는 경우에 메모리를 두드리는 방법을 알려주는 방법을 알려줍니다. 16 개의 컨테이너를 제공합니다
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
. 다른 팁
와 같은 것을 시도하십시오.
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
. 제휴하지 않습니다 StackOverflow