题
我的纱线中的节点有64GB内存和24个核心。我在yarn-site.xml中设置以下属性:
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
.
但我发现节点中的NodeManager只有7个容器。我需要设置的其他属性是什么?
解决方案
您需要告诉纱线如何将内存分解为容器,例如,如果您将每个容器设置为2GB的内存将为您提供16个容器
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
. 其他提示
尝试类似的东西:
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
. 不隶属于 StackOverflow