NodeManagerのコンテナの数を増やす方法

Question

私のヤーンクラスタのノードには64GBのメモリと24コアがあります。yarn-site.xmlに次のプロパティを設定します。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

.

しかし、私はまだノード内のNodeManagerに7つのコンテナしかないことがわかりました。私がセットする必要がある他のプロパティとは何ですか？

Answer 1

コンテナにメモリを分解する方法を糸に伝える必要があるので、コンテナごとにメモリを2GBに設定すると、16個のコンテナ

が表示されます。

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

.

Answer 2

何かを試してみてください：

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>

.