Как увеличить количество контейнеров в NodeManager в пряже

Question

Узел в моем кластере пряжи имеет 64 ГБ памяти и 24 ядра.Я устанавливаю следующие свойства в Yarn-Site.xml:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

.

Но я нашел все еще NodeManager в узле имеет только 7 контейнеров.Какие другие свойства мне нужно установить?

Answer 1

Вам нужно сказать пряжу, как сломать память в контейнеры, чтобы, например, если вы устанавливаете память на контейнер до 2 ГБ, даст вам 16 контейнеров

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

.

Answer 2

попробуйте что-то вроде:

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>

.