Конфигурация контейнера пряжи Hadoop (CPU, память ...)

Question

Я только что настроил новый кластер Hadoop с Hadoop 2.2.0 и запустить работу Maprecuce на HBASe на основе пряжи.

У меня есть проблема конфигурации контейнеров.В общем, у нас есть 8 узлов, половина из которых являются старыми машинами с 8 ядрами процессорами и половиной из которых являются новыми машинами с 24 ядрами CPU.Интересно, можно ли настроить отдельно с большим количеством контейнеров в новых машинах и меньше в старых машинах.С помощью фактической настройки количество контейнеров ограничено 8, что означает, что 1 ядро на контейнер по меньшей мере.Хотя у меня есть ресурсы, оставленные в новых машинах, оно не выделено для больших контейнеров в новых машинах.Мы используем честный планировщик.

Спасибо

Answer 1

В файле конфигурации yarn-site.xml, существует свойство с именем yarn.nodemanager.resource.cpu-vcores, который определяет ядра CPU узла.Поскольку я установил это значение по-разному из старых и новых машин, в новых узлах работает больше контейнеров.

Я снова отвечаю на свой вопрос :)