Hadoop Yarnコンテナ設定（CPU、メモリ...）

Question

Hadoop 2.2.0を使って新しいHadoopクラスターを設定し、ヤーンフレームワークに基づくHBaseでMapReduceジョブを実行しています。

コンテナの構成の問題があります。一般に、8個のノードがあり、その半分は8コアのCPUを持つ古いマシンであり、その半分は24コアのCPUを備えた新しいマシンです。新しいマシンの中でより多くのコンテナと別々に設定することが可能であれば、古いマシンではもう少し設定できます。実際の設定では、コンテナの数は8に制限されており、これは少なくともコンテナごとに1つのコアを意味します。たとえ私は新しいマシンにリソースを残しています、それは新しいマシンのより多くのコンテナに割り当てられていません。フェアスケジューラを使います。

ありがとう

Answer 1

構成ファイルyarn-site.xmlでは、ノードのCPUコアを定義するyarn.nodemanager.resource.cpu-vcoresという名前のプロパティがあります。この値を古いマシンと新しいマシンとは異なるように設定しているので、より多くのコンテナが新しいノードで実行されています。

私はまた私自身の質問に答えてください:)