Configuration du conteneur Hadoop Yarn (CPU, Mémoire…)

Question

Je viens de configurer un nouveau cluster Hadoop avec Hadoop 2.2.0 et d'exécuter le travail MapReduce sur HBase basé sur le framework Yarn.

J'ai un problème de configuration des conteneurs.En général, nous avons 8 nœuds, dont la moitié sont d’anciennes machines avec un CPU à 8 cœurs et dont l’autre moitié sont de nouvelles machines avec un CPU à 24 cœurs.Je me demande s'il est possible de configurer séparément avec plus de conteneurs dans les nouvelles machines et moins dans les anciennes machines.En réglage réel, le nombre de conteneurs est limité à 8 soit 1 noyau par conteneur au minimum.Même s'il me reste des ressources sur les nouvelles machines, elles ne sont pas allouées à davantage de conteneurs sur les nouvelles machines.Nous utilisons le planificateur de foire.

Merci

Answer 1

Dans le fichier de configuration yarn-site.xml, il existe une propriété nommée yarn.nodemanager.resource.cpu-vcores qui définit les cœurs CPU du nœud.Comme je définis cette valeur différemment des anciennes et des nouvelles machines, davantage de conteneurs s'exécutent dans les nouveaux nœuds.

Je réponds encore une fois à ma propre question :)