Hadoop-Garn-Container-Konfiguration (CPU, Speicher…)

Question

Ich habe gerade einen neuen Hadoop-Cluster mit Hadoop 2.2.0 eingerichtet und den MapReduce-Job auf HBase basierend auf dem Yarn-Framework ausgeführt.

Ich habe ein Problem mit der Konfiguration von Containern.Im Allgemeinen haben wir 8 Knoten, von denen die Hälfte alte Maschinen mit 8-Kern-CPU und die andere Hälfte neue Maschinen mit 24-Kern-CPU sind.Ich frage mich, ob es möglich ist, separat mit mehr Containern in neuen Maschinen und weniger in alten Maschinen zu konfigurieren.Bei der tatsächlichen Einstellung ist die Anzahl der Container auf 8 begrenzt, was mindestens 1 Kern pro Container bedeutet.Obwohl ich in neuen Maschinen noch über Ressourcen verfüge, werden diese nicht mehr Containern in neuen Maschinen zugewiesen.Wir nutzen den Messeplaner.

Danke

Answer 1

In der Konfigurationsdatei yarn-site.xml, es gibt eine Eigenschaft mit dem Namen yarn.nodemanager.resource.cpu-vcores welches die CPU-Kerne des Knotens definiert.Da ich diesen Wert für die alten und neuen Maschinen unterschiedlich einstelle, laufen mehr Container in neuen Knoten.

Ich beantworte noch einmal meine eigene Frage :)