Configurazione del contenitore del filato di Hadoop (CPU, memoria ...)

Question

Ho appena configurato un nuovo cluster di Hadoop con Hadoop 2.2.0 e eseguendo il lavoro di MapRaduce su HBase in base al quadro di filati.

Ho un problema della configurazione dei contenitori.In generale, abbiamo 8 nodi, la metà delle quali sono vecchie macchine con 8 core della CPU e la metà delle quali sono nuove macchine con 24 core della CPU.Mi chiedo se è possibile configurare separatamente con più contenitori in nuove macchine e meno nelle vecchie macchine.Con l'impostazione effettiva, il numero di contenitori è limitato a 8 che significa almeno 1 nucleo per contenitore.Anche se, ho risorse rimaste in nuove macchine, non è assegnato a più contenitori in nuove macchine.Utilizziamo il fiera Scheduler.

Grazie

Answer 1

Nel file di configurazione yarn-site.xml, è presente una proprietà denominata yarn.nodemanager.resource.cpu-vcores che definisce i nuclei della CPU del nodo.Mentre imposti questo valore in modo diverso dalle vecchie e dalle nuove macchine, più contenitori sono in esecuzione in nuovi nodi.

Rispongo ancora la mia domanda :)