Hadoop 얀 컨테이너 구성 (CPU, 메모리 ...)

StackOverflow https://stackoverflow.com//questions/24016920

  •  21-12-2019
  •  | 
  •  

문제

Hadoop 2.2.0을 사용하여 새로운 Hadoop 클러스터를 설치하고 원사 프레임 워크를 기반으로 HBase에서 MapReduce 작업을 실행합니다.

나는 컨테이너의 구성에 문제가있다.일반적으로 8 개의 노드가 있으며, 그 중 절반은 8 개의 코어 CPU가있는 오래된 기계와 24 개의 코어 CPU가있는 새로운 기계입니다.나는 새로운 기계에서 더 많은 용기와 오래된 기계에서 더 많은 용기와 별도로 구성 할 수 있는지 궁금합니다.실제 설정으로 컨테이너 수는 적어도 컨테이너 당 1 코어를 의미하는 8로 제한됩니다.비록 새로운 기계에 자원이 남아 있지만 새로운 기계에서 더 많은 컨테이너에 할당되지 않습니다.우리는 공정한 스케줄러를 사용합니다.

감사합니다

도움이 되었습니까?

해결책

구성 파일 yarn-site.xml에서는 노드의 CPU 코어를 정의하는 yarn.nodemanager.resource.cpu-vcores라는 속성이 있습니다.이 값을 이전 및 새 시스템과 다르게 설정하면 더 많은 컨테이너가 새 노드에서 실행되고 있습니다.

다시 내 자신의 질문에 대답합니다.

라이센스 : CC-BY-SA ~와 함께 속성
제휴하지 않습니다 StackOverflow
scroll top