모든 매퍼가 완료된 경우에만 감속기 (복사 단계)를 강제로 시작할 수 있습니까?

Question

매우 긴지도 단계가있는 하둡 작업이 있고 다른 짧은 작업이 우선적으로 실행되기를 원합니다. 이를 위해 hadoop job -set-priority job_id LOW로 긴 작업의 우선 순위를 설정했습니다.

문제는 제 오랜 작업의 경우지도 작업의 30 % 만 완료하더라도 감속기의 복사 단계가 시작된다는 것입니다.

모든 축소 슬롯이 LOW 우선 순위 작업에 의해 사용되기 때문에 내 그리드가 일종의 블로킹됩니다. 다른 작은 작업은지도 단계를 수행 할 수 있지만 긴 작업이 끝날 때까지 감속기를 얻을 수 없습니다.

아이디어? 감사. J.

Answer 1

제 질문에 대한 답을 찾았습니다. 작업을 정확히 수행하는 작업 구성 매개 변수가 있습니다. <인용구>

mapred.reduce.slowstart.completed.maps= 0.90

축소 작업은지도의 90 %가 완료 될 때만 시작됩니다. 기본값은 0.05입니다.