Amazon MapReduce No Reducer Job

Question

Estou tentando criar um trabalho único de mapeador via AWS (um trabalho de streaming). O campo redutor é necessário, por isso estou dando um executável dummy e adicionando -jobconf mapRed.map.tasks = 0 à caixa Args extra. No ambiente Hadoop (versão 0.20) que eu instalei, nenhum trabalho de redutor será lançado, mas na AWS os lançamentos e falhas executáveis.

Como pode executar apenas um Reducer/ Mapper Jobs na AWS?

Answer 1

Você também pode usar o CAT ou nenhum como argumento redutor.

Answer 2

Não há como criar um trabalho único no Amazon M/R. Estou usando o redutor de identidade (org.apache.hadoop.mapred.lib.IdentityReducer).