Começando com a MapReduce Versão 2

Question

Bom dia,

Eu não consegui encontrar um exemplo de MapReduce em Yarn (isto é, a 2ª versão do MapReduce), a que é sempre apresentada é o WordCount, que é apenas o mesmo código que o primeiro apresentado na primeira versão do MapReduce. Mesmo "Hadoop: o guia definitivo" não tem códigos em fios!

Você pode me fornecer um código que me mostra a diferença de escrever um código de MapReduce na versão anterior e a versão mais recente?

Na verdade, eu estava tentando escrever um ramo e código ligado no MR1, mas depois vi que o fio pode tornar as coisas que o Easiser graças a brancheduce.

Qualquer ajuda é apreciada, Agradecemos antecipadamente

Answer 1

Você poderia compilar um programa escrito para o MRv1 com fios (MRv2) sem modificar qualquer linha única do código-fonte.É completamente compatível com código de fonte.

Aqui está o exemplo de fios: http://wiki.apache.org/hadooop/wordcountcount

Aqui está o mapa vermelho 1 exemplo: https//hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#example%3a+wordcount+V1.0

Algumas diferenças óbvias a notar no nível da API:
- Nova API usa classes abstratas sobre interfaces
- O pacote de MapReduce é diferente