Amazon MapReduce trabajo sin reductor
-
22-09-2019 - |
Pregunta
Estoy intentando crear un asignador único trabajo a través de AWS (un trabajo de streaming). Se requiere el campo reductor, por lo que estoy dando un ejecutable de maniquí, y añadiendo mapred.map.tasks -jobconf = 0 a la caja de argumentos adicional. En el entorno hadoop (versión 0.20) He instalado, no hay puestos de trabajo reductor pondrá en marcha, pero en AWS los lanzamientos ejecutables ficticias y falla.
¿Cómo puede funcionar sin un reductor / mapeador de puestos de trabajo sólo en AWS?
Solución
También puede usar gato o NINGUNO como argumento reductor.
Otros consejos
No hay manera de crear un único trabajo asignador de Amazon M / R. Estoy utilizando el reductor de Identidad (org.apache.hadoop.mapred.lib.IdentityReducer) en su lugar.