No se puede leer Archivos de secuencia generados por Mahout con Hadoop Streaming
-
26-10-2019 - |
Pregunta
Estoy tratando de transmitir un archivo de secuencia generado por uno de los ejemplos de Mahout para ver su contenido:
hadoop jar hadoop-streaming-0.20.2-cdh3u0.jar \
-input /tmp/mahout-work-me/20news-bydate/bayes-test-input-output/ \
-output /tmp/me/mm \
-mapper "cat" \
-reducer "wc -l" \
-inputformat SequenceFileAsTextInputFormat
El trabajo comienza con éxito y finalmente muere con:
11/11/30 21:08:39 INFO streaming.StreamJob: map 0% reduce 0%
11/11/30 21:09:17 INFO streaming.StreamJob: map 100% reduce 100%
java.lang.RuntimeException: java.io.IOException: WritableName can't load class: org.apache.mahout.common.StringTuple
Me pregunto si algo está mal con mi archivo JAR de transmisión, si necesita apuntar explícitamente al tarro de Mahout que tiene esta clase (intentaba configurar Hadoop_classpath en la ubicación de Mahout-Core-0.5-CDH3U2.JAR pero no funcionó), o ¿Quizás incluso algo más?
Se agradece cualquier ayuda. Gracias.
Solución
Agregue esta opción:
-libjars mahout-core-0.5-cdh3u2.jar
Licenciado bajo: CC-BY-SA con atribución
No afiliado a StackOverflow