•  23-12-2019
  •  | 
  •  

Pregunta

Necesito una guía para instalar Oozie en Hadoop 2.2.La página DOCS de inicio rápido indica que

IMPORTANTE: Por defecto se basa en Hadoop 1.1.1.Es posible construir contra versiones Hadoop 2.x también, pero es fuertemente Recomendamos usar una distribución de BigTop si usa Hadoop 2.x porque el Oozie Sharelibs construida a partir de la distribución de tarball no funcionará con eso.

No he podido hacer que BigTop funcione.

Intenté seguir alguna guía de aquí Pero solo me dice que edite los archivos POM.XML, no para editarlos.

He instalado cerdo y maven.

gracias de antemano

¿Fue útil?

Solución

Este es un problema con las liberaciones que resuelven las bibliotecas compartidas con Maven, y se ha fijado desde que se usa Git Master. Tuve este problema, así que espero que esta solución funcione para la versión de Oozie que está construyendo.

El consejo en aquí es de uso. Similar a la Publicar en el blog que vinculó , el comando GREP indicará los archivos ofensores: 

$ grep -l "2.2.0-SNAPSHOT" `find . -name "pom.xml"`
./hadooplibs/hadoop-2/pom.xml
./hadooplibs/hadoop-distcp-2/pom.xml
./hadooplibs/hadoop-test-2/pom.xml
./pom.xml

Cualquier mención de 2.2.0-Snapshot en estos archivos debe reemplazarse con 2.2.0

Sugeriría eliminar la parte -snapshot usando el siguiente comando: 

 $ grep -l "2.2.0-SNAPSHOT" `find . -name "pom.xml"` | xargs sed -i 's|2.2.0-SNAPSHOT|2.2.0|g'

update : Si no tiene frascos de Hadoop construido cuando construyó Hadoop en sí mismo, deberá agregar la opción -DincludeHaDoOPJARS

y luego construir el paquete: 

 $ mvn clean package assembly:single -Dhadoop.version=2.2.0 -DskipTests

o si está utilizando JDK7 y / o dirigido a Java 7 (como lo hice): 

 $ mvn clean package assembly:single -Dhadoop.version=2.2.0 -DjavaVersion=1.7 -DtargetJavaVersion=1.7 -DskipTests

Documentación en la construcción de Oozie (la versión 4 DOCS) está disponible aquí .

La versión 4.0.0 del edificio trabajada anteriormente con Hadoop 2.2 y Java SDK 7.

La distro se puede encontrar en Distro / objetivo.

Licenciado bajo: CC-BY-SA con atribución
No afiliado a StackOverflow
scroll top