Installez Oozie sur Hadoop 2.2

Question

J'ai besoin de conseils sur l'installation de Oozie sur Hadoop 2.2.La page Documents Démarrage rapide indique que

Important: par défaut, il s'appuie contre Hadoop 1.1.1.Il est possible de construire contre les versions Hadoop 2.x aussi, mais c'est fortement recommander d'utiliser une distribution Bigtop si vous utilisez Hadoop 2.x parce que le Oozie sharelibs construit à partir de la distribution de l'archives ne fonctionnera pas avec ça.

Je n'ai pas pu obtenir Bigtop pour travailler.

J'ai essayé de suivre quelques conseils de ici Mais cela ne me dit que d'éditer les fichiers POM.XML, non pas sur quoi de les modifier.

J'ai PIG et Maven installé.

Merci d'avance

Answer 1

Il s'agit d'un problème de la résolution des bibliothèques partagées avec Maven et a été fixée si vous utilisez GIT MASTER. J'ai eu ce problème, j'espère donc que cette solution fonctionnera pour la version oozie que vous construisez.

Le conseil à ici est utile. Similaire au Blog Post Vous avez lié , la commande GREP indiquera les fichiers incriminés:

$ grep -l "2.2.0-SNAPSHOT" `find . -name "pom.xml"`
./hadooplibs/hadoop-2/pom.xml
./hadooplibs/hadoop-distcp-2/pom.xml
./hadooplibs/hadoop-test-2/pom.xml
./pom.xml

Toute mention de 2.2.0-Snapshot dans ces fichiers doit être remplacée par 2.2.0

Je suggérerais de supprimer la partie -snapshot à l'aide de la commande suivante:

 $ grep -l "2.2.0-SNAPSHOT" `find . -name "pom.xml"` | xargs sed -i 's|2.2.0-SNAPSHOT|2.2.0|g'

Mise à jour : Si vous n'avez pas de pots hadoop construits à partir de la construction de Hadoop elle-même, vous devrez ajouter l'option -DInClUCLUDEHADOOGJARD

puis construisez le paquet:

 $ mvn clean package assembly:single -Dhadoop.version=2.2.0 -DskipTests

ou si vous utilisez JDK7 et / ou ciblé Java 7 (comme je l'ai fait):

 $ mvn clean package assembly:single -Dhadoop.version=2.2.0 -DjavaVersion=1.7 -DtargetJavaVersion=1.7 -DskipTests

Documentation sur le bâtiment Oozie (version 4 Docs) est disponible ici .

La libération de bâtiment travaillée ci-dessus-4.0.0 avec Hadoop 2.2 et Java SDK 7.

La distribution peut alors être trouvée dans la distribution / cible.