Hadoop 2.2にOozieをインストールしてください
-
23-12-2019 - |
質問
Hadoop 2.2にOozieをインストールすることにいくつかのガイダンスが必要です。クイックスタートドキュメントページは
を示します重要:デフォルトでは、それはHadoop 1.1.1に対して構築されています。可能です Hadoop 2.xのバージョンに対抗するが、それは強く Hadoop 2.xを使用している場合は、ビッグトップディストリビューションを使用することをお勧めします。 Tarball Distributionから構築されたOozie ShareLibsは働かないでしょう
ビッグトップを働かせることができなかった。
解決
これは、Mavenを使用して共有ライブラリの解決のリリースに問題があり、Git Masterを使用している場合は修正されています。私はこの問題を抱えていたので、この解決策はあなたが建築しているOozie版のために働くでしょう。
ここは使用されています。 ブログ投稿リンクされた 、grepコマンドは問題のあるファイルを示します:
$ grep -l "2.2.0-SNAPSHOT" `find . -name "pom.xml"`
./hadooplibs/hadoop-2/pom.xml
./hadooplibs/hadoop-distcp-2/pom.xml
./hadooplibs/hadoop-test-2/pom.xml
./pom.xml
.
これらのファイル内の2.2.0スナップショットのいずれかは2.2.0
に置き換える必要があります。次のコマンドを使用して-snapshotパートを削除することをお勧めします。
$ grep -l "2.2.0-SNAPSHOT" `find . -name "pom.xml"` | xargs sed -i 's|2.2.0-SNAPSHOT|2.2.0|g'
.
更新:あなたがHadoop自体を構築したときにHadoop Jarを構築していない場合は、オプションを追加する必要があります。-dincludeHadoopjars
を作成してからパッケージを作る:
$ mvn clean package assembly:single -Dhadoop.version=2.2.0 -DskipTests
.
またはJDK7を使用している場合(私のように)Java 7を使用している場合:
$ mvn clean package assembly:single -Dhadoop.version=2.2.0 -DjavaVersion=1.7 -DtargetJavaVersion=1.7 -DskipTests
.
Oozie(バージョン4ドキュメント)のドキュメントは利用可能です(href="https://oozie.apache.org/docs/4.0.0/eng_building.html"/1/"nofollow">こちら 。
HADOOOP 2.2とJava SDK 7を備えた上記の作業リリース4.0.0。
istroはDistro /ターゲットに見出すことができます。