R 2.15.1;Rhope 0.73;CDH 5 - java.io.IOException : 구성표를위한 파일 시스템 없음 : HDFS

https://stackoverflow.com//questions/23010542

21-12-2019
|

문제

Debian 7에 CDH5를 설치했습니다. 나는 SMAPREDOCE1과 단일 노드 의사 분산 모드로 작업했습니다.

R에서 Rhipe를 실행하고 싶습니다. 다운로드 후 i를 설치했습니다 :

sudo R CMD INSTALL Rhipe_0.73.1.tar.gz

그런 다음 환경 변수를 내 보냈습니다 :

export HADOOP_CONF_DIR="/etc/hadoop/conf"
export HADOOP="/usr/lib/hadoop"
export HADOOP_BIN=/usr/lib/hadoop/bin
export HADOOP_HOME=/usr/lib/hadoop

R을 실행 한 후 :

> library(Rhipe)
------------------------------------------------
| Please call rhinit() else RHIPE will not run |
------------------------------------------------
> rhinit()
Rhipe: Using Rhipe.jar file
Initializing Rhipe v0.73
14/04/11 12:21:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
java.io.IOException: No FileSystem for scheme: hdfs
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2385)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2392)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)
    at org.godhuli.rhipe.PersonalServer.run(PersonalServer.java:321)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:616)
    at RJavaTools.invokeMethod(RJavaTools.java:386)
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
  java.lang.NullPointerException
>

나는 뭔가를 놓치고 있습니까?

Java 시스템에서 사용 된 Java :

There are 2 choices for the alternative java (providing /usr/bin/java). Selection Path Priority Status ------------------------------------------------------------ 0 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 auto mode * 1 /usr/lib/jvm/j2sdk1.7-oracle/jre/bin/java 317 manual mode 2 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 manual mode
.

해결책

rhinit () 함수는 hadoop_home variable.since에서 지정된 디렉토리에있는 Hadoop Jar를로드하려고 시도하고 있으며이 함수는 해당 디렉토리 자체의 모든 Hadoop 특정 JAR을 유지 해야하는 클래스 경로에만 해당 JAR을로드합니다.

zzz.r 파일을 rhipe 패키지에서 찾는 경우이 문제를 이해할 수 있습니다.

라이센스 : CC-BY-SA ~와 함께 속성

제휴하지 않습니다 StackOverflow