하둡:HDFS에서 매핑/축소

StackOverflow https://stackoverflow.com/questions/787295

문제

제가 틀렸을 수도 있지만 Apache Hadoop에서 본 모든(?) 예제는 로컬 파일 시스템에 저장된 파일을 입력으로 사용합니다(예:org.apache.hadoop.examples.Grep)

Hadoop 파일 시스템(HDFS)에 데이터를 로드하고 저장하는 방법이 있습니까?예를 들어 다음을 사용하여 HDFS에 'stored.xls'라는 탭으로 구분된 파일을 넣었습니다. hadoop-0.19.1/bin/hadoop dfs -put ~/local.xls stored.xls.이를 읽으려면 JobConf를 어떻게 구성해야 합니까?

감사해요 .

도움이 되었습니까?

해결책 

JobConf conf = new JobConf(getConf(), ...);
...
FileInputFormat.setInputPaths(conf, new Path("stored.xls"))
...
JobClient.runJob(conf);
...

SetInputPaths가 할 것입니다.

다른 팁

Pierre는 Hadoop의 기본 구성이 분산 모드가 아닌 로컬 모드에서 실행되도록 되어 있습니다.hadoop-site.xml에서 일부 구성을 수정해야 할 수도 있습니다.기본 파일 시스템은 hdfs://youraddress:yourport여야 하는데 여전히 localhost인 것 같습니다.fs.default.name에 대한 설정을 살펴보고 다음 위치에서 설정 도움말도 참조하세요. 마이클 놀의 블로그 상세 사항은.

fileInputFormat.setInputPaths (conf, new Path ( "hdfs : // hostname : port/user/me/stored.xls");

이것은 할 것입니다

라이센스 : CC-BY-SA ~와 함께 속성
제휴하지 않습니다 StackOverflow
scroll top