Namenode HA (UnknownhostException: nameservice1)

StackOverflow https://stackoverflow.com//questions/25062788

Вопрос

Мы включаем наменять высокую доступность Namenode через Cloudera Manager, используя

Cloudera Manager >> HDFS >> Action> Включить высокую доступность >> Выбранная подставка от Namenode & Journal Ussies Тогда nameservice1

После того, как весь процесс завершен, затем развернутая конфигурация клиента.

Испытано на клиентскую машину, перечисление каталогов HDFS (Hadoop fs -ls /), а затем вручную отработка в режиме ожидания в режиме ожидания NameNode и снова в списке каталогов HDFS (Hadoop fs -ls /). Этот тест работал отлично.

Но когда я управляю работой спать Hadoop, используя следующую команду, она не удалась 

$ hadoop jar /opt/cloudera/parcels/CDH-4.6.0-1.cdh4.6.0.p0.26/lib/hadoop-0.20-mapreduce/hadoop-examples.jar sleep -m 1 -r 0
java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservice1
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:414)
at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:164)
at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:129)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:448)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:410)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:128)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2308)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:87)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2342)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2324)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:351)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:194)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:103)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:980)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:974)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:416)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1438)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:974)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:948)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1410)
at org.apache.hadoop.examples.SleepJob.run(SleepJob.java:174)
at org.apache.hadoop.examples.SleepJob.run(SleepJob.java:237)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.examples.SleepJob.main(SleepJob.java:165)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:72)
at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:144)
at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:64)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.util.RunJar.main(RunJar.java:208)
Caused by: java.net.UnknownHostException: nameservice1
... 37 more
.

Я не знаю, почему его не в состоянии разрешать Imageervice1 даже после развертывания конфигурации клиента.

Когда я погладил эту проблему, я нашел только одно решение этой проблемы

Добавьте запись ниже в записи конфигурации для исправления проблемы dfs.nameservices= nameervice1. dfs.ha.nomenodes.nameservice1= nameNode1, namenode2 dfs.nameenode.rpc-address.nameservice1.Nameenode1= IP-10-118-137-215.ec2.internal: 8020 dfs.nameenode.rpc-address.nameservice1.Namenode2= IP-10-12-122-210.ec2.internal: 8020 dfs.client.failover.proxy.provider.nameservice1= org.apache.hadoop.hdfs.server.name.haDood.ha.configredfailoverProxyProvider

Мое впечатление было руконедменным менеджером. Я проверил клиента для этой конфигурации и конфигурации был там (/var/run/cloudera-scm-agent/process/1998-deploy-client-config/hadoop-conf/hdfs-site.xml).

Также некоторые больше деталей файлов конфигурации: 

[11:22:37 root@datasci01.dev:~]# ls -l /etc/hadoop/conf.cloudera.*
/etc/hadoop/conf.cloudera.hdfs:
total 16
-rw-r--r-- 1 root root  943 Jul 31 09:33 core-site.xml
-rw-r--r-- 1 root root 2546 Jul 31 09:33 hadoop-env.sh
-rw-r--r-- 1 root root 1577 Jul 31 09:33 hdfs-site.xml
-rw-r--r-- 1 root root  314 Jul 31 09:33 log4j.properties

/etc/hadoop/conf.cloudera.hdfs1:
total 20
-rwxr-xr-x 1 root root  233 Sep  5  2013 container-executor.cfg
-rw-r--r-- 1 root root 1890 May 21 15:48 core-site.xml
-rw-r--r-- 1 root root 2546 May 21 15:48 hadoop-env.sh
-rw-r--r-- 1 root root 1577 May 21 15:48 hdfs-site.xml
-rw-r--r-- 1 root root  314 May 21 15:48 log4j.properties

/etc/hadoop/conf.cloudera.mapreduce:
total 20
-rw-r--r-- 1 root root 1032 Jul 31 09:33 core-site.xml
-rw-r--r-- 1 root root 2775 Jul 31 09:33 hadoop-env.sh
-rw-r--r-- 1 root root 1450 Jul 31 09:33 hdfs-site.xml
-rw-r--r-- 1 root root  314 Jul 31 09:33 log4j.properties
-rw-r--r-- 1 root root 2446 Jul 31 09:33 mapred-site.xml

 /etc/hadoop/conf.cloudera.mapreduce1:
total 24
-rwxr-xr-x 1 root root  233 Sep  5  2013 container-executor.cfg
-rw-r--r-- 1 root root 1979 May 16 12:20 core-site.xml
-rw-r--r-- 1 root root 2775 May 16 12:20 hadoop-env.sh
-rw-r--r-- 1 root root 1450 May 16 12:20 hdfs-site.xml
-rw-r--r-- 1 root root  314 May 16 12:20 log4j.properties
-rw-r--r-- 1 root root 2446 May 16 12:20 mapred-site.xml
[11:23:12 root@datasci01.dev:~]#
.

Я сомневаюсь, что его проблема со старой конфигурацией в /etc/hadoop/conf.cloudera.hdfs1 & /etc/hadoop/conf.cloudera.mapreduce1, но не уверен.

выглядит как / etc / hadoop / conf / * никогда не обновлялся 

# ls -l /etc/hadoop/conf/
total 24
-rwxr-xr-x 1 root root  233 Sep  5  2013 container-executor.cfg
-rw-r--r-- 1 root root 1979 May 16 12:20 core-site.xml
-rw-r--r-- 1 root root 2775 May 16 12:20 hadoop-env.sh
-rw-r--r-- 1 root root 1450 May 16 12:20 hdfs-site.xml
-rw-r--r-- 1 root root  314 May 16 12:20 log4j.properties
-rw-r--r-- 1 root root 2446 May 16 12:20 mapred-site.xml
.

У кого-нибудь есть идеи об этой проблеме?

Это было полезно?

Решение

Похоже, вы используете неправильную конфигурацию клиента в каталоге / etc / hadoop / conf.Иногда опция развертывания клиента Cloudera Manager (CM) может не работать.

Как вы включили NN HA, у вас должен быть действительный Core-сайт.xml и HDFS-сайт.xml файлы в каталоге конфигурации клиента Hadoop.Для получения действительных файлов сайта перейдите в службу HDFS от CM Выберите Загрузить конфигурацию клиента Опция из кнопки .Вы получите файлы конфигурации в ZIP-формате, извлеките zip-файлы и замените /etc/hadoop/conf/core-site.xml и /etc/hadoop/conf/hdfs-site.xml с извлеченным Core-сайтом .xml,Файлы hdfs-site.xml.

Другие советы

получил это разрешено.Неверный конфиг был связан с «/ etc / hadoop / conf / etc / etc / albivaties / hadoop-conf /" -> "/etc/hadoop/conf.cloudera.mapreduce1"

Это должно быть "/ etc / hadoop / conf /" -> "/ etc / albelaties / hadoop-conf /" -> "/etc/hadoop/Conf.Cloudera.mapreduce"

Ниже приведено заявление в моем коде разрешена проблема, указав хост и порт 

val dfs = sqlContext.read.json("hdfs://localhost:9000//user/arvindd/input/employee.json")
.

Я решил эту проблему, выкладывая полную строку для создания RDD

myfirstrdd= sc.textFile ("HDFS: //192.168.35.132: 8020 / bupa.txt")

А потом я смог сделать другую преобразование RDD .. Убедитесь, что у вас есть W / R / X к файлу или вы можете сделать CHMOD 777

Лицензировано под: CC-BY-SA с атрибуция
Не связан с StackOverflow
scroll top