NAMENODE HA (UnknownhostException: Nameservice1)

Question

Wir aktivieren die Hohe Verfügbarkeit von Namensode über Cloudera Manager mit

cloudera manager >> HDFS >> Aktion> Hohe Verfügbarkeit aktivieren >> Ausgewählter Stand von Namensode & Journal Knoten Dann namedservice1

Sobald der gesamte Prozess abgeschlossen ist, dabei die Client-Konfiguration bereitgestellt.

vom Client-Computer getestet, indem Sie HDFS-Verzeichnisse auflisten (HADOOOP FS -L /), dann manuell Failover in den Standby-Modus, den HDFS-Verzeichnissen aufzunehmen (Hadoop FS -L /). Dieser Test funktionierte perfekt.

Aber wenn ich Hadoop-Sleep-Job mit dem folgenden Befehl hatte, fehlgeschlagen

generasacodicetagpre.

Ich weiß nicht, warum es Nameservice1 nicht in der Lage ist, auch nach der Bereitstellung der Client-Konfiguration nicht aufgelöst zu werden.

Wenn ich dieses Problem Google Google habe, habe ich nur eine Lösung für dieses Problem gefunden

Fügen Sie den folgenden Eintrag in der Konfigurationseingabe hinzu, um das Problem zu beheben dfs.nameservices= nameservice1. DFS.HA.NAMENODES.NAMERSERVICE1= NAMENODE1, NAMENODE2 DFS.NAMENODE.RPC-Adresse.Nameservice1.Namenode1= IP-10-118-137-215.EC2.Internal: 8020 DFS.NAMENODE.RPC-Adresse.Nameservice1.Namenode2= IP-10-12-122-210.EC2.Internal: 8020 dfs.client.failover.proxy.provider.nameservice1= org.apache.hadoop.hdfs.server.nameDeode.ha.configuredfailoverProxyProvider

Mein Eindruck war der Cloudera Manager, der sich darum kümmert. Ich habe den Client für diese Konfiguration und Konfiguration gefunden

Weitere Details von Konfigurationsdateien:

generasacodicetagpre.

Ich bezweifle seine Frage mit der alten Konfiguration in /etc/hadoop/conf.cloudera.hdfs1 & etc/hadoop/conf.cloudera.mapReduce1, aber nicht sicher.

sieht aus wie / etc / hadoop / conf / * wurde nie aktualisiert

generasacodicetagpre.

Jeder hat eine Idee von diesem Problem?

Answer 1

sieht aus, als würden Sie falsche Client-Konfiguration in / etc / hadoop / conc-Verzeichnis verwenden.Manchmal funktioniert CLUEDERA-Manager (cm) die Option Client-Konfigurationen möglicherweise nicht.

Wenn Sie NN HA aktiviert haben, sollten Sie in Ihrem HADOOOP-Client-Konfigurationsverzeichnis gültige Core-Site.xml- und HDFS-Site.xml-Dateien haben.Um die gültigen Site-Dateien zu erhalten, gehen Sie zu HDFS-Service von cm Wählen Sie Download Client Configuration von der Taste TRAKTIONS .Sie erhalten Konfigurationsdateien im ZIP-Format, extrahieren die ZIP-Dateien und ersetzen /etc/hadoop/core/core-site.xml und /etc/hadoop/core/hdfs-site.xml-Dateien mit dem extrahierten CORE-SITE.XML,HDFS-SITE.XML-Dateien.

Answer 2

wurde es gelöst.Falsche CONFIG wurde mit "/ etc / hadoop / conf / conf / conf / conf / conf / conf / conf / conf / conf / hadoop-conf /"> "/etc/hadoop/conf.cloudera.mapReduce1" verknüpft.

Es muss "/ etc / hadoop / conf / conf /" -> "/ etc / alternativen / hadoop-conf /" -> "/etc/hadoop/conf.cloudera.mapReduce"

sein

Answer 3

Unterer Anweisung in meinem Code aufgelöstes Problem, indem Sie den Host und den Anschluss angeben

generasacodicetagpre.

Answer 4

Ich habe dieses Problem gelöst, das meine vollständige Zeile zum Erstellen von RDD

anlegen soll

myfirstrdd= sc.textfile ("HDFS: //192.168.35.132: 8020 / bupa.txt")

und dann konnte ich andere RDD-Transformation machen. Stellen Sie sicher, dass Sie das W / R / X in die Datei haben, oder Sie können CHMOD 777

tun