Dynamische Knoten in Hadoop

Question

Ist es möglich, neuen Knoten zu Hadoop hinzuzufügen, nachdem er gestartet wird? Ich weiß, dass Sie Knoten entfernen können (wie der Master zu halten Registerkarten auf dem Knoten Zustand neigt).

Answer 1

Sie können neue Knoten hinzufügen, indem Sie einfach einen neuen mit einem richtigen hadoop-site.xml Booten (ein, dass die Punkte an den Master NameNode und Jobtracker zurück).

sagte, dass die Knoten zu entfernen, ist eine wirklich schlechte Idee ohne Ihre hdfs Dateiblöcke Neugewichtung alle Betrogenen eines bestimmten Blocks zu verhindern, zu entfernen.

Wenn Sie drei Datanodes fallen, können Sie alle die Betrogenen für einen gegebenen Block verlieren könnte (die eine Replikation von 3, die Standardeinstellung), so dass die Datei korrumpiert der Block auch gehört. Entfernen von zwei Knoten können Sie mit einem Replikat verlassen, und es könnte korrupt (bekannt passiert mit sterbenden Platten) sein.

Answer 2

Ich denke, solange Sie benutzen sie nicht als Datanodes würden Sie nicht ein Problem haben ... natürlich die Datenlokalität Aspekt hadoop an diesem Punkt weg ist.