Nós dinâmicos no Hadoop

Question

É possível adicionar novos nós ao Hadoop após o início? Eu sei que você pode remover nós (assim como o mestre tende a acompanhar o estado do nó).

Answer 1

Você pode adicionar novos nós apenas inicializando um novo com um hadoop-site.xml adequado (que aponta de volta ao Master Namenode e JobTracker).

Dito isto, a remoção de nós é uma idéia muito ruim sem reequilibrar seus blocos de arquivo HDFS para impedir a remoção de todos os idiotas de um determinado bloco.

Se você soltar três DataNodes, poderá perder todos os idiotas para um determinado bloco (que possui uma replicação de 3, o padrão), corrompendo assim o arquivo que o bloco também pertence. A remoção de dois nós pode deixá -lo com uma réplica, e isso pode ser corrupto (conhecido por acontecer com discos moribundos).

Answer 2

Eu acho que, desde que você não os use como Datanodes, você não teria um problema ... é claro que o aspecto da localidade de dados do Hadoop desapareceu naquele momento.