Динамические узлы в Hadoop

Question

Можно ли добавить новые узлы в Hadoop после его запуска?Я знаю, что вы можете удалять узлы (поскольку мастер, как правило, следит за состоянием узла).

Answer 1

Вы можете добавлять новые узлы, просто загрузив новый узел с соответствующим hadoop-site.xml (тот, который указывает на главный namenode и jobtracker).

Тем не менее, удаление узлов - действительно плохая идея без перебалансировки ваших блоков файлов hdfs, чтобы предотвратить удаление всех дубликатов данного блока.

Если вы удалите три datanode, вы можете потерять все дубликаты для данного блока (который имеет репликацию 3 по умолчанию), тем самым повредив файл, которому принадлежит блок.Удаление двух узлов может оставить вас с одной репликой, и она может быть повреждена (известно, что это происходит с умирающими дисками).

Answer 2

я думаю , до тех пор , пока вы не будете использовать их в качестве datanodes , у вас не возникнет проблем ...конечно, аспект локальности данных в hadoop на этом этапе исчез.