Los nodos dinámicos en Hadoop

Question

¿Es posible añadir nuevos nodos a Hadoop después de que se inicia? Sé que se puede quitar nodos (como el maestro que tiende a mantener control sobre el estado del nodo).

Answer 1

Se puede añadir nuevos nodos con sólo arrancar una nueva con un hadoop-site.xml adecuado (uno que apunta a la NameNode principal y JobTracker).

Dicho esto, la eliminación de nodos es una muy mala idea sin reequilibrar sus HDFS bloques de archivos para evitar la eliminación de todos los duplicados de un bloque dado.

Si se le cae tres DataNodes, podría perder todos los duplicados para un bloque dado (que tiene una réplica de 3, el valor por defecto), corrompiendo así el archivo del bloque pertenece también. La eliminación de dos nodos que pudo llevarse una réplica, y podría estar dañado (conocido a suceder con los discos que mueren).

Answer 2

i pensar, siempre y cuando no se utilicen como DataNodes su no tendría un problema ... por supuesto el aspecto localidad de datos de Hadoop se ha ido en ese punto.