Nodi dinamici Hadoop

Question

E 'possibile aggiungere nuovi nodi per Hadoop dopo che è stato avviato? So che è possibile rimuovere i nodi (come quello del maestro tende a tenere sotto controllo lo stato del nodo).

Answer 1

È possibile aggiungere nuovi nodi da solo l'avvio di una nuova con una vera e propria Hadoop-site.xml (uno che punta al master NameNode e JobTracker).

Detto questo, la rimozione di nodi è una pessima idea, senza riequilibrare i blocchi di file HDFS per impedire la rimozione di tutti i gonzi di un determinato blocco.

Se si lascia cadere tre datanodes, si potrebbero perdere tutti i creduloni per un determinato blocco (che ha una replica del 3, l'impostazione predefinita), corrompendo in tal modo il file del blocco appartiene troppo. Rimozione di due nodi si potrebbe lasciare con una replica, e potrebbe essere danneggiato (conosciuto per accadere con i dischi che muoiono).

Answer 2

penso che fino a quando non vengono utilizzati come datanodes vostro non dovrebbe avere un problema ... ovviamente l'aspetto località dei dati di Hadoop è andato in quel punto.