Les nœuds dynamiques dans Hadoop

Question

Est-il possible d'ajouter de nouveaux noeuds à Hadoop après son démarrage? Je sais que vous pouvez supprimer des nœuds (comme que le maître a tendance à garder un œil sur l'état du nœud).

Answer 1

Vous pouvez ajouter de nouveaux noeuds simplement en démarrant une nouvelle avec un Hadoop-site.xml appropriée (qui pointe vers le NameNode maître et JobTracker).

Cela dit, la suppression des noeuds est une très mauvaise idée, sans rééquilibrer vos blocs de fichiers HDFS pour empêcher la suppression de tous les dupes d'un bloc donné.

Si vous déposez trois DataNodes, vous risquez de perdre tous les dupes pour un bloc donné (qui a une réplication de 3, la valeur par défaut), corrompant ainsi le fichier du bloc appartient aussi. Suppression de deux nœuds pourrait vous laisser avec une réplique, et il pourrait être corrompu (connu pour se produire avec des disques meurent).

Answer 2

Je pense que tant que vous ne les utilisez pas comme DataNodes votre aurait pas un problème ... bien sûr l'aspect de la localité de données de Hadoop est parti à ce moment-là.