Hadoop NameNode: Un seul point de défaillance

Question

Le NameNode dans l'architecture Hadoop est un point de défaillance unique.

Comment les gens qui ont de grandes grappes Hadoop faire face à ce problème?.

Y at-il une solution reconnu par l'industrie qui a bien fonctionné dans lequel une NameNode secondaire prend le relais en cas d'une primaire échoue?

Answer 1

Yahoo a certaines recommandations pour les paramètres de configuration à différentes tailles de cluster pour prendre en compte l'échec NameNode. Par exemple:

  

Le point de défaillance unique dans un cluster Hadoop est le NameNode. Alors que la perte de toute autre machine (par intermittence ou en permanence) ne provoque pas de perte de données, les résultats de perte NameNode dans l'indisponibilité du cluster. La perte permanente des données NameNode rendrait les HDFS du cluster inutilisable.

     

Par conséquent, une autre étape doit être prise dans cette configuration pour sauvegarder les métadonnées NameNode

Facebook utilise une tweaked version de Hadoop pour ses entrepôts de données; il a quelques optimisations qui mettent l'accent sur la fiabilité NameNode. En plus des correctifs disponibles sur GitHub, Facebook semble utiliser AvatarNode spécifiquement pour rapidement la commutation entre NameNodes primaires et secondaires. Le blog Dhruba Borthakur contient plusieurs autres entrées qui offrent de nouvelles informations sur la NameNode comme point de défaillance unique.

Edit: plus d'infos sur les améliorations de Facebook à NameNode.

Answer 2

Haute disponibilité de a été introduit NameNode Hadoop version 2.x.

Il peut être réalisé en deux modes - Avec NFS et Avec QJM

Mais la haute disponibilité avec Quorum Journal Manager (QJM ) est l'option préférée.

  

Dans un cluster HA typique, deux machines séparées sont configurées comme NameNodes. A tout moment, exactement un des NameNodes est dans un état actif, et l'autre est dans un état de veille. NameNode active est responsable de toutes les opérations du client du cluster, alors que la veille agit simplement comme un esclave, le maintien de l'état suffisant pour assurer un basculement rapide si nécessaire.

Jetez un oeil à des questions ci-dessous SE, ce qui explique processus de basculement complet.

utilisation secondaire NameNode et haute disponibilité dans Hadoop 2.x

Comment fonctionne le processus de basculement Hadoop NameNode?

Answer 3

Les grandes grappes Hadoop ont des milliers de noeuds de données et un nœud de nom. La probabilité de défaillance nombre augmente linéairement avec la machine (ceteris paribus). Donc, si Hadoop n'a pas à faire face aux défaillances de nœud de données, il ne serait pas scalable. Comme il n'y a toujours qu'un seul nœud du nom du point de défaillance (SPOF) est là, mais la probabilité de défaillance est encore faible.

Ce triste, la réponse de Bkkbrad de Facebook ajouter une capacité de basculement vers le nœud de nom est à droite sur.