Hadoopの中にダイナミックノード
-
22-09-2019 - |
質問
それが開始された後のHadoopに新しいノードを追加することは可能ですか? (マスターはノード状態のタブを維持する傾向があるとして)私はあなたがノードを削除することができることを知っています。
解決
あなただけの適切なHadoopの-site.xmlにして新しいものを起動して、新しいノードを追加することができます(1そのポイントバックマスター名前ノードとjobtrackerに)。
これは、ノードを削除すると、指定したブロックのすべてのdupesを削除防ぐために、あなたのHDFSファイルブロックをリバランスすることなく、本当に悪いアイデアである、と述べました。
あなたは3 datanodesをドロップすると、あなたは、このようにブロックがあまりにも属しているファイルの破損(デフォルトは3の複製を持っている)与えられたブロックのすべてのdupesを失う可能性があります。二つのノードを削除すると、1つのレプリカを残すことができ、(死んディスクで起こることが知られている)壊れている可能性があります。
他のヒント
私はもちろんのHadoopのデータの局所性の側面は、その時点でなくなっているのあなたは...問題を持っていない限り、あなたはdatanodesとして利用していないようだと思います。
所属していません StackOverflow