Hadoopクラスター2、4、8遅くなります。

StackOverflow https://stackoverflow.com/questions/976250

  •  13-09-2019
  •  | 
  •  

質問

私たちが発展していくためには購入の新しいハードウェアの使用だけのために、Hadoopクラスターを自分たちで着るべきものは何か、というのが購入できます。えいの予算$5kはより買付けをしていますので、両パームズカントリークラブ機$2500/個、でプロダクトマーケティング1200/各バイトはでプロダクトマーケティング600？まhadoop作りマシンにまたは少なく、機械?どのようにいろいろと"ので"によって異なり?:-)

役に立ちましたか？

解決

あなたはHadoopのはあまりがっしりした体格あるいくつかの余分なマシンを取得してオフに一般的に優れています。あなたは以上の16ギガバイトのRAMとデュアルクアッドコアCPUを搭載したdatanodesを見ることはほとんどない、と多くの場合、彼らはそれよりも小さくなっています。

あなたは常に名前ノード（マスター）として1を実行する必要があり、クラスタが小さいため、一般的に、あなたはまた、あなたができるが、同じボックス上のデータノード（労働者/スレーブ）を実行しないでください。そうしないと仮定すると、しかし、2機を得ることはあなたに多少目的に反しのみ1ワーカーノードを、残します。 （ない完全に、あなたはまだ、まだ、スレーブ上で並列に4-8ジョブを実行されますが、可能性があるため。）

同時に、あなたは1000年486sのクラスタを持っている必要はありません。予算が$ 5kのであれば、私はバランスを取ると4台の$ 1200のマシンを行うだろう。それらはあなたが仕事を配布するために3 datanodesがあるでしょうし、あなたが必要な場合は、あなたのクラスタを成長させる余地があるでしょう、個々のパフォーマンスの面でまともなベースラインを提供します。

あなたが複数のマップを実行したり、データノードごとにタスクを削減したいと思う、それは同時に実行されている複数のJVMを意味します。

物事は心に留めておきます。私は、少なくとも4ギガバイト、および好ましくは8GBのRAMを取得しようとするだろう。ほとんどのMRジョブがIOバインドされているとして、CPUはそれほど重要ではありません。それは私の票ですので、あなたはおそらく、あなたの$ 1200の価格目標のために、このようなマシンを得ることができます。

他のヒント

このように、また最大のプロセッサコア数やディスク.できる犠牲の信頼性と品質がなく最も安いハードウェアが、いまも多くの信頼性です。

たとDell2xCPU4コアデルサーバーで8コアのセットになっています。16GBのメモリのセット、2gバイトコア当たりの、ビット低お客様のご要望に応じてメモリの両方について作業やディスクバッファリング.5x500GBハードディスク-ドライブに、いまとなっていたのためのテラバイト以上のドライブです。

ドライブ、私は購入をより安く、信ぴょう性が低いので高容量のドライブに対しても高速化、小型化、信頼性のドライブもできます。だ困りのディスクのスループットのメモリをバッファリング.

ではないだろうかbeefierの構成でよいただいているものの、maxingウコドライブに対し購入りの箱が一般的には良い選択-低消費電力コストや管理、一部の事業です。

より駆動すると同時にディスクのスループット当たりのコアにおいては、多くのドライブとしてのコアであるかもしれない。ベンチマーキングいることを示すためにRAID構成により遅くなJBOD設定だけで取り付けドライブを有するHadoopの広がり負荷ることができるということ)及びJBODにもよります。

！をとるようにしましょうECCメモリ。Hadoopプテラバイトのデータをメモリは、一部のユーザーはそのnon-ECCメモリー構成できま紹介シングルビットエラーにはテラバイト規模データセットデバッグこれらのエラーは、悪夢です。

私は答えはまた、あなたのクラスタの期待成長し、あなたが使用しているネットワーク技術に依存だと思います。あなたは1GBのイーサネットでOKであれば - そして、マシンの種類はあまり重要です。あなたは10ギガビットイーサネットをしたい場合 - - 同じ時間では、ネットワークのコストを削減するために、より良いマシンの数が少ないに選ぶ必要があります。

。

他の参考： http://hadoopilluminated.com/hadoop_book/Hardware_Software.htmlする （免責事項：私はこの無料のHadoopの本の共著者午前）

ライセンス： CC-BY-SA と 帰属
所属していません StackOverflow
scroll top