コモディティLinuxストレージファームに最適な分散ファイルシステム[終了]
https://stackoverflow.com/questions/269179
-
06-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian質問
多数の予備のlinuxサーバーが（数百台）配置されており、それらをWebホスティングおよびファイル共有環境の分散ファイルシステムに使用したいと考えています。これはHPCアプリケーション用ではないため、高いパフォーマンスは重要ではありません。主な要件は高可用性です。1つのサーバーがオフラインになっても、そのハードドライブに保存されているデータは他のノードから引き続き利用できます。 TCP / IP上で実行し、標準のPOSIXファイル権限を提供する必要があります。
私は以下を見ました：
-
Lustre（ http://wiki.lustre.org/index.php ？title = Main_Page ）：本当に近づきますが、ノード上のデータに冗長性を提供しません。 RAIDまたはDRBDを使用してデータHAを作成する必要があります。 SunとOpen Sourceでサポートされているため、しばらくは使用できるはずです
-
gfarm（ http://datafarm.apgrid.org/ ）：提供するように見えます冗長性。ただし、複雑さと保守性が犠牲になります。 Lustreほどサポートされていません。
これらのシステムまたは動作する可能性のある他のシステムの経験はありますか？
解決
編集（2012年8月）： Ceph はついに準備が整いました。最近、著者は Inktank を設立しました。これは、商業サポートを販売する独立した会社です。いくつかのプレゼンテーションによると、マウント可能なPOSIX準拠のファイルシステムは最上位のレイヤーであり、まだ実際にはテストされていませんが、現在は下位のレイヤーが本番環境で使用されています。
興味深い部分はRADOSレイヤーです。これは、 librados ライブラリ（複数の言語で利用可能）およびAmazon S3互換RESP APIを介した「ネイティブ」アクセスの両方を備えたオブジェクトベースのストレージを提供します。どちらの方法でも、Webサービスに大容量のストレージを追加するには十分すぎるほどです。
このビデオは、哲学、アーキテクチャ、機能、および現在の状況をよく説明しています。
他のヒント
Linuxに最適なファイルシステムはMooseFSです。これは非常に新しいものですが、CephやLustreと比較する機会があり、MooseFSが最高のものであると確信しています。
Glusterは現在、非常に多くの報道を受けています：
誰かがあなたにそれを使用するように強制しない場合、Lustre以外のものを使用することも強くお勧めします。私が他の人から聞いたこと、そしてかなり長い間自分自身に悪夢を与えたことから、Lustreはあらゆる種類の状況で非常に簡単に壊れるという事実です。また、システム内の単一のクライアントのみが故障した場合、通常は重要なグローバルロックを保持しながら無限のdo_nothing_loopモードになります。そのため、別のクライアントが同じ情報にアクセスしようとすると、ハングします。したがって、通常はクラスター全体を再起動することになりますが、通常は回避しようとするものと思われます;）
ここでは、FhGFS（http://www.fhgfs.com）のような最新の並列ファイルシステムがより堅牢であり、同じマシンでサーバーコンポーネントとクライアントコンポーネントを実行するなどの優れた機能を実行できます（ただし、組み込みのHA機能チームの誰かが私に言ったように、まだ開発中であるが、彼らの実装は私が聞いたものからかなり素晴らしいものになるだろう。
Lustreは私たちのために働いています。完璧ではありませんが、負荷をかけて故障していないのはこれだけです。まだ時々LBUGSを取得しており、100TB +ファイルシステムの処理は決して簡単ではありませんが、Lustreシステムは機能し、パフォーマンスと可用性の両方を向上させました。
Ceph は、アリーナへの有望な新しいエントリのようです。しかし、このサイトは、本番環境での使用の準備がまだ整っていないと主張しています。
分散ファイルシステムについてよく読みましたが、FhGFSが最適だと思います。
試してみる価値はあります。詳細については、次を参照してください。
