أفضل نظام ملفات موزع لمزرعة تخزين Linux الأساسية [مغلق]

Question

لدي الكثير من خوادم Intel Linux الاحتياطية (المئات) وأريد استخدامها لنظام ملفات موزع في بيئة استضافة الويب ومشاركة الملفات.هذا ليس لتطبيق HPC، لذا فإن الأداء العالي ليس أمرًا بالغ الأهمية.الشرط الرئيسي هو التوفر العالي، فإذا أصبح أحد الخوادم غير متصل بالإنترنت، فإن البيانات المخزنة على محركات الأقراص الثابتة الخاصة به تظل متاحة من العقد الأخرى.يجب أن يعمل عبر TCP/IP ويوفر أذونات ملف POSIX القياسية.

لقد نظرت إلى ما يلي:

• بريق (http://wiki.lustre.org/index.php?title=Main_Page):يأتي حقًا إغلاق، لكنه لا يوفر تكرارًا للبيانات الموجودة على العقدة.يجب عليك إنشاء بيانات HA باستخدام RAID أو DRBD.مدعوم من Sun و Open Source، لذلك يجب أن يكون موجودًا لفترة من الوقت

• المزرعة (http://datafarm.apgrid.org/):يبدو أنه يوفر التكرار ولكن على حساب التعقيد وقابلية الصيانة.غير مدعوم جيدًا مثل Lustre.

هل لدى أي شخص أي خبرة في هذه الأنظمة أو أي أنظمة أخرى قد تنجح؟

Answer 1

تحقق أيضا جلوسترفس

تحرير (أغسطس 2012): سيف أخيرًا يستعد.في الآونة الأخيرة شكلت المؤلفين خزان الحبر, وهي شركة مستقلة لبيع الدعم التجاري لها.وفقًا لبعض العروض التقديمية، فإن نظام الملفات المتوافق مع POSIX القابل للتركيب هو الطبقة العليا ولم يتم اختباره فعليًا بعد، ولكن يتم استخدام الطبقات السفلية في الإنتاج لبعض الوقت الآن.

الجزء المثير للاهتمام هو طبقة RADOS، التي تقدم تخزينًا قائمًا على الكائنات مع إمكانية الوصول "الأصلي" عبر librados مكتبة (متوفرة لعدة لغات) وواجهة برمجة تطبيقات RESP المتوافقة مع Amazon S3.أي منهما يجعلها أكثر من كافية لإضافة سعة تخزينية ضخمة إلى خدمة الويب.

هذا الفيديو هو وصف جيد للفلسفة والهندسة المعمارية والقدرات والوضع الحالي.

Answer 2

في رأيي، أفضل نظام ملفات لنظام التشغيل Linux هو MooseFS، فهو جديد تمامًا، لكن أتيحت لي الفرصة لمقارنته مع Ceph وLuster وأقول بالتأكيد أن MooseFS هو الأفضل.

Answer 3

يحظى Gluster باهتمام كبير من الصحافة في الوقت الحالي:

http://www.gluster.org/

Answer 4

إذا لم يجبرك أحد على استخدامه، فإنني أوصي أيضًا بشدة باستخدام أي شيء آخر غير Lustre.مما أسمعه من الآخرين وما أصابني أيضًا بالكوابيس لبعض الوقت هو حقيقة أن Luster ينهار بسهولة في جميع أنواع المواقف.وإذا تعطل عميل واحد فقط في النظام، فإنه يضع نفسه في وضع do_nothing_loop الذي لا نهاية له عادةً أثناء الضغط على بعض القفل العام المهم - لذا في المرة التالية التي يحاول فيها عميل آخر الوصول إلى نفس المعلومات، سيتم تعليقه أيضًا.وبالتالي، غالبًا ما ينتهي بك الأمر إلى إعادة تشغيل المجموعة بأكملها، وهو ما أعتقد أنه شيء ستحاول تجنبه بشكل طبيعي؛)

تعد أنظمة الملفات المتوازية الحديثة مثل FhGFS (http://www.fhgfs.com) أكثر قوة هنا وتسمح لك أيضًا بالقيام بأشياء لطيفة مثل تشغيل مكونات الخادم والعميل على نفس الأجهزة (على الرغم من أن ميزات HA المضمنة لا تزال قيد التشغيل التطوير، كما أخبرني أحد أعضاء فريقهم، ولكن تنفيذهم سيكون رائعًا جدًا مما سمعته).

Answer 5

لقد كان البريق يعمل لصالحنا.إنه ليس مثاليًا ولكنه الشيء الوحيد الذي جربناه والذي لم ينهار بسبب التحميل الزائد.لا نزال نحصل على LBUGS من وقت لآخر، والتعامل مع أنظمة الملفات التي تبلغ سعتها 100 تيرابايت + ليس بالأمر السهل على الإطلاق، ولكن نظام Luster نجح في زيادة الأداء والتوافر.

Answer 6

سيف يبدو أنه دخول جديد واعد إلى الساحة.يدعي الموقع أنه ليس جاهزًا للاستخدام الإنتاجي بعد.

Answer 7

قرأت الكثير عن أنظمة الملفات الموزعة وأعتقد أن FhGFS هو الأفضل.

http://www.fhgfs.com/

الأمر يستحق المحاولة.انظر المزيد عنها في:

http://www.fhgfs.com/wiki/