الملفات تسعى الأداء مع الكثير من ملفات صغيرة

Question

أنا أبحث لبناء الخادم مع الكثير من ملفات صغيرة ألقاها XML API.انها لن تفعل الكثير من بالتكرار على الدلائل أو كتل متتابعة الملفات--نحن نتحدث عن الكثير والكثير من يسعى من أجل متقطع البيانات.

وسيسعى الوقت على BSD UFS تتحلل مع مرور الوقت لطلبات الفرد الملفات ؟ أنا أفهم أن نظام الملفات inode الحد استنادا إلى حجم القسم/شريحة ، ولكن القرص الصلب إلى الخطوة من خلال inode table لكل طلب ملف قبل اكتشاف موقع البيانات.ما الملفات ينتج أفضل أداء التماس الوقت ؟

البديل هو أن الإعداد 2-4GB "النقطة" ملفات منفصلة نظام ابحث على ملف ورد فيها من داخل البرنامج.البرنامج "inode table" يمكن أن يكون الأمثل التسليم على أساس دخوله حاليا في المستخدم ، الخ...هذه "inode الجداول" من المرجح أن يكون مؤقتا في ذاكرة الوصول العشوائي فقط تتصل المستخدمين حاليا تسجيل الدخول حتى أن هناك عدد أقل من إهدار الموارد.

أين هذه حلين معدل على قابلية والصيانة الناحية ؟ أي نوع من المكاسب الأداء ، إن وجدت ، يمكن أن أتوقع باستخدام الثاني الحل ؟

Answer 1

وتقنية التخفيف الأكثر وضوحا والوقت ثبت هو استخدام تصميم هرمي جيد الدلائل (واستراتيجيات البحث مسار)، والحصول على مزيد من الدلائل مع عدد أقل من الملفات في كل منهما.

Answer 2

لإصدارات فري الأخيرة مع dirhash و softupdates لقد رأيت لا مشاكل مع عدد قليل من عشرة آلاف الملفات في الدليل. وربما كنت لا تريد أن تذهب إلى الشمال من 500،000 الملفات أو نحو ذلك. مثلا حذف دليل مع 2.500.000 ملفات أخذني ثلاثة أيام.

Answer 3

أنا لست متأكدا من أنني أفهم عليك السؤال بشكل صحيح, ولكن إذا كنت ترغب في الحصول على الكثير من الملفات, لماذا لا تستخدم partioned الجدول الخلية وضعت على RAID0 "في إف إس" أو نظام الملفات?

تحرير:بقدر ما أعرف الكثير من الملفات في مجلد واحد سوف تتحلل أي FS بسرعة كما أنه لديه للحفاظ على أكبر قوائم الملفات ، الأذونات الأسماء في قاعدة بيانات مصممة للحفاظ على قوائم البيانات في الذاكرة و تسعى في تحسين الطريقة من خلال ذلك.

Answer 4

المزيد من التفاصيل عن الوضع الخاص بك سوف يكون من المفيد ، هي الملفات الموجودة أو أنها يتم إنشاؤها من قبل التطبيق الخاص بك?إذا كنت بحاجة إلى وسيلة لتخزين البيانات التعسفية مع هيكل قاعدة البيانات العلائقية هل نظرت وجوه قواعد البيانات

Answer 5

وثمة خيار آخر، إذا ينبغي أو يمكن الوصول إليها من الأشياء الخاصة بك عن طريق HTTP، هو استخدام مخبأ أمام خادم الويب الصغيرة. في البداية الكائنات سيتم تخزينها على القرص، ولكن الورنيش تخزين وخدمة الكائنات من الذاكرة بعد أول الوصول إلى كائن معين.