مناسبة الخلفية تخزين البيانات لتطبيق إرلانج عندما تكون البيانات لا ذاكرة غير صالح

Question

وأنا بحث الخيارات الممكنة كيفية تنظيم تخزين البيانات لتطبيق إرلانج. البيانات التي من المفترض أن تستخدم أساسا مجموعة ضخمة من النقط الثنائية فهرستها من قبل هويات سلسلة قصيرة. كل فقاعة تحت 10 كيلو بايت ولكن هناك الكثير منها. أتوقع أنه لن يكون في مجموع حجم ما يصل الى 200 جيجابايت لذلك من الواضح أنه لا يمكن أن تندرج في الذاكرة. في عملية معتادة على هذه البيانات إما قراءة فقاعة بواسطة معرف لها أو تحديث سائل عن الهوية، أو إضافة واحدة جديدة. في كل فترة معينة من اليوم الذي يتم استخدامه فقط مجموعة فرعية من هويات وبالتالي فإن أداء الوصول تخزين البيانات قد يستفيد من ذاكرة التخزين المؤقت في الذاكرة. وفي معرض حديثه عن أداء - من المهم جدا جدا. الهدف هو أن يكون حوالي 500 يقرأ و 500 التحديثات في الثانية على الأجهزة السلعية (ويقول على EC2 VM).

وأي اقتراحات ما لاستخدام هنا؟ كما فهمت dets غير وارد لأنه يقتصر على 2G (أو كان 4G؟). Mnesia ربما وارد جدا. انطباعي هو أنه صمم أساسا للحالات عندما تكون البيانات يناسب الذاكرة. أنا النظر في محاولة سائق بيركلي DB EDTK لهذه المهمة. فإنه عمل في السيناريو أعلاه؟ هل لدى أي شخص خبرة استخدامه في الإنتاج في ظروف مماثلة؟

Answer 1

tcerl خرج من مواجهة نفس الحد الأقصى لحجم. أنا لا تستخدم إرلانج هذه الأيام ولكن هذا يبدو وكأنه ما كنت تبحث عنه.

Answer 2

هل نظرت إلى ما تقوم به كاوتش دي بي؟ قد لا يكون تماما ما كنت بعد بأنه انخفاض في المنتج، ولكن هناك الكثير من التعليمات البرمجية إرلانج هناك لتخزين البيانات. وهناك أيضا بعض الحديث عن توفير واجهة إرلانج الأم بدلا من المعهد REST.

Answer 3

هل هناك أي سبب لماذا لا يمكن أن مجرد استخدام نظام الملفات، معالجة اسم الملف كما معرف سلسلة ومحتويات الملف كملف سائل الثنائية؟ يمكنك اختيار واحد (نظام الملفات) الذي يناسب متطلبات الأداء الخاص بك، ويجب عليك الحصول على التخزين المؤقت بشكل أساسي مجانا، المقدمة من نظام التشغيل الخاص بك.

Answer 4

وMnesia يمكن تخزين البيانات على القرص على ما يرام. وهناك أيضا dets (القرص تستند التخزين على المدى) وهو مماثل تقريبا بيركلي DB. انها في ليب القياسية: http://www.erlang.org/doc/ التطبيقات / stdlib / index.html و

Answer 5

وأوصي أباتشي كاوتش دي بي.

وانها مناسبة عظيمة لإرلانج، ومن صوت عليه (أذكر لكم النقط على أساس الهوية ولا تذكر أي متطلبات العلائقية) كنت تبحث عن قاعدة بيانات موجهة ثيقة.

ومنذ واجهة REST، يمكنك ببساطة جدا إضافة مخبأ HTTP السلع أمامه إذا كنت بحاجة إلى التخزين المؤقت.

وثائق كاوتش دي بي هي ذات جودة عالية جدا.

وكما أن لديها المدمج في خريطة-تخفيض:)