يمكن تطبيق Saprreduce بكفاءة على مساحة Tuple المشتركة (على سبيل المثال: قاعدة بيانات)؟

Question

أنا أسأل هذا عن أنني أتساءل عما إذا كان قد يكون فعالا لتشغيل استعلامات MAPREDUCE عبر قاعدة بيانات أو متجر مفاتيح مشترك؟

على سبيل المثال، لتنفيذ سفينة صيد ويب، التي فهرست الإنترنت وتهم جميع الشروط على صفحات ويب مختلفة، هل يمكن القيام بذلك بكفاءة مع قاعدة بيانات كخلفية؟

Answer 1

بالتأكيد. HBase وغيرها من متاجر Nosql هي مناسبة تماما لهذه المهمة.

انظر الى هذا شرط للحصول على نظرة عامة عامة على استخدام HBASE مع MAPREDUCE.

HBase هي قاعدة بيانات Hadoop. استخدمه عند الحاجة إلى الوصول العشوائي، والكتابة في الوقت الفعلي إلى بياناتك الكبيرة. هدف هذا المشروع هو استضافة الجداول الكبيرة جدا - مليارات الصفوف X ملايين الأعمدة - مجموعات أغطية أجهزة السلع الأساسية.

HBase عبارة عن متجر مفتوح وموزع ومتجر موجه نحو الأعمدة على غرار Google "BigTable: نظام تخزين موزز للبيانات المنظمة من قبل Chang et al. فقط BigTable يرفع تخزين البيانات الموزعة المقدمة من نظام ملفات Google، يوفر HBASE إمكانات تشبه BigTable فوق Hadoop. HBase تشمل:

•فصول أساسية مريحة لدعم وظائف Hadoop MapReduce مع طاولات HBASE

• الاستعلام المسند دفع أسفل عبر فحص الجانب الخادم والحصول على المرشحات

• تحسينات لاستفسارات الوقت الحقيقي

• بوابة التوفير عالية الأداء • بوابة خدمة الويب التي تدعم XML، protobuf، وخيارات ترميز البيانات الثنائية

• وحدات المصدر المتتالية والوعة

• قذيفة (جيرب) قذيفة (جيرب)

• دعم مقاييس التصدير عبر النظام الفرعي مقاييس Hadoop إلى الملفات أو Ganglia؛ أو عبر JMX.

Answer 2

قاعدة بيانات ليست حلا مناسبا لنمط WealCrawler من الخلفية.

قد ترغب في قراءة هذه المقالة.

http://highscaliability.com/how-rackspace-now-uses-mapreduce-and-hadoop-query-terabytes-data.

شكرا، ن.