التحكم والرصد عدد المهام المغلقة في وقت واحد في الغزل

Question

لدي كتلة Hadoop 2.2 منتشرة على عدد صغير من الأجهزة القوية.لدي قيود على استخدام الغزل كإطار، وأنا لست على دراية للغاية.

1. كيف يمكنني التحكم في عدد الخريطة الفعلية وتقليل المهام التي سيتم تشغيلها بالتوازي؟تحتوي كل آلة على العديد من النوى لوحات وحدة المعالجة المركزية (12-32) وذاكرة الوصول العشوائي الكافية.أريد أن الاستفادة منهم إلى حد ما.
2. كيف يمكنني مراقبة أن إعداداتي أدت بالفعل إلى استخدام أفضل للجهاز؟أين يمكنني التحقق من عدد النوى (المواضيع، العمليات) المستخدمة خلال وظيفة معينة؟

شكرا مقدما لمساعدتي في تذوب هذه الآلات :)

Answer 1

1.
في MR1، Mapred.tasktracker.map.tasks.maximum و mapred.tasktracker.ressure.tasks.maximum تملي عدد هذه الخريطة وتقليل الفتحات التي كان لدى كل حركة taskTracker.

هذه الخصائص لم تعد موجودة في الغزل. بدلا من ذلك، يستخدم الغزل Yarn.nodemanager.resource.memory-MB والغزل.nodemanager.resource.cpu-Vcores، والتي تتحكم في كمية الذاكرة و CPU على كل عقدة، كلاهما متاح لكل من الخرائط ويقلل

أساسا:
الغزل لا يوجد لديه مهام المهام، ولكن فقط NodeManagers عامة. وبالتالي، لا يوجد المزيد من فتحات الخريطة وتقليل فصل الفتحات. كل شيء يعتمد على مقدار الذاكرة قيد الاستخدام / المطلوب

2.

باستخدام الويب واجهة المستخدم يمكنك الحصول على الكثير من المراقبة / المسؤول النوع من المعلومات:

namenode - http://: 50070 /
مدير الموارد - http://: 8088 /

بالإضافة إلى ذلك، يهدف Apache Ambari إلى ذلك: http://ambari.apache.org/

و HUE للاتصالات مع مجموعة Hadoop / الغزل بطرق عديدة: http://gethue.com/

Answer 2

1. هناك جيددليل على تكوين الغزل من Hortonworks
2. يمكنك تحليل عملك في تاريخ الوظيفة خادم.عادة ما يتم العثور عليه على المنفذ 19888. ambari و ganglia جيدة أيضا قياس استخدام الكتلة.

Answer 3

لدي نفس المشكلة، من أجل زيادة عدد الأفخانات، ينصح بتقليل حجم تقسيم الإدخال (تتم معالجة كل إدخال إدخال بواسطة مخطط وعلى الحاوية).أنا لا أعرف كيف أفعل ذلك،

في الواقع، لا يأخذ هادوب 2.2 / غزل في الاعتبار أيا من الإعدادات التالية

giveacodicetagpre.

أفضل