جدولة الوظائف الموزعة والإدارة والإبلاغ

Question

لقد لعبت مؤخرا مع هادوب وأعجب بجدولة جدولة وإدارة وتقديم التقارير عن وظائف مابيدوق. يبدو أن توزيع وتنفيذ وظائف جديدة سلس تماما، مما يسمح للمطور بالتركيز على تنفيذ وظائفهم.

أتساءل عما إذا كان أي شيء موجود في مجال Java للتنفيذ الموزع للوظائف التي لا يتم التعبير عنها بسهولة مثل مشاكل MAP؟ علي سبيل المثال:

• الوظائف التي تتطلب تنسيق المهام والمزامنة. على سبيل المثال، قد تنطوي على تنفيذ متسلسل للمهام، لكن من الممكن تنفيذ بعض المهام بشكل متزامن:

                 .-- B --.
          .--A --|       |--.
          |      '-- C --'  |
  Start --|                 |-- Done
          |                 |
          '--D -------------'
  

• المهام المكثفة وحدة المعالجة المركزية التي ترغب في توزيعها ولكن لا تقدم أي مخرجات لتقليل - تحويل / تغيير حجم الصورة على سبيل المثال.

فهل هناك إطار / منصة جافا يوفر مثل هذه البيئة الحوسبة الموزعة؟ أو هو هذا النوع من الأشياء المقبولة / التي يمكن تحقيقها باستخدام Hadoop - وإذا كان الأمر كذلك هل هناك أي أنماط / مبادئ توجيهية لهذه الأنماط من الوظائف؟

Answer 1

لقد وجدت منذ ذلك الحين دفعة الربيع و الربيع دفعة التكامل التي يبدو أنها تعالج العديد من متطلباتي. سأخبرك كيف يمكنني الحصول عليها.

Answer 2

إلقاء نظرة على كوارتز. وبعد أعتقد أنه يدعم الأشياء مثل إدارة الوظائف عن بعد وتجميع العديد من الأجهزة لتشغيل الوظائف.

Answer 3

أعتقد أنك تبحث عن محرك سير عمل للمهام المكثفة وحدة المعالجة المركزية (تعرف أيضا "سير العمل العلمي"، على سبيل المثال http://www.extreme.indiana.edu/swf-survey.). لكنني لست متأكدا من توزيعها هل تريد أن تكون. عادة ما يكون لجميع محركات سير العمل "نقطة واحدة من الفشل".

Answer 4

أعتقد أنه يمكن التعبير عن عدد قليل من المشكلات كمشاكل في الخريطة.

للمشاكل التي لا يمكنك تعديلها لتناسب الهيكل الخاص بك يمكن أن ننظر في إعداد خاص بك باستخدام جافا ExecutorService.. وبعد ولكن سيكون يقتصر على JVM واحد وسوف يكون مستوى منخفض للغاية. سوف يسمح بالتنسيق والمزامنة سهلة.

Answer 5

جدولة استباقية. يبدو أن تناسب الاحتياجات الخاصة بك، وخاصة سير العمل المعقدة التي ذكرتها مع التنسيق المهام. إنه مصدر مفتوح ومقره Java. يمكنك استخدامها لتشغيل أي شيء، وظائف هادوب، النصوص، رمز Java، ...

إخلاء المسئولية: أعمل من أجل شركة خلفها

Answer 6

محاولة رديئة إطار العمل. يوفر سهلة واجهة برمجة تطبيقات سهلة التنفيذ والجدول الزمني java.util.concurrent.Callable و java.lang.Runnable مهام. هنا هو وثائق حول موزعة خدمة المنفذ و خدمة جدولة