معالجة دفعة موزعة مع دفعة الربيع و AMQP

Question

أريد توزيع معالجة الدفعات الكبيرة.تتمثل هذه الفكرة في استخدام Batch Batch Batch مجموعة من مستهلكي AMQP في سحابة ثم لتحميل المهام الرخيصة (مثل معرفات العناصر) وإرسالها إلى Exchange AMQP.سيتم كتابة النتائج من قبل المستهلكين أنفسهم.

هل هناك مكتبة جاهزة لإنجاز هذا؟

عدد قليل من الأفكار:

• دفعة الربيع قابل للتفاوض تماما.
• حجم الدفعة هو عدة ملايين.لا أريد أن أقتل سمسار رسالتي بواسطة القوة الغاشمة التي تقدم كل هذه المعرفات في وقت واحد ولكن استخدام نوع من الاختناق بدلا من ذلك.
• أريد أن أعرف عن العناصر التي تمت معالجتها حتى أتمكن من مراقبة العملية.لذلك سيتعين على عملية التحكم في الدفعات تلقي ردود من المستهلكين.

Answer 1

نعم، راجع الربيع الدفعة التكامل المشروع.إنها تجمع بين دفعة الربيع وتكامل الربيع لأداء ما تريد.

للحصول على دفعة 2.2.X، إنها جزء من توزيع الأجيال؛في إصدار Batch 3.0.0 المقبل، تم نقله إلى الدفعة المناسبة.

التقسيم عن بعد يرسل فقط البيانات الوصفية حول الأقسام والعمال فعلا جلب البيانات.

يأتي مع مثال JMS ولكن لن يكون من الصعب تبديل بوابات JMS الاندماج في الربيع للتكامل الربيع AMQP Gateways.

هناك أيضا إصدار من عن بعد حيث يتم إرسال البيانات عبر النقل بدلا من بيانات التعريف القسم.