سحب البيانات بشكل غير متزامن من خدمة الويب من طرف ثالث على منصة Windows Azure

Question

أرغب في سحب كمية كبيرة من البيانات ، في كثير من الأحيان من خدمات الويب الخاصة بأجهزة واجهة برمجة تطبيقات طرف ثالث مختلف وتخزينها في منطقة انطلاق (هذا ما أريد أن أقرره الآن) من حيث سيتم نقله بعد ذلك واحدًا تلو الآخر كما هو مطلوب في طلبي قاعدة البيانات.

أردت أن أعرف أنه هل يمكنني استخدام منصة Azure لتحقيق ما سبق؟ ما مدى جودة استخدام منصة Azure لهذه المهمة؟

ماذا لو كانت البيانات التي سيتم سحبها كمية كبيرة وقد يكون تواتر السحب مرتفعًا ، أي قد يكون نصف ساعة أو كل ساعة لكل منها 2000 مستخدم مختلف؟

أفترض أنه إذا كان ذلك ممكنًا ، فلن يكون عرض النطاق الترددي وتخزين البيانات وقدرة الخادم وما إلى ذلك أمرًا يدعو للقلق بالنسبة لي ولكن لـ © Microsoft. ومن الواضح ، يجب أن أكون قادرًا على الوصول إلى البيانات مرة أخرى كلما احتجت إليها.

إذا اضطررت إلى تنفيذها على خوادم Windows ، فأنا أعلم أنني سأستخدم خدمة Windows للقيام بذلك. لكنني لا أعرف كيف يمكن القيام بذلك لمنصة Windows Azure إذا كان ذلك ممكنًا على الإطلاق؟

Answer 1

كما ذكر رينات ، يمكنك استخدام حل Lokad. إذا اخترت القيام بذلك بنفسك ، فيمكنك تشغيل مهمة توقيت في دور العامل - ربما تفرخ خيط ينام ، ويستيقظ كل 30 دقيقة لأداء مهمته. يمكن بعد ذلك الوصول إلى خدمات الويب المعنية (أو ربما مؤشر ترابط واحد لكل خدمة ويب؟) وجلب البيانات. يمكنك تخزينه مؤقتًا في تخزين طاولة Azure ، وهو جزء صغير من تكلفة SQL Azure (0.15 لكل جيجابايت) ، ثم قراءته بسهولة من تخزين الجدول عند الطلب ونقله إلى SQL Azure.

على افتراض أنك تستضيف خدماتك وتخزينها و SQL Azure في مركز البيانات نفسه (عن طريق ضبط التقارب بشكل مناسب) ، فإنك ستدفع فقط للنطاق الترددي عند سحب البيانات من خدمة الويب. لن يكون هناك أي رسوم عرض النطاق الترددي لاستردادها من تخزين الجدول أو إدراجها في SQL Azure.

Answer 2

في Windows Azure ، عادة ما يكون دور العامل المستخدم لاستضافة معالجة السحابة. من أجل إنجاز مهامك ، ستحتاج إما إلى تنفيذ البنية التحتية للرسائل/الجدولة بنفسك أو استخدام شيء مثل Lokad.Cloud أو Lokad.CQRS مشاريع مفتوحة المصدر ل Azure.

نحن نستخدم lokad.cloud لمعالجة BI الموزعة لمئات الآلاف من المسلسلات و Lokad.CQRS تسمح لاستعادة ملايين المنتجات ومزامنتها بشكل موثوق.

هناك عينات ومستندات ومجتمع في كلا المشروعين لتبدأ.