Amazon MapReduce No Onducer Job

Question

أحاول إنشاء وظيفة Mapper فقط عبر AWS (وظيفة تدفق). مطلوب حقل المخفض ، لذلك أعطي دمية قابلة للتنفيذ ، وأضيف -jobconf mapred.map.tasks = 0 إلى مربع Args الإضافي. في بيئة Hadoop (الإصدار 0.20) قمت بتثبيته ، لن يتم إطلاق أي وظائف مخفضة ، ولكن في AWS ، فإن عمليات الإطلاق القابلة للتنفيذ والفشل.

كيف يمكن تشغيل عدم وجود مخفض/ خريطة فقط في AWS؟

Answer 1

يمكنك أيضًا استخدام Cat أو لا شيء كحجة مخفض.

Answer 2

لا توجد طريقة لإنشاء وظيفة Mapper فقط في Amazon M/R. أنا أستخدم مخفض الهوية (org.apache.hadoop.mapred.lib.identityreducer) بدلاً من ذلك.