Amazon MapReduce без задания редуктора

Question

Я пытаюсь создать задание только для картографа через AWS (потоковое задание).Поле редуктора является обязательным, поэтому я даю фиктивный исполняемый файл и добавляю -jobconf mapred.map.tasks=0 в поле Дополнительные аргументы.В установленной мной среде Hadoop (версия 0.20) задания редуктора не запускаются, но в AWS запускается фиктивный исполняемый файл и происходит сбой.

Как можно запускать в AWS задания только без редуктора/сопоставителя?

Answer 1

вы также можете использовать cat или NONE в качестве аргумента редуктора.

Answer 2

В Amazon M/R невозможно создать задание только для картографа.Вместо этого я использую редуктор Identity (org.apache.hadoop.mapred.lib.IdentityReducer).