亚马逊的MapReduce没有减速工作
-
22-09-2019 - |
题
我想创建一个映射器只能通过AWS作业(工作流)。 减速机领域是必需的,所以我给一个虚拟的可执行文件,并添加-jobconf mapred.map.tasks = 0到额外的参数框。在Hadoop的环境我已经安装(0.20版本),没有减速的工作将启动,但在AWS虚拟可执行发射和失败。
如何在AWS运行没有减速/映射器只有工作?
解决方案
也可以用猫或NONE作为减速器的参数。
其他提示
有没有办法在亚马逊M / R来创建映射器唯一的工作。 我使用的身份减速器(org.apache.hadoop.mapred.lib.IdentityReducer)来代替。
不隶属于 StackOverflow