我想创建一个映射器只能通过AWS作业(工作流)。 减速机领域是必需的,所以我给一个虚拟的可执行文件,并添加-jobconf mapred.map.tasks = 0到额外的参数框。在Hadoop的环境我已经安装(0.20版本),没有减速的工作将启动,但在AWS虚拟可执行发射和失败。

如何在AWS运行没有减速/映射器只有工作?

有帮助吗?

解决方案

也可以用猫或NONE作为减速器的参数。

其他提示

有没有办法在亚马逊M / R来创建映射器唯一的工作。 我使用的身份减速器(org.apache.hadoop.mapred.lib.IdentityReducer)来代替。

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top