在弹性MapReduce提供减速机

Question

我希望我问这在正确的道路。我学习我周围的弹性MapReduce的路，我已经看到了能够与使用的“聚合”减速多次提到“流”的工作流。

在亚马逊的“介绍到亚马逊弹性MapReduce” PDF它指出：“亚马逊弹性MapReduce有一个名为汇集起来默认减速”

我想知道的是：有其他默认减速器availiable

？

我知道我可以写我自己的减速，但我不想写出来已经存在和“推倒重来”，因为我敢肯定，我的车轮不会像原来一样好东西。

Answer 1

我在一个类似的情况。我从谷歌搜索结果等，答案现在的问题是“没有，有在Hadoop中没有任何其它缺省减速”，哪一种吮吸，因为这将是有默认减速器公司，比如明明是有用的，“一般”或“平均推断“所以你没有写自己的。

http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html 显示了一些有用的聚合器使用，但我找不到文档如何比文档和埃里克·福斯贝里的回答中描述的非常基本的键/值和访问其他功能。也许这功能只露出了Java API的，我不想使用

顺便说一句，我怕埃里克·福斯贝里的答案是不是一个很好的回答这个特定问题。可以构造为它可能是一种有用的回答另一个问题，但它不是什么OP是问。

Answer 2

它们指的减速器对记录在这里：

HTTP ：//hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html

这是构建到流效用减速。它提供通过写一个映射器，输出密钥，在一个特殊的方式被格式化做共同计算的简单方式。

例如，如果映射器输出：

LongValueSum:id1\t12
LongValueSum:id1\t13
LongValueSum:id2\t1
UniqValueCount:id3\tval1
UniqValueCount:id3\tval2

在减速器将计算每个LongValueSum的总和，以及用于UniqValueCount计数不同的值。因此，该减速机的输出将是：

id1\t25
id2\t12
id3\t2

在此包中的减速器和组合器非常快的相比运行流组合器和减速器，所以使用聚合包是既方便又快捷。