Verfügbare Reduzierer in elastischer MapReduce

Question

Ich hoffe, ich frage das richtig. Ich lerne meinen Weg durch elastische MapReduce und ich habe zahlreiche Hinweise auf den "Aggregat" -Redauer gesehen, der mit "Streaming" -Blust verwendet werden kann.

In Amazon "Einführung in Amazon Elastic MapReduce" PDF heißt es "Amazon Elastic MapReduce hat einen Standard -Reduzierer namens AggreGrate"

Was ich wissen möchte ist: Gibt es andere Standard -Reduzierer?

Ich verstehe, dass ich meinen eigenen Reduzierer schreiben kann, aber ich möchte nicht etwas schreiben, das bereits existiert und das Rad neu erfinden ", weil ich sicher bin, dass mein Rad nicht so gut ist wie das Original.

Answer 1

Ich bin in einer ähnlichen Situation. Ich schließe aus Google -Ergebnissen usw., dass die Antwort derzeit "Nein, es gibt keine anderen Standard -Reduzierer in Hadoop", was saugt, weil es offensichtlich nützlich wäre, Standard -Reduzierer wie "durchschnittlich" oder "Median" zu haben "Sie müssen also nicht Ihre eigenen schreiben.

http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html Zeigt eine Reihe nützlicher Aggregator verwendet, kann jedoch keine Dokumentation finden, um auf andere Funktionen zuzugreifen, als die in der Dokumentation und in der Antwort von Erik Forsberg beschriebene grundlegende Schlüssel-/Wertsumme. Vielleicht wird diese Funktionalität nur in der Java -API freigelegt, die ich nicht verwenden möchte.

Ich befürchte übrigens, Erik Forsbergs Antwort ist keine gute Antwort auf diese besondere Frage. Eine andere Frage, für die es sich um eine nützliche Antwort handeln könnte, kann konstruiert werden, aber es ist nicht das, was das OP fragt.

Answer 2

Der Reduzierer, auf den sie sich beziehen, wird hier dokumentiert:

http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html

Das ist ein Reduzierer, der in das Streaming -Dienstprogramm eingebaut ist. Es bietet eine einfache Möglichkeit, eine gemeinsame Berechnung durchzuführen, indem Sie einen Mapper schreiben, der auf besondere Weise formatiert wird.

Zum Beispiel, wenn Ihr Mapper ausgibt:

LongValueSum:id1\t12
LongValueSum:id1\t13
LongValueSum:id2\t1
UniqValueCount:id3\tval1
UniqValueCount:id3\tval2

Der Reduzierer berechnet die Summe jedes Longvaluesum und zählt die unterschiedlichen Werte für UniqvaluEcount. Die Reduzierausgabe wird daher:

id1\t25
id2\t12
id3\t2

Die Reduzierer und Kombinationen in diesem Paket sind im Vergleich zu Streaming -Kombinern und Reduzierern sehr schnell. Die Verwendung des Aggregats -Pakets ist daher sowohl bequem als auch schnell.