Вопрос
Какие сценарии оправдывают использование " Map and Reduce " алгоритм?
Существует ли реализация этого алгоритма в .NET? Р>
Решение
Linq эквиваленты Map и Reduce: Если вам достаточно повезло с linq, вам не нужно писать собственную карту и сокращать количество функций. C # 3.5 и у Linq он уже есть, хотя и под разными именами.
Map = Select | Enumerable.Range(1, 10).Select(x => x + 2);
Reduce = Aggregate | Enumerable.Range(1, 10).Aggregate(0, (acc, x) => acc + x);
Filter = Where | Enumerable.Range(1, 10).Where(x => x % 2 == 0);
Другие советы
Классы задач, которые хорошо подходят для решения стиля mapreduce, являются проблемами агрегации. Извлечения данных из набора данных. В C # можно использовать LINQ для программирования в этом стиле.
Из следующей статьи: http://codecube.net/2009/02/mapreduce-in- с-помощью-LINQ / р>
метод GroupBy действует как карта, а метод Select выполняет работу по сокращению промежуточных результатов в окончательный список результатов.
var wordOccurrences = words
.GroupBy(w => w)
.Select(intermediate => new
{
Word = intermediate.Key,
Frequency = intermediate.Sum(w => 1)
})
.Where(w => w.Frequency > 10)
.OrderBy(w => w.Frequency);
Для распределенной части вы можете проверить DryadLINQ: http: / /research.microsoft.com/en-us/projects/dryadlinq/default.aspx р>
Поскольку я никогда не могу вспомнить, чтобы LINQ называл его Where
, Select
и Aggregate
вместо Filter
, < code> Map и Reduce
, поэтому я создал несколько методов расширения, которые вы можете использовать:
IEnumerable<string> myStrings = new List<string>() { "1", "2", "3", "4", "5" };
IEnumerable<int> convertedToInts = myStrings.Map(s => int.Parse(s));
IEnumerable<int> filteredInts = convertedToInts.Filter(i => i <= 3); // Keep 1,2,3
int sumOfAllInts = filteredInts.Reduce((sum, i) => sum + i); // Sum up all ints
Assert.Equal(6, sumOfAllInts); // 1+2+3 is 6
Вот 3 метода (из https://github.com/cs-util-com/cscore/blob/master/CsCore/PlainNetClassLib/src/Plugins/CsCore/com/csutil/collections/IEnumerableExtensions. cs ):
public static IEnumerable<R> Map<T, R>(this IEnumerable<T> self, Func<T, R> selector) {
return self.Select(selector);
}
public static T Reduce<T>(this IEnumerable<T> self, Func<T, T, T> func) {
return self.Aggregate(func);
}
public static IEnumerable<T> Filter<T>(this IEnumerable<T> self, Func<T, bool> predicate) {
return self.Where(predicate);
}
Еще несколько подробностей можно узнать из https://github.com/cs-util -com / cscore # ienumerable-extensions :
Если вы пытаетесь написать свою собственную версию Google, тогда это может быть оправдано .. !!!
Если серьезно, если у вас есть проблема, которую вы можете разбить на несколько более мелких проблем, тогда будет работать решение Map-Reduce. Документ Google на MapReduce содержит множество хороших примеров, в том числе способы обработки тысяч веб-страницы, считать слова в документе и т. д. и т. д.