所以,我一直在看 Hadoop 带着浓厚的兴趣,说实话,我很着迷,事情并没有变得更酷。

我唯一的小问题是我是一名 C# 开发人员,而它是用 Java 编写的。

并不是我对 Java 的了解不够多,而是我正在寻找包含 Hadoop.net 或 NHadoop 或 .NET 项目 谷歌地图缩减 方法。有人知道其中一个吗?

有帮助吗?

解决方案

你有没有看使用 Hadoop的流?

我用它在python所有的时间: - 。)

我开始看到异构方法往往是最好的,它看起来像其他人也在做同样的。

如果你看看像协议缓冲器或Facebook的节俭计划,你看,有时它只是最好使用其他语言编写的应用程序,并在您喜欢的语言打造的胶水。

其他提示

最近,MySpace的发布了他们的.NET MapReduce框架, Qizmt 时,作为开源的,所以这也是在这个空间中的潜在的竞争者。

我在我的问题中回答了你的问题 这里

在源码中说一下:

微软 掉落 它的替代方案(树妖)支持 Hadoop。明年他们将发布带有 Hadoop 集成的 MS SQL Server 2012。Azure 和 Windows Sever 支持正在开发中。

将于2012年上半年上市。

Hadoop 是第一名 大数据 平台,并将受到开源和专有源(Java、.Net、Python...)的支持,甚至 Oracle 也正在采用它。

如果您正在开发某些东西,并且在 .Net 平台上,则应该等待。

将会提供有关可能性的更多信息 这里

我要说的是DryadLinq是最近的事情,我们的.NET民间有Hadoop的。但是这取决于你想用的Hadoop什么。如果您正在寻找最佳的自我维护的分布式文件(DFS)系统,然后 DryadLINQ 是不是你在找什么。它有一个模拟到DFS但你必须手动建立分区并分配每个分区。

这就是说,如果Hadoop的,你比DryadLINQ寻找它的分布式执行方面是真正美好的(不,我不是用MS关联)。只要你有一个微软HPC集群比设置获得与DryadLINQ去,是很容易的。

在编写的代码是真的只是直LINQ代码,除了代替上IEnumerable<T>执行LINQ,你必须执行它PartitionedTable<T>(自我构建分布式数据结构)。

什么真的被很酷DryadLINQ是围绕时间快速周转开发算法时(尝试,测试,调整,重复)。你只写LINQ代码做你的计算和DryadLINQ将整个分布式执行部分的护理。这是最自然的模拟我遇到这使得编写代码进行分布式处理,就像单进程处理编写代码。

您可以看看像RavenDb它提供了一个相当大的尺寸数据的MapReduce的很体面的支持。因为它是建立在.net所以适当LINQ客户端API是可用的。

http://ravendb.net/

要你开始你可以阅读我的博客 entery。

这可能是更好的使用Apache Hadoop和流因为Apache Hadoop是积极地开发和在行业大巨头如雅虎和Facebook保持。因此,它可以做你期望它做什么。

如果您需要在.NET解决方案请MySpace的实现@的 MySpace的Qizmt - MySpace的开源MapReduce框架

微软正在推出 高清洞察, ,这被宣传为“100% Apache 兼容的 Hadoop 发行版”。

它既可以在 Windows Server 上使用,也可以作为 Windows Azure 服务使用。

您现在可以使用Hadoop的直接从.NET微软已经发布SDK这样做。

https://hadoopsdk.codeplex.com/

当然,这意味着使用基于网络的Hadoop java的。但是,它如果服务器是用Java运行有关系吗?我相信有人会尝试端口,但我不认为这会是一个好主意,因为公司已经支持了Java版本,我不认为.NET端口将得到同样的重视。

有一看:

http://www.windowsazure.com/en-us/services/hdinsight /

它是天青的Hadoop的实现并且可以使用.NET用于访问它。

在内部,微软已使用宇宙。这已提供微软之外直通Azure上。它的命名 Azure的数据分析湖和的 Azure的数据湖店。 Azure的数据分析湖是种纱作为服务和Azure的数据存储湖作为WebHDFS服务。天青数据湖分析的第一个版本仅承载U形SQL基于的Transact-SQL + C#语言。

有是在为.NET一个漂亮可爱的MapReduce实现: http://mapsharp.codeplex.com/

树精/ LINQ正在产品化和即将发布: HTTP:/ /blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx 结合使用与Microsoft HPC一个强大的,群集基于溶液为quering非结构化数据

正如其他人提及的, DryadLINQ 是一个编程框架,它允许开发写LINQ查询并执行它们的群集上,以类似的方式来的MapReduce。该项目DryadLINQ最近下的 GitHub的 Apache许可证释放,释放包括运行于支持YARN簇(包括天青HDInsight簇状物)。

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top