是否有与 Apache Hadoop 相当的 .NET?[关闭]
解决方案
你有没有看使用 Hadoop的流?
我用它在python所有的时间: - 。)
我开始看到异构方法往往是最好的,它看起来像其他人也在做同样的。
如果你看看像协议缓冲器或Facebook的节俭计划,你看,有时它只是最好使用其他语言编写的应用程序,并在您喜欢的语言打造的胶水。
其他提示
最近,MySpace的发布了他们的.NET MapReduce框架, Qizmt 时,作为开源的,所以这也是在这个空间中的潜在的竞争者。
我要说的是DryadLinq是最近的事情,我们的.NET民间有Hadoop的。但是这取决于你想用的Hadoop什么。如果您正在寻找最佳的自我维护的分布式文件(DFS)系统,然后 DryadLINQ 是不是你在找什么。它有一个模拟到DFS但你必须手动建立分区并分配每个分区。
这就是说,如果Hadoop的,你比DryadLINQ寻找它的分布式执行方面是真正美好的(不,我不是用MS关联)。只要你有一个微软HPC集群比设置获得与DryadLINQ去,是很容易的。
在编写的代码是真的只是直LINQ代码,除了代替上IEnumerable<T>
执行LINQ,你必须执行它PartitionedTable<T>
(自我构建分布式数据结构)。
什么真的被很酷DryadLINQ是围绕时间快速周转开发算法时(尝试,测试,调整,重复)。你只写LINQ代码做你的计算和DryadLINQ将整个分布式执行部分的护理。这是最自然的模拟我遇到这使得编写代码进行分布式处理,就像单进程处理编写代码。
您可以看看像RavenDb它提供了一个相当大的尺寸数据的MapReduce的很体面的支持。因为它是建立在.net所以适当LINQ客户端API是可用的。
要你开始你可以阅读我的博客 entery。
这可能是更好的使用Apache Hadoop和流因为Apache Hadoop是积极地开发和在行业大巨头如雅虎和Facebook保持。因此,它可以做你期望它做什么。
如果您需要在.NET解决方案请MySpace的实现@的 MySpace的Qizmt - MySpace的开源MapReduce框架
微软正在推出 高清洞察, ,这被宣传为“100% Apache 兼容的 Hadoop 发行版”。
它既可以在 Windows Server 上使用,也可以作为 Windows Azure 服务使用。
微软研究院项目代托纳 http://research.microsoft.com/en-us/projects/daytona/一>
您可以下载它。有一个在C#中的字计数样品。
您现在可以使用Hadoop的直接从.NET微软已经发布SDK这样做。
https://hadoopsdk.codeplex.com/
当然,这意味着使用基于网络的Hadoop java的。但是,它如果服务器是用Java运行有关系吗?我相信有人会尝试端口,但我不认为这会是一个好主意,因为公司已经支持了Java版本,我不认为.NET端口将得到同样的重视。
在内部,微软已使用宇宙。这已提供微软之外直通Azure上。它的命名 Azure的数据分析湖和的 Azure的数据湖店。 Azure的数据分析湖是种纱作为服务和Azure的数据存储湖作为WebHDFS服务。天青数据湖分析的第一个版本仅承载U形SQL基于的Transact-SQL + C#语言。
有是在为.NET一个漂亮可爱的MapReduce实现: http://mapsharp.codeplex.com/
树精/ LINQ正在产品化和即将发布: HTTP:/ /blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx 结合使用与Microsoft HPC一个强大的,群集基于溶液为quering非结构化数据