我有很多备用英特尔linux服务器周围铺设(百)和希望使用它们对于分布式文件系统在网页寄存和文件共享的环境。这不是一HPC应用程序,使高性能不是至关重要的。主要的要求是高可用性,如果一个服务器下线、数据储存在它的硬盘驱动器是仍然可以从其他节点。它必须运行over TCP/IP和提供标准POSIX文件的权限。

我已经看过了以下:

  • 泽(http://wiki.lustre.org/index.php?title=Main_Page):来了 真的 靠近,但它没有提供冗余数据节点。你必须使数据公顷使用的突袭或分布式复制.支持通过阳光和开放源,所以应该有一段时间

  • gfarm(http://datafarm.apgrid.org/):看起来像它所提供的冗余,但是在成本的复杂性和可维修性。没有得到很好的支持,因为光泽。

没有任何人有任何经验与这些或任何其他系统的可能工作?

有帮助吗?

解决方案

也检查 GlusterFS

编辑(Aug-2012年): 是最后准备。最近作者形成 Inktank, 一个独立的公司的销售商支持它。根据一些presentaions,安装符合POSIX文件系统是最上层并没有真正进行测试,但低层被用于生产现在一段时间。

有趣的部分是RADOS层,其中介绍了基于对象的储存既是一个'当地'访问经过 librados 库(可用于多种语言)和亚马逊S3兼容RESP API。任何一个使它更加适用于添加大规模的储存到一个网服务。

这个视频 是一个很好的说明哲学、建筑、能力和当前状况。

其他提示

在我看来,最好的文件系统的Linux是MooseFS,这是相当新的,但我有机会向比较有创泽,我肯定地说,MooseFS是最好的之一。

服务器是得到相当多的新闻的时刻:

http://www.gluster.org/

如果没有人迫使你去使用它,我也强烈建议使用其他任何东西比光泽。从我听到从其他和什么还给自己做噩梦相当长的一段时间的事实是,泽很容易打破在各种各样的情况。如果只有一个单一的客户在系统发生故障时,它把自己变成一个无休止的do_nothing_loop模式通常同时保持某些重要的全球锁-所以接下来的时间另一个客户试图访问的同样的信息,它还将挂起。因此,往往最终重新启动整个集群中,这是我的猜测是什么你会尽量避免正常;)

现代化的平行文件系统,如FhGFS(http://www.fhgfs.com)的方式更坚固,在这里和也允许你这么做好像运行服务器和客户部件在同一机(虽然建立在公顷的特点仍在开发中,如某人从他们的团队告诉我的,但它们的执行将是很棒从我听到的).

泽已经工作了我们。这不完美但这是唯一我们已经试过,没有分解过负荷。我们仍然得到LBUGS时和处理100TB+文件系统是不容易的,但光泽系统的工作和增加两个的性能和可用性。

看起来是一个有希望的新的上下进入体育场。该网站声称它不准备用于生产用途。

我读了很多关于分布式文件系统和我想FhGFS是最好的。

http://www.fhgfs.com/

它值得一试。看到更多关于它在:

http://www.fhgfs.com/wiki/

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top