Beste verteiltes Dateisystem für Waren Linux Speicher Farm [geschlossen]

Question

Ich habe eine Menge von Ersatz Intel Linux-Servern rumliegen (Hunderte) und will, dass sie für ein verteiltes Dateisystem in einer Web-Hosting verwenden und File-Sharing-Umgebung. Dies ist nicht für eine HPC-Anwendung, so hohe Leistung nicht kritisch ist. Die wichtigste Voraussetzung ist eine hohe Verfügbarkeit, wenn ein Server offline geht, werden die gespeicherten Daten auf das Festplatten ist von anderen Knoten noch verfügbar ist. Es muss über TCP / IP laufen und Standard POSIX-Dateiberechtigungen geben.

Ich habe schaute auf die folgenden:

• Luster ( http://wiki.lustre.org/index.php ? title = Main_Page ): Komm wirklich in der Nähe, aber es bietet keine Redundanz für Daten auf einem Knoten. Sie müssen die Daten HA mit RAID oder DRBD machen. Unterstützt von Sun und Open Source, also sollte es für eine Weile um

• gfarm ( http://datafarm.apgrid.org/ ): Sieht aus wie es bietet die Redundanz, aber auf Kosten der Komplexität und Wartbarkeit. Nicht so gut wie Luster unterstützt.

Hat jemand Erfahrung mit diesem oder anderen Systemen, die funktionieren könnten?

Answer 1

Check auch GlusterFS

Bearbeiten (Aug 2012): Ceph endlich fertig wird. Vor kurzem haben die Autoren InkTank gebildet, eine unabhängige Firma kommerzielle Unterstützung für sie zu verkaufen. Nach Ansicht einiger presentaions, das montierbaren POSIX-kompatibelen Dateisystem ist die oberste Schicht und noch nicht wirklich getestet, aber die unteren Schichten werden jetzt in der Produktion seit einiger Zeit verwendet.

Der interessante Teil ist die RADOS Schicht, die sowohl einen ‚native‘ Zugriff über die librados Bibliothek (verfügbar für mehrere Sprachen) und einem Amazon S3-kompatible RESP API ein Objekt-basierten Speicher mit präsentiert. Entweder man macht es mehr als ausreichend für das Hinzufügen von massiven Speicher zu einem Web-Service.

Dieses Video eine gute Beschreibung der Philosophie, Architektur, Fähigkeiten und den aktuellen Status .

Answer 2

Meiner Meinung nach ist das beste Dateisystem für Linux ist MooseFS, es ganz neu ist, aber ich hatte die Gelegenheit, es mit Ceph und Glanz zu vergleichen und ich mit Sicherheit sagen, dass MooseFS ist die beste.

Answer 3

Gluster wird immer ziemlich viel Presse zur Zeit:

http://www.gluster.org/

Answer 4

Wenn nicht dich jemand nötigt, es zu benutzen, würde ich auch empfehlen, etwas mit anderen als Luster. Von dem, was ich von anderen hören und was gab auch mir Alpträume seit geraumer Zeit ist die Tatsache, dass Luster ganz einfach in allen möglichen Situationen bricht. Und wenn nur ein einziger Kunde im System zusammenbricht, es setzt sich in einen endlosen do_nothing_loop Modus typischerweise während einige wichtige globale Sperre halten - also das nächste Mal ein anderer Client die gleichen Informationen zugreifen will, wird es auch hängen. So oft Sie den gesamten Cluster am Ende eines Neustart, was ich denke, ist etwas, das man versuchen würde normalerweise zu vermeiden;)

Moderne parallele Dateisysteme wie FhGFS (http://www.fhgfs.com) sind viel mehr hier robust und erlauben Sie auch schöne Dinge wie Server und Client-Komponenten auf den gleichen Maschinen laufen (obwohl Einbau-HA-Funktionen noch in der Entwicklung sind, wie jemand aus ihrem Team hat mir gesagt, aber ihre Umsetzung sein wird ziemlich genial von dem, was ich gehört habe).

Answer 5

Luster hat für uns gearbeitet. Es ist nicht perfekt, aber es ist das einzige, was wir versucht haben, die nicht aufgeschlüsselt über Last hat. Wir bekommen immer noch LBUGS von Zeit zu Zeit und den Umgang mit 100TB + Dateisystemen sind nie einfach, aber das Lustre-System gearbeitet hat und sowohl die Leistung und die Verfügbarkeit erhöht.

Answer 6

Ceph sieht ein vielversprechender neuer-ish Eintritt in die Arena. Die Seite behauptet, dass es für den produktiven Einsatz noch, wenn auch nicht bereit ist.

Answer 7

ich lese viel über verteilte Dateisysteme und ich denke, FhGFS das Beste ist.

http://www.fhgfs.com/

Es ist ein Versuch wert. Sehen Sie weitere Informationen unter:

http://www.fhgfs.com/wiki/