Meilleur système de fichiers distribué pour la batterie de stockage linux de base [fermé]
https://stackoverflow.com/questions/269179
-
06-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianQuestion
J'ai beaucoup de serveurs linux intel de rechange (des centaines) et je souhaite les utiliser pour un système de fichiers distribué dans un environnement d'hébergement Web et de partage de fichiers. Ce n'est pas pour une application HPC, donc des performances élevées ne sont pas critiques. La principale exigence est la haute disponibilité. Si un serveur est mis hors ligne, les données stockées sur ses disques durs sont toujours disponibles à partir d'autres nœuds. Il doit fonctionner sur TCP / IP et fournir les autorisations de fichiers POSIX standard.
J'ai examiné les éléments suivants:
-
Lustre ( http://wiki.lustre.org/index.php ? title = Main_Page ): ferme vraiment , mais ne fournit pas de redondance pour les données d'un nœud. Vous devez rendre les données HA en utilisant RAID ou DRBD. Pris en charge par Sun et Open Source, il devrait donc rester un certain temps
-
gfarm ( http://datafarm.apgrid.org/ ): on dirait que cela fournit la redondance mais au prix de la complexité et de la maintenabilité. Pas aussi bien pris en charge que Lustre.
Quelqu'un at-il une expérience de ces systèmes ou de tout autre système susceptible de fonctionner?
La solution
Vérifiez également GlusterFS
Modifier (août 2012): Ceph est enfin prêt. Les auteurs ont récemment formé Inktank , une société indépendante chargée de vendre de l'assistance commerciale à cette entreprise. Selon certaines présentations, le système de fichiers montable compatible POSIX est la couche la plus haute et n’a pas encore été testé, mais les couches les plus basses sont utilisées en production depuis un certain temps déjà.
La partie intéressante est la couche RADOS, qui présente un stockage objet doté d'un accès "natif" via la bibliothèque librados (disponible dans plusieurs langues) et d'une API RESP compatible Amazon S3. . L’un ou l’autre des solutions le rend plus que suffisant pour ajouter un stockage massif à un service Web.
Cette vidéo décrit bien la philosophie, l'architecture, les fonctionnalités et l'état actuel .
Autres conseils
À mon avis, le meilleur système de fichiers pour Linux est MooseFS, il est assez nouveau, mais j’ai eu l’occasion de le comparer à Ceph et Lustre et j’ai dit à coup sûr que MooseFS était le meilleur.
Gluster fait beaucoup parler de lui en ce moment:
Si personne ne vous oblige à l'utiliser, je vous recommanderais également d'utiliser autre chose que Lustre. D'après ce que j'ai entendu d'autres personnes et ce qui m'a également fait cauchemardesquer depuis un certain temps, c'est que Lustre tombe facilement en panne dans toutes sortes de situations. Et si un seul client du système tombe en panne, il se met automatiquement dans un mode sans fin do_nothing_loop tout en conservant un verrou global important - de sorte que la prochaine fois qu'un autre client tente d'accéder à la même information, il se bloque également. Ainsi, vous finissez souvent par redémarrer l’ensemble du cluster, ce que j’essaie d’éviter normalement;)
Les systèmes de fichiers parallèles modernes tels que FhGFS (http://www.fhgfs.com) sont beaucoup plus robustes ici et vous permettent également de faire de belles choses comme exécuter des composants serveur et client sur les mêmes machines sont toujours en cours de développement, comme l’a dit un membre de leur équipe, mais leur mise en œuvre sera vraiment impressionnante d'après ce que j'ai entendu dire).
Lustre a fonctionné pour nous. Ce n’est pas parfait, mais c’est la seule chose que nous ayons essayée et qui n’ait pas perdu de sa charge. Nous obtenons toujours LBUGS de temps en temps et traiter avec des systèmes de fichiers de 100 To + n’est jamais facile, mais le système Lustre a fonctionné et a augmenté les performances et la disponibilité.
Ceph semble être une nouvelle entrée prometteuse dans l'arène. Le site affirme qu'il n'est pas encore prêt pour une utilisation en production.
J'ai beaucoup lu sur les systèmes de fichiers distribués et je pense que FhGFS est le meilleur.
Cela vaut la peine d'essayer. Plus d’informations à ce sujet sur:
