Comment protéger mes données de fichier d'une corruption de disque?

Question

Récemment, j'ai lu un article intitulé "Fiabilité SATA / SCSI". . Il traite principalement du très haut taux de basculement des bits dans les disques SATA grand public et conclut "56% de chances que vous ne puissiez pas lire toutes les données d'un disque particulier". Même Raid-5 ne peut pas nous sauver, car il doit être constamment scanné pour déceler les problèmes et si un disque tombe en panne, vous êtes quasiment assuré d'avoir des bits retournés sur votre système de fichiers reconstruit.

Considérations:

J'ai entendu de très bonnes choses sur le ZFS de Sun avec Raid-Z , mais les implémentations de Linux et BSD sont encore expérimentales. Je ne suis pas sûr qu'il soit prêt pour le prime time.

J'ai également beaucoup lu sur le format de fichier Par2 . Il semble que le fait de stocker un% de parité supplémentaire avec chaque fichier vous permettrait de remédier à la plupart des problèmes. Toutefois, je ne connais pas de système de fichiers qui effectue cela en interne et il semble difficile de gérer les fichiers séparés.

Sauvegardes (Modifier):

Je comprends que les sauvegardes sont primordiales. Cependant, sans vérification, vous pourriez facilement envoyer de mauvaises données à des personnes sans même le savoir. Il pourrait également être difficile de déterminer quelle sauvegarde possède une bonne copie de ces données.

Par exemple, vous avez un tableau Raid-5 en fonctionnement pendant un an et vous trouvez un fichier corrompu. Vous devez maintenant vérifier vos sauvegardes jusqu'à ce que vous trouviez une bonne copie. Dans l’idéal, vous devez accéder à la première sauvegarde contenant le fichier, mais cela peut être difficile à comprendre, surtout si le fichier a été modifié à plusieurs reprises. Pire encore, demandez-vous si ce fichier a été ajouté ou modifié après la corruption. Cela seul suffit pour justifier une parité au niveau des blocs telle que Par2.

Answer 1

ZFS est un début. De nombreux fournisseurs de stockage fournissent des disques 520B avec une protection supplémentaire des données. Cependant, cela ne protège que vos données dès leur entrée dans la structure de stockage. S'il était corrompu au niveau de l'hôte, vous êtes de toute façon pénible.

À l’horizon, des solutions prometteuses, fondées sur des normes, à ce problème même. Protection des données de bout en bout.

Considérez T10 DIF (champ d’intégrité des données). Il s’agit d’une norme émergente (elle a été élaborée il ya 5 ans) et d’une nouvelle technologie, mais elle a pour objectif noble de résoudre le problème de la corruption des données.

Answer 2

Cet article exagère considérablement le problème en malentendant la source. Cela suppose que les événements de perte de données sont indépendants, c'est-à-dire que si je prends mille disques et que je reçois cinq cents erreurs, cela correspond probablement à une erreur sur cinq cents disques. Mais en réalité, comme le savent tous ceux qui ont eu des problèmes de disque, il y a probablement cinq cents erreurs sur un disque (encore une infime fraction de la capacité totale du disque), et les neuf cent quatre-vingt-dix-neuf autres allaient bien. Ainsi, dans la pratique, il n’ya pas 56% de chances que vous ne puissiez pas lire tout votre disque, mais plutôt 1% ou moins, mais la plupart des personnes de ce 1% découvriront qu’elles en ont perdu des dizaines. ou des centaines de secteurs même si le disque dans son ensemble n'a pas échoué.

Bien sûr, les expériences pratiques reflètent cette compréhension, pas celle proposée dans l'article.

Il s’agit en gros d’un exemple de "chuchotements chinois". L'article référencé ici fait référence à un autre article, qui renvoie indirectement à un article publié. Le journal indique que ces événements ne sont pas indépendants , mais que cet élément essentiel disparaît lors du passage au format de blog facile à digérer.

Answer 3

56% de chance que je ne puisse pas lire quelque chose, j'en doute. Je gère un mélange de RAID 5 et d’autres bonnes choses, ainsi que de bonnes pratiques de sauvegarde, mais avec Raid 5 et un disque de secours, je n’ai jamais perdu de données, je ne suis donc pas sûr de l’intérêt de toutes ces histoires. Si vous stockez des informations de parité ... eh bien, vous créez un système RAID à l'aide d'un logiciel, une défaillance de disque dans R5 entraîne une parité telle qu'une vérification pour récupérer les données de disque perdues, alors ... elles sont déjà présentes.

Lancez Raid, sauvegardez vos données, tout va bien:)