¿Cómo protejo los datos de mis archivos contra la corrupción del disco?

Question

Recientemente leí un artículo titulado "SATA vs.Fiabilidad SCSI".Principalmente analiza la velocidad muy alta de inversión de bits en las unidades SATA de consumo y concluye: "Hay un 56% de posibilidades de que no puedas leer todos los datos de un disco en particular ahora".Incluso Raid-5 no puede salvarnos ya que debe ser escaneado constantemente en busca de problemas y si un disco muere, es casi seguro que tendrá algunos bits volteados en su sistema de archivos reconstruido.

Consideraciones:

He oído cosas maravillosas sobre Sun. ZFS con Raid-Z pero las implementaciones de Linux y BSD aún son experimentales.No estoy seguro de que esté listo todavía para el horario de máxima audiencia.

También he leído bastante sobre Par2 formato de archivo.Parece que almacenar un % de paridad adicional junto con cada archivo le permitiría recuperarse de la mayoría de los problemas.Sin embargo, no conozco ningún sistema de archivos que haga esto internamente y parece que podría resultar difícil administrar los archivos por separado.

Copias de seguridad (editar):

Entiendo que las copias de seguridad son primordiales.Sin embargo, sin algún tipo de control, fácilmente podría estar enviando datos incorrectos a personas sin siquiera saberlo.También podría resultar difícil determinar qué copia de seguridad tiene una buena copia de esos datos.

Por ejemplo, tiene una matriz Raid-5 funcionando durante un año y encuentra un archivo dañado.Ahora tienes que volver a revisar tus copias de seguridad hasta encontrar una buena copia.Lo ideal sería ir a la primera copia de seguridad que incluía el archivo, pero eso puede ser difícil de determinar, especialmente si el archivo se ha editado muchas veces.Peor aún, considere si ese archivo se agregó o se editó después de que se produjo la corrupción.Eso por sí solo es motivo suficiente para una paridad a nivel de bloque como Par2.

Answer 1

ZFS es un comienzo.Muchos proveedores de almacenamiento también ofrecen unidades de 520 B con protección de datos adicional disponible.Sin embargo, esto solo protege sus datos tan pronto como ingresan al tejido de almacenamiento.Si estaba dañado a nivel de host, entonces estás arruinado de todos modos.

En el horizonte se vislumbran algunas soluciones prometedoras basadas en estándares para este mismo problema.Protección de datos de extremo a extremo.

Considere T10 DIF (campo de integridad de datos).Se trata de un estándar emergente (fue redactado hace 5 años) y una nueva tecnología, pero tiene el noble objetivo de resolver el problema de la corrupción de datos.

Answer 2

Ese artículo exagera significativamente el problema al malinterpretar la fuente.Se supone que los eventos de pérdida de datos son independientes, es decir, que si tomo mil discos y obtengo quinientos errores, es probable que haya uno en cada quinientos discos.Pero en realidad, como sabe cualquiera que haya tenido problemas con el disco, probablemente haya quinientos errores en un disco (todavía una pequeña fracción de la capacidad total del disco), y los otros novecientos noventa y nueve estaban bien.Por lo tanto, en la práctica no es que haya un 56% de posibilidades de que no puedas leer todo tu disco, sino que probablemente sea más bien un 1% o menos, pero la mayoría de las personas en ese 1% descubrirán que han perdido docenas. o cientos de sectores aunque el disco en su conjunto no haya fallado.

Efectivamente, los experimentos prácticos reflejan esta comprensión, no la que se ofrece en el artículo.

Básicamente este es un ejemplo de "susurros chinos".El artículo vinculado aquí hace referencia a otro artículo, que a su vez hace referencia indirectamente a un artículo publicado.El documento dice que por supuesto estos eventos son no independiente pero ese hecho vital desaparece con la transición al formato de blog de fácil digestión.

Answer 3

56% de posibilidades de que no pueda leer algo, lo dudo.Ejecuto una combinación de RAID 5 y otras ventajas y solo buenas prácticas de respaldo, pero con Raid 5 y un repuesto dinámico nunca he perdido datos, así que no estoy seguro de a qué se debe tanto alboroto.Si está almacenando información de paridad...Bueno, estás creando un sistema RAID usando software, una falla del disco en R5 da como resultado una verificación de paridad para recuperar los datos perdidos del disco, así que...ya está ahí.

Ejecute Raid, haga una copia de seguridad de sus datos, estará bien :)