Como posso proteger os meus dados de arquivo de corrupção do disco?

Question

Recentemente, li um artigo intitulado "SATA vs. SCSI confiabilidade" . Na maior parte discute a inversão bit taxa muito elevada em unidades SATA de consumo e conclui "A 56% de chance de que você não pode ler todos os dados de um disco específico agora". Mesmo RAID-5 não pode salvar-nos como deve ser constantemente verificados para problemas e se um disco morre você está praticamente garantido para ter alguns bits trocados no sistema de arquivos reconstruído.

Considerações:

Já ouvi falar grandes coisas sobre Sun ZFS com Raid-Z mas o Linux e BSD implementações ainda são experimentais. Eu não tenho certeza que ele está pronto para o horário nobre ainda.

Eu também li um pouco sobre o formato de arquivo Parte 2 . Parece que armazenar alguns paridade adicional%, juntamente com cada arquivo lhe permitiria recuperar da maioria dos problemas. No entanto, eu não tenho conhecimento de um sistema de arquivos que faz isso internamente e parece que pode ser difícil de gerenciar os arquivos separados.

Backups (Edit):

Eu entendo que backups são fundamentais. No entanto, sem algum tipo de verificação no lugar que você poderia facilmente ser o envio de dados ruins para as pessoas, mesmo sem conhecê-lo. Também descobrir qual backup tem uma boa cópia desses dados pode ser difícil.

Por exemplo, você tem uma matriz RAID-5 rodando por um ano e você encontrar um arquivo corrompido. Agora você tem que voltar verificar seus backups até encontrar uma boa cópia. Idealmente, você iria para o primeiro backup que incluía o arquivo, mas que pode ser difícil de descobrir, especialmente se o arquivo foi editado muitas vezes. Pior ainda, considerar se esse arquivo foi anexado ao ou editado após a corrupção ocorreu. Só isso já é motivo suficiente para a paridade em nível de bloco, como Parte 2.

Answer 1

ZFS é um começo. Muitos fornecedores de armazenamento fornecem unidades 520B com a protecção de dados extra disponível também. No entanto, isso só protege seus dados assim que ele entra no tecido de armazenamento. Se ele foi corrompido no nível do host, então você está hosed de qualquer maneira.

No horizonte estão algumas soluções baseadas em padrões promissora para este problema muito. proteção de dados de ponta a ponta.

Considere T10 DIF (Data Integrity Field). Este é um padrão emergente (foi elaborado há 5 anos) e uma nova tecnologia, mas tem a meta ambiciosa de resolver o problema de corrupção de dados.

Answer 2

Esse artigo exagera significativamente o problema mal-entendido a fonte. Assume-se que os eventos de perda de dados são independentes, ou seja, que se eu tomar um milhar de discos, e obter quinhentos erros, isso é provável que seja um cada um em quinhentos dos discos. Mas, na verdade, como qualquer pessoa que tenha tido problemas de disco sabe, é provavelmente quinhentos erros em um disco (ainda uma pequena fração da capacidade total do disco), e os outros 999 estavam bem. Assim, na prática, não é que há um 56% de chance de que você não pode ler tudo do seu disco, mas sim, é provavelmente mais como 1% ou menos, mas a maioria das pessoas no que 1% vai encontrar eles têm dezenas perdidos ou centenas de setores, mesmo que o disco como um todo não falhou.

Com certeza, experiências práticas refletem essa compreensão, não a oferecida no artigo.

Basicamente, este é um exemplo de "Chinese Whispers". O artigo ligado aqui refere-se a um outro artigo, que por sua vez se refere indiretamente a um artigo publicado. O documento diz que, naturalmente, esses eventos são não é independente , mas esse fato vital desaparece na transição para o formato de blog facilmente digerida.

Answer 3

56% de chance eu não posso ler alguma coisa, eu duvido. Eu corro uma mistura de RAID 5 e outras guloseimas e apenas boas práticas de backup, mas com RAID 5 e um hot spare eu não alguma vez teve perda de dados, então eu não tenho certeza de que todo o alarido é sobre. Se você está armazenando informações de paridade ... bem, você está criando um sistema RAID usando software, uma falha de disco no resultado R5 em uma paridade como seleção para receber de volta os dados do disco perdidos assim ... ele já está lá.

Executar Raid, backup de seus dados, você ficar bem:)