디스크 손상으로부터 파일 데이터를 어떻게 보호합니까?

Question

최근에 '라는 제목의 기사를 읽었습니다. "SATA 대SCSI 신뢰성".주로 소비자 SATA 드라이브의 매우 높은 속도의 비트 뒤집기에 대해 논의하고 "현재 특정 디스크에서 모든 데이터를 읽을 수 없는 확률이 56%"라는 결론을 내립니다.Raid-5조차도 문제를 지속적으로 검사해야 하기 때문에 우리를 구할 수 없으며 디스크가 죽으면 재구성된 파일 시스템에 일부 반전된 비트가 있다는 것이 거의 보장됩니다.

고려사항:

나는 Sun에 대해 좋은 소식을 들었습니다. ZFS ~와 함께 레이드-Z 그러나 Linux 및 BSD 구현은 아직 실험적입니다.아직 전성기를 맞이할 준비가 되었는지 잘 모르겠습니다.

나는 또한에 대해 꽤 많이 읽었습니다. 파2 파일 형식.각 파일과 함께 추가 % 패리티를 저장하면 대부분의 문제를 복구할 수 있는 것 같습니다.그런데 내부적으로 이런 일을 하는 파일 시스템이 있는지도 모르고, 별도의 파일을 관리하기 어려울 수도 있을 것 같습니다.

백업(편집):

백업이 가장 중요하다는 것을 알고 있습니다.그러나 어떤 종류의 확인이 없으면 자신도 모르는 사이에 사람들에게 잘못된 데이터를 쉽게 보낼 수 있습니다.또한 어떤 백업에 해당 데이터의 좋은 복사본이 있는지 파악하는 것도 어려울 수 있습니다.

예를 들어 Raid-5 어레이를 1년 동안 실행했는데 손상된 파일을 발견했습니다.이제 좋은 사본을 찾을 때까지 백업을 다시 확인해야 합니다.이상적으로는 파일이 포함된 첫 번째 백업으로 이동하는 것이 좋지만 특히 파일이 여러 번 편집된 경우 파악하기 어려울 수 있습니다.더 나쁜 것은 손상이 발생한 후에 해당 파일이 추가되었거나 편집되었는지 고려하는 것입니다.그것만으로도 Par2와 같은 블록 수준 패리티가 필요한 이유는 충분합니다.

Answer 1

ZFS가 시작되었습니다.많은 스토리지 공급업체에서는 추가 데이터 보호 기능이 포함된 520B 드라이브도 제공합니다.그러나 이는 데이터가 스토리지 패브릭에 들어가는 순간에만 데이터를 보호합니다.호스트 수준에서 손상된 경우 어쨌든 문제가 발생합니다.

바로 이 문제에 대한 몇 가지 유망한 표준 기반 솔루션이 곧 등장할 것입니다.엔드투엔드 데이터 보호.

T10 DIF(데이터 무결성 필드)를 고려하십시오.이는 새로운 표준(5년 전에 초안 작성)이자 새로운 기술이지만 데이터 손상 문제를 해결한다는 원대한 목표를 가지고 있습니다.

Answer 2

해당 기사는 출처를 오해하여 문제를 크게 과장했습니다.여기서는 데이터 손실 이벤트가 독립적이라고 가정합니다. 즉, 1000개의 디스크를 사용하고 500개의 오류가 발생하면 500개의 디스크에 각각 하나씩 발생할 가능성이 있다고 가정합니다.그러나 실제로 디스크 문제를 겪어본 사람이라면 누구나 알고 있듯이 한 디스크에 오류가 500개 정도 있을 것이고(여전히 디스크 전체 용량의 아주 작은 부분) 나머지 999개는 괜찮을 것입니다.따라서 실제로는 디스크 전체를 읽을 수 없는 확률이 56%가 아니라 아마도 1% 이하일 것입니다. 그러나 그 1%에 속한 대부분의 사람들은 수십 개의 디스크를 잃었다는 것을 알게 될 것입니다. 또는 디스크 전체가 실패하지 않았음에도 불구하고 수백 개의 섹터.

물론 실제 실험은 기사에서 제공한 내용이 아니라 이러한 이해를 반영합니다.

기본적으로 이것은 "중국어 속삭임"의 예입니다.여기에 링크된 기사는 다른 기사를 참조하며, 이는 출판된 논문을 간접적으로 참조합니다.신문에서는 물론 이러한 사건이 독립적이지 않다 하지만 쉽게 소화할 수 있는 블로그 형식으로 전환하면 그 중요한 사실이 사라집니다.

Answer 3

내가 뭔가를 읽을 수 없을 확률은 56%입니다. 의심스럽습니다.나는 RAID 5와 기타 기능과 좋은 백업 방법을 혼합하여 실행하지만 Raid 5와 핫 스페어를 사용하면 데이터 손실이 발생하지 않았으므로 모든 소란이 무엇인지 잘 모르겠습니다.패리티 정보를 저장하는 경우...소프트웨어를 사용하여 RAID 시스템을 만들고 있는데, R5의 디스크 오류로 인해 손실된 디스크 데이터를 복구하기 위한 검사와 같은 패리티가 발생합니다.그것은 이미 거기에 있습니다.

Raid를 실행하고 데이터를 백업하세요. 괜찮습니다 :)