Как мне защитить мои файловые данные от повреждения диска?

Question

Недавно я прочитал статью, озаглавленную "SATA противНадежность SCSI".В основном в нем обсуждается очень высокая скорость переключения битов в потребительских накопителях SATA и делается вывод о "56% вероятности того, что вы не сможете прочитать все данные с определенного диска сейчас".Даже Raid-5 не может спасти нас, поскольку он должен постоянно проверяться на наличие проблем, и если диск все-таки умрет, вы практически гарантированно получите несколько перевернутых битов в вашей восстановленной файловой системе.

Соображения:

Я слышал замечательные вещи о Sun's ZFS с Рейд-Z но реализации Linux и BSD все еще являются экспериментальными.Я не уверен, что он уже готов к прайм-тайму.

Я также довольно много читал о Пара2 формат файла.Похоже, что сохранение некоторого дополнительного процента четности вместе с каждым файлом позволило бы вам оправиться от большинства проблем.Однако я не знаю о файловой системе, которая делает это внутренне, и кажется, что управлять отдельными файлами может быть сложно.

Резервные копии (Править):

Я понимаю, что резервное копирование имеет первостепенное значение.Однако без какой-либо проверки вы могли бы легко отправлять неверные данные людям, даже не подозревая об этом.Кроме того, определить, в какой резервной копии содержится хорошая копия этих данных, может быть непросто.

Например, у вас есть массив Raid-5, работающий в течение года, и вы обнаруживаете поврежденный файл.Теперь вам нужно вернуться к проверке своих резервных копий, пока вы не найдете хорошую копию.В идеале вы должны перейти к первой резервной копии, включающей файл, но это может быть трудно определить, особенно если файл редактировался много раз.Что еще хуже, подумайте, был ли этот файл добавлен или отредактирован после того, как произошло повреждение.Одного этого достаточно для обеспечения четности на уровне блоков, такой как Par2.

Answer 1

ZFS - это только начало.Многие поставщики систем хранения данных также предоставляют диски емкостью 520 ББ с дополнительной защитой данных.Однако это защищает ваши данные только после того, как они попадают в структуру хранения.Если он был поврежден на уровне хоста, то вас все равно обольют из шланга.

На горизонте вырисовывается несколько многообещающих решений этой самой проблемы, основанных на стандартах.Комплексная защита данных.

Рассмотрим T10 DIF (поле целостности данных).Это новый стандарт (он был разработан 5 лет назад) и новая технология, но у него есть благородная цель - решить проблему повреждения данных.

Answer 2

Эта статья значительно преувеличивает проблему, неправильно понимая источник.Предполагается, что события потери данных независимы, т. е. что если я возьму тысячу дисков и получу пятьсот ошибок, то, скорее всего, на пятистах дисках будет по одной на каждый.Но на самом деле, как знает любой, у кого были проблемы с диском, на одном диске, вероятно, пятьсот ошибок (все еще крошечная доля от общей емкости диска), а с остальными девятьюстами девяноста девятью все было в порядке.Таким образом, на практике не то чтобы существует 56%-ная вероятность того, что вы не сможете прочитать весь свой диск, скорее, это, вероятно, больше похоже на 1% или меньше, но большинство людей из этого 1% обнаружат, что они потеряли десятки или сотни секторов, даже если диск в целом не вышел из строя.

Конечно же, практические эксперименты отражают это понимание, а не то, которое предлагается в статье.

По сути, это пример "китайского шепота".Статья, на которую дана ссылка здесь, ссылается на другую статью, которая, в свою очередь, косвенно ссылается на опубликованную статью.В документе говорится, что, конечно, эти события не независимый но этот важный факт исчезает при переходе к легко усваиваемому формату блога.

Answer 3

вероятность 56%, что я что-то не смогу прочесть, я сомневаюсь в этом.Я использую сочетание RAID 5 и других полезных функций и просто хорошие методы резервного копирования, но с Raid 5 и hot spare у меня никогда не было потери данных, поэтому я не уверен, из-за чего весь сыр-бор.Если вы храните информацию о четности...ну, вы создаете RAID-систему с помощью программного обеспечения, сбой диска в R5 приводит к проверке на четность, чтобы вернуть потерянные данные с диска so...это уже есть.

Запустите Raid, сделайте резервную копию ваших данных, и все будет в порядке :)