ファイルデータをディスク破損から保護するにはどうすればよいですか?

Question

最近、次のような記事を読みました。 「SATA vs.SCSIの信頼性」. 。この記事では主に、コンシューマー向け SATA ドライブにおける非常に高速なビット フリッピングについて説明し、「現在、特定のディスクからすべてのデータを読み取れない可能性は 56% である」と結論付けています。Raid-5 でさえ私たちを救うことはできません。問題がないか常にスキャンする必要があり、ディスクが故障した場合、再構築されたファイル システムにいくつかのビットが反転していることがほぼ確実です。

考慮事項:

サンについて素晴らしいことを聞いたことがあります ZFS と レイドZ ただし、Linux と BSD の実装はまだ実験段階です。まだゴールデンタイムに向けて準備ができているかどうかはわかりません。

私もそれについてかなり読みました パー２ ファイル形式。各ファイルとともに追加の % パリティを保存すると、ほとんどの問題から回復できるようです。ただし、これを内部で行うファイル システムを私は知りません。また、個別のファイルを管理するのは難しいようです。

バックアップ (編集):

バックアップが最も重要であることを理解しています。ただし、何らかのチェックが行われていないと、知らないうちに悪いデータを簡単に人々に送信してしまう可能性があります。また、どのバックアップにそのデータの適切なコピーが含まれているかを特定することも困難になる可能性があります。

たとえば、Raid-5 アレイを 1 年間実行していて、破損したファイルを見つけたとします。ここで、適切なコピーが見つかるまで、バックアップを再度確認する必要があります。理想的には、そのファイルが含まれている最初のバックアップに移動することですが、特にファイルが何度も編集されている場合は、それを理解するのが難しい場合があります。さらに悪いことに、そのファイルが破損が発生した後に追加または編集されたかどうかを考慮してください。これだけでも、Par2 などのブロックレベルのパリティを採用するのに十分な理由になります。

Answer 1

ZFS が始まりです。多くのストレージ ベンダーは、追加のデータ保護機能を備えた 520B ドライブも提供しています。ただし、これで保護されるのは、データがストレージ ファブリックに入った直後のみです。ホストレベルで破損していた場合でも、とにかく大丈夫です。

まさにこの問題に対する、標準ベースの有望な解決策がいくつか登場する見込みです。エンドツーエンドのデータ保護。

T10 DIF (データ整合性フィールド) を考慮してください。これは新興標準 (5 年前に起草された) であり、新しいテクノロジーですが、データ破損の問題を解決するという高い目標を持っています。

Answer 2

その記事は出典を誤解して問題を大幅に誇張しています。データ損失イベントは独立していると仮定します。つまり、1,000 個のディスクを使用して 500 個のエラーが発生した場合、500 個のディスクでそれぞれ 1 個のエラーが発生する可能性が高くなります。しかし、実際には、ディスクの問題が発生したことのある人なら誰でも知っているように、1 つのディスクにおそらく 500 件のエラーがあり (それでもディスクの総容量のほんの一部です)、残りの 999 件は問題ありませんでした。したがって、実際には、56% の確率ですべてのディスクを読み取れなくなるわけではなく、おそらく 1% 以下の可能性が高いでしょう。しかし、その 1% に含まれるほとんどの人は、数十枚のディスクを失ったことに気づくでしょう。あるいは、ディスク全体に障害が発生していない場合でも、数百のセクターに障害が発生する可能性があります。

案の定、実際の実験はこの理解を反映しており、記事で提供されているものではありません。

基本的に、これは「中国のささやき」の例です。ここにリンクされている記事は別の記事を参照しており、その記事は出版された論文を間接的に参照しています。同紙は、これらの出来事はもちろん、 独立していない しかし、その重要な事実は、簡単に消化できるブログ形式に移行すると消えてしまいます。

Answer 3

56% の確率で何かが読めないのではないかと思います。私は RAID 5 とその他の優れた機能を組み合わせて実行し、適切なバックアップを実践していますが、RAID 5 とホット スペアを使用することでデータ損失が発生したことがないので、何が問題になっているのかわかりません。パリティ情報を保存する場合...ソフトウェアを使用して RAID システムを作成している場合、R5 でディスク障害が発生すると、失われたディスク データを取り戻すためのパリティのようなチェックが行われるため...それはすでにそこにあります。

Raid を実行し、データをバックアップすれば大丈夫です :)