ファイル複製ソリューション

Question

ファイルを定期的にディスクにドロップして、同じデータセンター内の他のいくつかの Windows サーバーにレプリケートする、Windows ホストのビルド プロセスについて考えています。他のマシンは IIS を実行し、それらのファイルを一般に提供します。

コーパスの合計サイズは数百万のファイル、数百 GB のデータになります。ターゲットサーバー上で起こり得る競合、潜在的なリンクなどに対処する必要があります。WAN 経由でクリーン サーバーをコールドスタートする

私がこれまでに考えた解決策：

• キューに入れられたシステムとデーモンは定期的に起動し、サービスとしてコピーまたは実行されます。
• SAN - 高価、複雑、さらに高価
• ROBOCOPY、時間指定のジョブ - シンプルですが効果的です。多くの内部/不定状態。コピー中のどこにエラーがあるのか
• 既製の補充品。ソフトウェア - SAN より安価ですが、それでも高価です
• UNC 共有フォルダーとリプルなし。レイテンシが高く、コストが低い - クラスタリング ソリューションも必要です。
• DFS レプリケーション。

他の人は他に何を使っていますか？

Answer 1

私はこの種の作業に rsync スクリプトを使用し、成功しました。今回の場合は数千台のマシンでした。Windows 用の rsync サーバーはあると思いますが、Linux 以外では使用したことがありません。

Answer 2

私たちは管理すべき数百万ギガのデータを持っていませんが、本社と海外の代理店の間で一晩中大量のファイルを送信および収集しています。しばらくの間、alwaysync を使用してきました。フォルダー/ftp 同期が可能になります。フォルダーやファイルの分析と比較を可能にする優れたインターフェイスがあり、もちろんスケジュールすることもできます。

Answer 3

UNC 共有フォルダーとレプリケーションがないことには、特に IIS がサイトのホーム ディレクトリとして UNC パスを使用する場合に多くの欠点があります。ストレスがかかると、次のようなことに遭遇します。 http://support.microsoft.com/default.aspx/kb/810886 これは、フォルダーを共有するサーバーに対する同時セッションの数が原因です。また、IIS は UNC フォルダーのスキャン/インデックス付け/キャッシュ (IIS バージョンと ASP 設定に応じて) を行うため、IIS サイトの起動が遅くなります。

DFS を使用したテストは非常に有望であり、上記の制限はありませんでした。

Answer 4

私の組織ではファイルの受け渡しに ROBOCOPY を使用しています。非常にスムーズに動作するので、お勧めする価値があると思います。

さらに、あまりにもおかしなことをしているわけではありません。Perl にも精通していれば、ニーズを満たす簡単なスクリプトを作成できると思います。