Решения Для репликации файлов

Question

Подумываю о процессе сборки под управлением Windows, который будет периодически сбрасывать файлы на диск для репликации на несколько других серверов Windows в том же центре обработки данных.Другие машины будут запускать IIS и распространять эти файлы в широких массах.

Общий размер корпуса составил бы миллионы файлов, 100 ГБ данных.Это должно было бы иметь дело с возможной конкуренцией на целевых серверах, скрытыми ссылками, напримерчистые серверы с холодным запуском через глобальную сеть

Решения, о которых я думал до сих пор :

• система и демоны, стоящие в очереди, либо периодически просыпаются и копируются, либо запускаются как службы.
• SAN - дорогой, сложный, еще дороже
• РОБОКОПИРОВАНИЕ на заданной по времени работе - просто, но эффективно.Множество внутренних / неопределенных состояний, напримергде это находится при копировании, ошибки
• Готовый репл.программное обеспечение - дешевле, чем SAN, но все равно дорогое
• UNC общие папки и никакого repl.Более высокая задержка, более низкая стоимость - все равно требуется решение для кластеризации.
• Репликация DFS.

Что еще использовали другие люди?

Answer 1

Я с большим успехом использовал скрипты rsync для такого рода работ, в нашем случае 1000 машин.Я полагаю, что есть сервер rsync для Windows, но я не использовал его ни на чем, кроме Linux.

Answer 2

Хотя у нас нет таких миллионов гигабайт данных для управления, мы отправляем и собираем множество файлов за ночь между нашей основной компанией и ее агентствами за рубежом.Мы уже некоторое время используем allwaysync.Это позволяет синхронизировать папки / ftp.Он имеет приятный интерфейс, который позволяет анализировать и сравнивать папки и файлы, и, конечно, это можно запланировать.

Answer 3

Общие папки UNC и отсутствие репликации имеют много недостатков, особенно если IIS собирается использовать UNC-пути в качестве домашних каталогов для сайтов.В состоянии стресса вы столкнетесь с http://support.microsoft.com/default.aspx/kb/810886 из-за большого количества одновременных сеансов с сервером, совместно использующим папку.Кроме того, вы столкнетесь с медленными запусками сайта IIS, поскольку IIS захочет сканировать / индексировать / кэшировать (в зависимости от версии IIS и настроек ASP) папку UNC.

Я видел тесты с DFS, которые являются очень многообещающими, без каких-либо из вышеперечисленных ограничений.

Answer 4

В моей организации мы используем ROBOCOPY для передачи файлов.Это работает очень легко, и я считаю, что это стоит рекомендовать.

Кроме того, вы не делаете ничего слишком безумного.Если вы также хорошо разбираетесь в perl, я уверен, вы могли бы написать быстрый скрипт, который удовлетворит ваши потребности.