Решения Для репликации файлов
-
01-07-2019 - |
Вопрос
Подумываю о процессе сборки под управлением Windows, который будет периодически сбрасывать файлы на диск для репликации на несколько других серверов Windows в том же центре обработки данных.Другие машины будут запускать IIS и распространять эти файлы в широких массах.
Общий размер корпуса составил бы миллионы файлов, 100 ГБ данных.Это должно было бы иметь дело с возможной конкуренцией на целевых серверах, скрытыми ссылками, напримерчистые серверы с холодным запуском через глобальную сеть
Решения, о которых я думал до сих пор :
- система и демоны, стоящие в очереди, либо периодически просыпаются и копируются, либо запускаются как службы.
- SAN - дорогой, сложный, еще дороже
- РОБОКОПИРОВАНИЕ на заданной по времени работе - просто, но эффективно.Множество внутренних / неопределенных состояний, напримергде это находится при копировании, ошибки
- Готовый репл.программное обеспечение - дешевле, чем SAN, но все равно дорогое
- UNC общие папки и никакого repl.Более высокая задержка, более низкая стоимость - все равно требуется решение для кластеризации.
- Репликация DFS.
Что еще использовали другие люди?
Решение
Я с большим успехом использовал скрипты rsync для такого рода работ, в нашем случае 1000 машин.Я полагаю, что есть сервер rsync для Windows, но я не использовал его ни на чем, кроме Linux.
Другие советы
Хотя у нас нет таких миллионов гигабайт данных для управления, мы отправляем и собираем множество файлов за ночь между нашей основной компанией и ее агентствами за рубежом.Мы уже некоторое время используем allwaysync.Это позволяет синхронизировать папки / ftp.Он имеет приятный интерфейс, который позволяет анализировать и сравнивать папки и файлы, и, конечно, это можно запланировать.
Общие папки UNC и отсутствие репликации имеют много недостатков, особенно если IIS собирается использовать UNC-пути в качестве домашних каталогов для сайтов.В состоянии стресса вы столкнетесь с http://support.microsoft.com/default.aspx/kb/810886 из-за большого количества одновременных сеансов с сервером, совместно использующим папку.Кроме того, вы столкнетесь с медленными запусками сайта IIS, поскольку IIS захочет сканировать / индексировать / кэшировать (в зависимости от версии IIS и настроек ASP) папку UNC.
Я видел тесты с DFS, которые являются очень многообещающими, без каких-либо из вышеперечисленных ограничений.
В моей организации мы используем ROBOCOPY для передачи файлов.Это работает очень легко, и я считаю, что это стоит рекомендовать.
Кроме того, вы не делаете ничего слишком безумного.Если вы также хорошо разбираетесь в perl, я уверен, вы могли бы написать быстрый скрипт, который удовлетворит ваши потребности.