Распространение распределения CPU сжатия на несколько компьютеров?

Question

На днях мне нужно было архивировать много данных в нашей сети, и я был разочарован, у меня не было немедленного способа использовать силу нескольких машин для ускорения процесса.

Я понимаю, что создание системы управления распределенной работой является скачок из инструмента командной строки архивирования.

Сейчас мне интересно, какое простейшее решение этого типа распределенного сценария производительности может быть. Будет ли пользовательский инструмент всегда быть требованием или есть ли способы использовать стандартные утилиты и как-то распространять свою нагрузку прозрачно на более высоком уровне?

Спасибо за любые предложения.

Answer 1

Один из способов решать, что это может быть использование распределенной системы для запуска сценариев через сетевое оборудование. Это (или используется) экспериментальная особенность (некоторые реализации) GNU. Solaris реализует утилиту DMake для той же цели.

Еще один, более тяжелый вес, подход может быть использовать Condor для распределения ваших архивирования. Но я думаю, что вы не будете устанавливать Condor только для прогонов в два раза в год, это скорее система регулярно стимулирования запасных циклов из сетевого оборудования.

Система сборки Scons, которая на самом деле является заменой на основе Python для Make, может быть убеждена вручную отработать через сеть.

Опять же, вы можете использовать сценарии для SSH, чтобы начать работу на сетевых компьютерах.

Таким образом, есть несколько способов подходить к этому без необходимости принять параллельное программирование со всеми удовольствием, которое влечет за собой.