Можно ли ограничить Hadoop резервными циклами процессора?

Question

Можно ли запустить Hadoop, чтобы он использовал только свободные циклы ЦП? То есть Было бы целесообразно установить Hadoop на рабочих машинах людей, чтобы можно было сократить число, когда они не используют свои ПК, и у них не будет явного снижения производительности (без вентиляторов!).

Возможно, дело в том, чтобы настроить JVM для работы с низким приоритетом и не использовать «слишком много» сети (при условии, что такое возможно на машине с Windows)?

Если нет, кто-нибудь знает какие-либо эквиваленты Java в таких вещах, как BOINC ?

Изменить. Список инфраструктуры очистки циклов можно найти здесь здесь . Хотя мой вопрос о Hadoop все еще остается.

Answer 1

Это очень далеко от предполагаемого использования Hadoop. Hadoop ожидает, что все его узлы будут полностью доступны и подключены к сети для оптимальной пропускной способности - а не то, что вы получаете с рабочими станциями. Более того, он даже не работает в Windows (вы можете использовать его с Cygwin, но я не знаю никого, кто использовал бы его для «производства» - кроме как на клиентских машинах, выдающих задания).

Hadoop выполняет такие вещи, как хранение фрагментов данных на нескольких узлах и пытается запланировать все вычисления для этих данных на этих узлах; в среде разделения работы это означает, что задача, для которой нужны эти данные, будет хотеть выполняться на этих трех рабочих станциях - независимо от того, что их пользователи делают в данный момент. Напротив, «очистка цикла» проекты хранят все данные в другом месте и отправляют их и задачу на любой узел, который доступен в данный момент; это позволяет им лучше относиться к машинам, но влечет за собой очевидные затраты на передачу данных.

Answer 2

Может быть, Терракота - это что-то большее в твоем переулке?

Терракотовая ссылка на продукт