Промежуточное программное обеспечение для параллельной обработки

Question

Какое промежуточное программное обеспечение, доступное для Windows и Linux, вы считаете лучшим для относительно крупномасштабной параллельной обработки (передача данных может осуществляться в сети Ethernet со скоростью 100 Мбит)?КОРБА?МПИ1?МПИ2?XML-RPC/SOA/WSDL?Пользовательские сетевые протоколы?Java RPC?Python RPC?Другие?

Answer 1

ПВМ мне очень пригодился для небольшого (10 машин, 40 процессоров) кластера с GigE-свитчем.Это было пару лет назад, но все еще должно быть жизнеспособным, хотя PVM, похоже, не развивается дальше.Я упоминаю об этом, чтобы добавить его в ваш список кандидатов.Я подозреваю, что MPI был бы более популярным выбором, но мне понравился PVM.

Answer 2

Вы спрашиваете о промежуточном программном обеспечении, но затем указываете ряд протоколов обмена сообщениями.Если вы ищете протоколы обмена сообщениями, платформа Thrift от Facebook определенно работает при очень высокой нагрузке и размере кластера:

Бережливость

Если вы ищете какой-либо другой компонент промежуточного программного обеспечения, пожалуйста, уточните.

Answer 3

Или, может быть Терракота?Или, может быть Хадуп?