Мониторинг хода выполнения/отладка параллельных сценариев R

Question

Среди вариантов, которые у меня есть для быстрого распараллеливания простого кода (снегопад, для каждого, и скоро), какие у меня есть варианты отображения хода всех подчиненных процессов?Есть ли какие-либо предложения, превосходящие в этом отношении?

Я видел этот снегопад в 1.70 sfCat(), но, похоже, он не выводит данные в главный сеанс R.

Answer 1

Вот тут-то это и может превратиться в чёрное искусство...Я заметил, что вы не указали MPI или PVM — у этих старых рабочих лошадок параллельных вычислений есть мониторы.Вы можете найти решения, выйдя за пределы R и полагаясь на планировщики заданий (slurm, крутящий момент,...).

Если вы не можете этого сделать (и, эй, есть причины, по которым нам нравится простота снега, foreach и т. д.), то, возможно, вы можете изменить свои задания, чтобы регистрировать «пульс» или сообщение о ходе работы каждые N шагов.Вы можете войти в текстовые файлы (если у вас есть общий ресурс NFS или SMB/CIFS), войти в базу данных или, черт возьми, отправить твит с R.Скорее всего, это будет зависеть от вашего приложения, и да, за это придется платить.