Monitorando o progresso/depuração de scripts paralelos R Scripts

Question

Entre as escolhas que tenho para paralelizar rapidamente o código simples (queda de neve, para cada, e em breve), quais são minhas opções para mostrar o progresso de todos os processos de escravo? Alguma das ofertas se destaca nesse sentido?

Eu já vi que a queda de neve 1.70 tem sfCat(), mas parece que não parece a saída do CAT para a sessão Master R.

Answer 1

É aí que pode se transformar em arte negra ... Percebo que você não listou MPI ou PVM - esses antigos cavalos de trabalho da computação paralela têm monitores. Você pode encontrar soluções saindo de R e confiando nos programadores de emprego (Slurm, Torque, ...)

Se você não pode fazer isso (e ei, há razões pelas quais gostamos da simplicidade da neve, foreach, ...), talvez você possa alterar seus trabalhos para registrar um 'batimento cardíaco' ou uma mensagem de progresso a cada N etapas. Você pode fazer login nos arquivos de texto (se você tiver um compartilhamento NFS ou SMB/CIFS), logar em um banco de dados ou diabos, envie um Tweet com r. Provavelmente será específico para o seu aplicativo e, sim, terá algum custo.