Überwachung der Fortschritte / Debugging Parallel R Scripts
Frage
Zu den Entscheidungen, die ich habe für einfachen Code schnell zu parallelisieren ( Schneefall foreach und
Lösung Das ist, wo es in schwarze Kunst verwandeln kann ... ich feststellen, dass Sie nicht die Liste MPI oder PVM hat - diese alten Arbeitspferde von Parallel Computing zu tun haben Monitore. Sie können Lösungen finden, indem außerhalb von R gehen und sich auf Job-Scheduler (slurm, Drehmoment, ...) Wenn Sie das nicht tun können (und hey, es gibt Gründe, warum wir wie die Einfachheit des Schnees, foreach, ...), dann vielleicht können Sie Ihre Jobs ändern alle N Schritte ein ‚Herzschlag‘ oder Fortschrittsmeldung zu protokollieren . Sie können Text-Log-Dateien (wenn Sie einen NFS oder SMB / CIFS-Freigabe haben), melden Sie sich an eine Datenbank oder Heck, eine Tweet mit R . Es wird höchstwahrscheinlich spezifisch für Ihre Anwendung sein, und ja, es wird einige Kosten hat.