進行状況の監視/並列 R スクリプトのデバッグ

Question

単純なコードを迅速に並列化するための選択肢の中には (降雪, フォーリーチ, 、 そして すぐ)、すべてのスレーブ プロセスの進行状況を表示するためのオプションは何ですか?この点で優れている製品はありますか?

降雪量が 1.70 であるのを見てきました。 sfCat(), 、しかし、マスター R セッションに出力されないようです。

Answer 1

そこが黒魔術になってしまう可能性があるのですが…。MPI や PVM がリストされていないことに気付きました。並列コンピューティングの古い主力製品にはモニターがあります。R の外に出て、ジョブ スケジューラ (スラーム、トルクなど) に頼ることで解決策が見つかるかもしれません。

それができない場合は (そして、私たちが Snow や foreach などのシンプルさを好むのには理由があります)、N ステップごとに「ハートビート」または進行状況メッセージを記録するようにジョブを変更できるかもしれません。テキスト ファイルにログを記録したり (NFS または SMB/CIFS 共有がある場合)、データベースにログを記録したり、 Rでツイート. 。これはおそらくアプリに固有のものであり、ある程度のコストがかかります。