KshとPerlでタスクを並行して実行する最良の方法は何ですか?
-
05-07-2019 - |
質問
並列のmake(Linuxのmake -jなど)がないプラットフォームでビルドする必要があるこの大きなC ++プロジェクトがあります。サーバーには6個のCPUがあり、手動で並列ビルドを行いたいです。
約300個のオブジェクトファイルについて、このようなタスクリストを生成できます。依存関係チェックとインクリメンタルビルドにMakefileを使用します。
make -f Makefile obj1.o
make -f Makefile obj2.o
make -f Makefile obj3.o ...
これらのタスクを並行して実行するには、KshとPerlを使用して、一度に6つのタスクしか実行しませんか? (JavaまたはPythonは利用できません:-()
解決
Perlでは、 Parallel :: ForkManager を確認する必要があります。次のようなことができます:
my @make_obj = qw(
obj1.o
obj2.o
obj3.o
...
);
my $fm = $pm = new Parallel::ForkManager(6);
foreach my $obj (@make_obj) {
$fm->start and next;
system("make -f Makefile $make_obj");
$fm->finish();
}
他のヒント
フォークの代わりに、各makeを独自のスレッドで実行します。
use threads;
my $max_threads = 5;
my @targets = qw(obj1.o obj2.o obj3.o ...);
while(@targets) {
my $num_threads = threads->list(threads::running);
if( $num_threads < $max_threads ) {
my $target = shift @targets;
threads->create(sub { return system "make $target" });
}
}
残念ながら、2ビットを手で振っています。 1つは、スレッドが終了するまでループを静止状態で待機させることです。これは、threads :: sharedのcond_wait()とセマフォ変数を使用して達成されると思います。
2番目は、makeからの戻り値を取得することです。そのため、何かが失敗したかどうかを確認し、ビルドを停止します。そのためには、各スレッドをjoin()して、プロセスの終了コードであるsystem()の結果を取得する必要があります。
お急ぎの返信でごめんなさい。コミュニティが残りを埋めることを願っています。
HPUXのgnu makeには-jフラグがありませんか?
GNU Parallelを使用すると、次のように記述できます。
parallel -j6 make -f Makefile obj{}.o ::: {1..500}
10秒のインストール:
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
詳細: http://www.gnu.org/software/parallel/parallel_tutorial .html https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
OSがプロセッサ間通信とスケジューリングを適切に処理している場合、相互依存関係がない限り、すべてのmakeをバックグラウンドプロセスにスローできます。
それらがすべて独立している場合、次のような一連のコマンドを発行します。
make -f Makefile obj1.o &
make -f Makefile obj2.o &
...
make -f Makefile objn.o &
依存関係がある場合は、二重のアンパサンド(&amp;&amp;
)で文字列を並べて、「親」が終了するまで依存アイテムが開始されないようにします。
それはあなたが要求した解決策ではないことはわかっていますが、問題をどのように攻撃するかです:)