KshとPerlでタスクを並行して実行する最良の方法は何ですか？

StackOverflow https://stackoverflow.com/questions/248332

質問

並列のmake（Linuxのmake -jなど）がないプラットフォームでビルドする必要があるこの大きなC ++プロジェクトがあります。サーバーには6個のCPUがあり、手動で並列ビルドを行いたいです。

約300個のオブジェクトファイルについて、このようなタスクリストを生成できます。依存関係チェックとインクリメンタルビルドにMakefileを使用します。

make -f Makefile obj1.o

make -f Makefile obj2.o

make -f Makefile obj3.o ...

これらのタスクを並行して実行するには、KshとPerlを使用して、一度に6つのタスクしか実行しませんか？ （JavaまたはPythonは利用できません:-(）

役に立ちましたか？

解決

Perlでは、 Parallel :: ForkManager を確認する必要があります。次のようなことができます：

my @make_obj = qw(
  obj1.o
  obj2.o
  obj3.o
  ...
);

my $fm = $pm = new Parallel::ForkManager(6);
foreach my $obj (@make_obj) {
  $fm->start and next;
  system("make -f Makefile $make_obj");
  $fm->finish();
}

他のヒント

フォークの代わりに、各makeを独自のスレッドで実行します。

use threads;

my $max_threads = 5;

my @targets = qw(obj1.o obj2.o obj3.o ...);
while(@targets) {
    my $num_threads = threads->list(threads::running);
    if( $num_threads < $max_threads ) {
        my $target = shift @targets;
        threads->create(sub { return system "make $target" });
    }
}

残念ながら、2ビットを手で振っています。 1つは、スレッドが終了するまでループを静止状態で待機させることです。これは、threads :: sharedのcond_wait（）とセマフォ変数を使用して達成されると思います。

2番目は、makeからの戻り値を取得することです。そのため、何かが失敗したかどうかを確認し、ビルドを停止します。そのためには、各スレッドをjoin（）して、プロセスの終了コードであるsystem（）の結果を取得する必要があります。

お急ぎの返信でごめんなさい。コミュニティが残りを埋めることを願っています。

HPUXのgnu makeには-jフラグがありませんか？

http://hpux.connect.org.uk/ hppd / hpux / Gnu / make-3.81 /

GNU Parallelを使用すると、次のように記述できます。

parallel -j6 make -f Makefile obj{}.o ::: {1..500}

10秒のインストール：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

詳細： http://www.gnu.org/software/parallel/parallel_tutorial .html https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

OSがプロセッサ間通信とスケジューリングを適切に処理している場合、相互依存関係がない限り、すべてのmakeをバックグラウンドプロセスにスローできます。

それらがすべて独立している場合、次のような一連のコマンドを発行します。

make -f Makefile obj1.o &
make -f Makefile obj2.o &
...
make -f Makefile objn.o &

依存関係がある場合は、二重のアンパサンド（＆amp;＆amp; ）で文字列を並べて、「親」が終了するまで依存アイテムが開始されないようにします。

それはあなたが要求した解決策ではないことはわかっていますが、問題をどのように攻撃するかです：）

ライセンス： CC-BY-SA と 帰属
所属していません StackOverflow
scroll top