在Ksh和Perl中并行执行任务的最佳方法是什么？

Question

我有一个庞大的C ++项目，我需要在没有并行make的平台上构建（比如Linux上的make -j）。服务器有6个CPU，我想手动进行并行构建。

我可以为大约300个目标文件生成这样的任务列表。我使用Makefile进行依赖性检查和增量构建：

make -f Makefile obj1.o

make -f Makefile obj2.o

make -f Makefile obj3.o ...

我如何并行执行这些任务，使用Ksh和Perl一次运行的任务不超过6个？ （Java或Python不可用:-(）

Answer 1

在Perl中，您应该查看 Parallel :: ForkManager 。你可以这样做：

my @make_obj = qw(
  obj1.o
  obj2.o
  obj3.o
  ...
);

my $fm = $pm = new Parallel::ForkManager(6);
foreach my $obj (@make_obj) {
  $fm->start and next;
  system("make -f Makefile $make_obj");
  $fm->finish();
}

Answer 2

分叉的另一种方法是在自己的线程中运行每个make。

use threads;

my $max_threads = 5;

my @targets = qw(obj1.o obj2.o obj3.o ...);
while(@targets) {
    my $num_threads = threads->list(threads::running);
    if( $num_threads < $max_threads ) {
        my $target = shift @targets;
        threads->create(sub { return system "make $target" });
    }
}

不幸的是，我挥手两下左右。首先是使循环等待静止，直到线程结束。我相信这是使用threads :: shared的cond_wait（）和信号量变量完成的。

第二个是从make获取返回值，因此您知道某些内容是否失败并停止构建。要做到这一点，你必须加入（）每个线程以获得system（）的结果，进程的退出代码。

抱歉草率的回复。希望社区将填补其余部分。

Answer 3

HPUX上的gnu make是否没有-j标志？

http://hpux.connect.org.uk/ HPPD / HPUX / GNU /化妆3.81 /

Answer 4

使用GNU Parallel，你可以写：

parallel -j6 make -f Makefile obj{}.o ::: {1..500}

10秒安装：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

了解详情： http://www.gnu.org/software/parallel/parallel_tutorial .html https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Answer 5

如果操作系统正在正确处理处理器间通信和调度，那么只要没有相互依赖关系，您就应该能够将所有产品投入到后台进程中。

如果他们都是独立的，我会发布一系列这样的命令：

make -f Makefile obj1.o &
make -f Makefile obj2.o &
...
make -f Makefile objn.o &

对于依赖项，使用双＆符号（＆amp;＆amp; ）将它们串起来，以便依赖项在“父”完成之前不会启动。

我意识到这不是你要求的解决方案，但我会如何解决问题：）