使用多个节点运行slurm脚本，使用1个任务启动作业步骤

Question

我正在尝试使用批处理脚本启动大量作业步骤。不同的步骤可以是完全不同的程序，并且确实需要每个CPU。首先，我尝试使用 --multi-prog 论点 srun.不幸的是，当以这种方式使用分配给我的工作的所有Cpu时，性能会大幅下降。运行时间增加到几乎其序列化值。通过少报，我可以稍微改善一下。我在网上找不到任何关于这个问题的东西，所以我假设这是我正在使用的集群的配置问题。

所以我试着走另一条路。我实现了以下脚本（通过 sbatch my_script.slurm):

#!/bin/bash
#SBATCH -o $HOME/slurm/slurm_out/%j.%N.out
#SBATCH --error=$HOME/slurm/slurm_out/%j.%N.err_out
#SBATCH --get-user-env
#SBATCH -J test
#SBATCH -D $HOME/slurm
#SBATCH --export=NONE
#SBATCH --ntasks=48

NR_PROCS=$(($SLURM_NTASKS))
for PROC in $(seq 0 $(($NR_PROCS-1)));
do
    #My call looks like this:
    #srun --exclusive -n1 bash $PROJECT/call_shells/call_"$PROC".sh &
    srun --exclusive -n1 hostname &
    pids[${PROC}]=$!    #Save PID of this background process
done
for pid in ${pids[*]};
do
    wait ${pid} #Wait on all PIDs, this returns 0 if ANY process fails
done

我知道， --exclusive 在我的情况下，并不需要争论。调用的shell脚本包含不同的二进制文件及其参数。我的脚本的剩余部分依赖于所有进程都已完成的事实，因此 wait.我改变了呼叫线路，使其成为一个最小的工作示例。

起初，这似乎是解决方案。不幸的是，当增加我的作业分配中使用的节点数量时（例如通过增加 --ntasks 到大于我的集群中每个节点的Cpu数量的数字），脚本不再按预期工作，返回

srun: Warning: can't run 1 processes on 2 nodes, setting nnodes to 1

并继续只使用一个节点（即在我的情况下，48个Cpu像以前一样快速完成作业步骤，其他节点上的所有进程随后被杀死）。

这似乎是预期的行为，但我无法真正理解它。为什么给定分配中的每个作业步骤都需要包括与分配中包括的节点数相等的最小任务数。我通常真的根本不关心我的分配中使用的节点数量。

如何实现我的批处理脚本，以便它可以可靠地在多个节点上使用？

Answer 1

找到了！命名法和许多命令行选项使我感到困惑。解决方案由

#!/bin/bash
#SBATCH -o $HOME/slurm/slurm_out/%j.%N.out
#SBATCH --error=$HOME/slurm/slurm_out/%j.%N.err_out
#SBATCH --get-user-env
#SBATCH -J test
#SBATCH -D $HOME/slurm
#SBATCH --export=NONE
#SBATCH --ntasks=48

NR_PROCS=$(($SLURM_NTASKS))
for PROC in $(seq 0 $(($NR_PROCS-1)));
do
    #My call looks like this:
    #srun --exclusive -N1 -n1 bash $PROJECT/call_shells/call_"$PROC".sh &
    srun --exclusive -N1 -n1 hostname &
    pids[${PROC}]=$!    #Save PID of this background process
done
for pid in ${pids[*]};
do
    wait ${pid} #Wait on all PIDs, this returns 0 if ANY process fails
done

这指定仅在一个包含单个任务的节点上运行作业。