Alguém tem experiência com clusters em execução no Clustervisionos?
-
19-09-2019 - |
Pergunta
Atualmente, estou trabalhando em um cluster usando o ClustervisionOS 3.1. Esta será minha primeira vez trabalhando com um cluster, então provavelmente não tentei o "óbvio".
Eu posso enviar um único trabalho ao cluster com o comando "Qsub" (este que eu consegui funcionar corretamente)
Mas o problema começa ao enviar vários trabalhos de uma só vez. Eu poderia escrever um script enviando todos de uma vez, mas todos os nós estariam ocupados com meus empregos e há mais pessoas aqui querendo enviar seu trabalho.
Então aqui está o negócio:
32 nós (4 processadores/slots cada)
A melhor coisa seria dizer ao cluster para usar 3 nós (12 processadores) e fila todos os meus trabalhos nesses nós/processadores, se isso for possível. Se eu pudesse deixar os nós usarem 1 processador para cada trabalho, isso seria perfeito.
Solução
OK, então acho que descobri, não há solução para esse problema. Minha solução pessoal é escrever um script que se conecte através do SSH ao cluster e, em seguida, deixe o script verificar quantos trabalhos já estão sendo executados em seu nome de usuário. O script verifica se esse número não excede, digamos, 20 trabalhos ao mesmo tempo. Enquanto esse número não for alcançado, continue enviando empregos.
Talvez seja uma solução feia, mas funcionando!
Sobre a coisa do processador, os trabalhos já foram submetidos a diferentes processadores únicos, utilizando totalmente toda a extensão dos nós.