Pergunta sobre pbs, batch-processing, parallel-processing, torque – PBS, atualizar stdout

9

Eu tenho um trabalho de longa data Torque / PBS e gostaria de monitorar a saída. Mas o arquivo de log só é copiado depois que o trabalho é concluído. Existe uma maneira de convencer a PBS a atualizá-lo?

Sua resposta

4   a resposta
0

você também pode colocar esses dois comandos no início do script.

<code>exec 1>file.stdout
exec 2>file.stderr
</code>

Isso colocará a saída de stdout e stderr no diretório de trabalho do seu trabalho.

7

tilhado, você pode definir

$ spool_as_final_name true

no arquivo de configuração da mãe. Isso fará com que o arquivo seja gravado diretamente no destino de saída final, em vez de fazer spool no diretório de spool. Uma vez que você está configurado com o que você pode tail -f o arquivo de saída e monitorar o que quiser.

http://www.adaptivecomputing.com/resources/docs/torque/3-0-3/a.cmomconfig.php (procure por spool_as_final_name

Obrigado. Vou manter isso em mente, mas não tenho controle sobre a mãe Anycorn
Não, não pode ser controlado pelo usuário, mas muitos administradores de sistemas também gostam desse recurso. dbeer
1

ssh-ing para o nó onde o trabalho está sendo executado e olhando para arquivos sob/var/spool/torque/spool/ funciona, mas pode ser específico para esse ambiente específico.

3

AFAIK, isso não é possível com o PBS / Torque - os fluxos stdout / stderr são armazenados em spool localmente no host de execução e depois transferidos para o host de envio após o término do trabalho. Você pode redirecionar a saída padrão do programa para um arquivo se quiser monitorá-lo durante a execução (só faz sentido se a execução e os hosts de compartilhamento compartilharem um sistema de arquivos comum).

Eu suspeito que o raciocínio é que ele permite que tarefas sejam executadas em nós que não compartilham seu sistema de arquivos com o nó de envio.

Como um usuário SGE de longa data costumava ver os arquivos de saída imediatamente, sinto sua dor. Por coincidência, passei metade da tarde hoje procurando uma alternativa para a LSFbpeek comando em um sistema MOAB / Torque e frustrantemente não encontrou nenhum. Hristo Iliev
Achei um-k flag que não é muito bom - então acabei capturando stdout fora da fila. : / Anycorn

Perguntas relacionadas