Pregunta sobre batch-processing, pbs, parallel-processing, torque – PBS, actualización stdout

9

Tengo una larga ejecución de trabajo Torque / PBS y me gustaría monitorear la salida. Pero el archivo de registro solo se copia una vez finalizado el trabajo. ¿Hay una manera de convencer a PBS para actualizarlo?

Tu respuesta

4   la respuesta
0

En caso de que envíe un script de shell, también puede poner estos dos comandos al principio del script.

<code>exec 1>file.stdout
exec 2>file.stderr
</code>

Esto colocará la salida de stdout y stderr en el directorio de trabajo de su trabajo.

3

Desafortunadamente, AFAIK, eso no es posible con PBS / Torque: las secuencias stdout / stderr se ponen en cola localmente en el host de ejecución y luego se transfieren al host de envío una vez que el trabajo ha finalizado. Puede redirigir la salida estándar del programa a un archivo si desea monitorearlo durante la ejecución (solo tiene sentido si la ejecución y los hosts de suma comparten un sistema de archivos común).

Sospecho que la razón es que permite que los trabajos se ejecuten en nodos que no comparten su sistema de archivos con el nodo de envío.

Como un usuario de SGE durante mucho tiempo acostumbrado a poder ver los archivos de salida inmediatamente, siento su dolor. Como coincidencia, hoy he pasado media tarde buscando una alternativa a la de LSF.bpeek comando en un sistema MOAB / Torque y frustrantemente no encontró ninguno. Hristo Iliev
Encontre un-k bandera que no es muy buena, así que terminé capturando la salida estándar fuera de la cola. : / Anycorn
1

Para mí, hacer referencia al nodo donde se está ejecutando el trabajo y buscar archivos en/var/spool/torque/spool/ Funciona, pero puede ser específico para este entorno en particular.

7

Esto es posible en TORQUE. Si tienes un sistema de archivos compartido puedes configurar

$ spool_as_final_name true

en el archivo de configuración de la mamá. Esto hará que el archivo se escriba directamente en el destino de salida final en lugar de poner en cola en el directorio de spool. Una vez que esté configurado, puede seguir el archivo de salida y monitorear lo que quiera.

http://www.adaptivecomputing.com/resources/docs/torque/3-0-3/a.cmomconfig.php (búsqueda de spool_as_final_name

No, no puede ser controlado por el usuario, pero a muchos administradores de sistemas también les gusta esta función. dbeer
Gracias. Lo tendré en cuenta pero no tengo control sobre mamá Anycorn

Preguntas relacionadas