Frage an parallel-processing, pbs, batch-processing, torque – PBS, stdout aktualisieren

9

Ich habe einen lang andauernden Torque / PBS-Job und möchte die Ausgabe überwachen. Die Protokolldatei wird jedoch erst nach Abschluss des Auftrags kopiert. Gibt es eine Möglichkeit, PBS davon zu überzeugen, es zu aktualisieren?

Deine Antwort

4   die antwort
1

auf dem der Job ausgeführt wird, und suchen Sie nach Dateien unter/var/spool/torque/spool/ funktioniert, ist jedoch möglicherweise spezifisch für diese bestimmte Umgebung.

0

können Sie diese beiden Befehle auch am Anfang des Skripts einfügen.

<code>exec 1>file.stdout
exec 2>file.stderr
</code>

Dadurch wird die Ausgabe von stdout und stderr in das Arbeitsverzeichnis Ihres Jobs gestellt.

3

AFAIK, ist dies mit PBS / Torque nicht möglich - die Streams stdout / stderr werden lokal auf dem Ausführungshost gespoolt und dann nach Beendigung des Jobs auf den Submit-Host übertragen. Sie können die Standardausgabe des Programms in eine Datei umleiten, wenn Sie sie während der Ausführung überwachen möchten (dies ist nur dann sinnvoll, wenn die Ausführung und die Sumit-Hosts ein gemeinsames Dateisystem verwenden).

Ich vermute, das Grundprinzip ist, dass Jobs auf Knoten ausgeführt werden können, die ihr Dateisystem nicht mit dem Submit-Knoten teilen.

Da SGE-Benutzer lange Zeit daran gewöhnt waren, die Ausgabedateien sofort zu sehen, empfinde ich Ihren Schmerz. Zufällig habe ich heute einen halben Nachmittag damit verbracht, nach einer Alternative zu LSFs zu suchenbpeek Befehl auf einem MOAB / Torque-System und frustrierend keine gefunden. Hristo Iliev
Ich habe einen ... gefunden-k flag, was allerdings nicht sehr schön ist - so landete ich außerhalb der Warteschlange stdout erfassen. : / Anycorn
7

können Sie festlegen

$ spool_as_final_name true

in der Konfigurationsdatei der Mutter. Dadurch wird die Datei direkt an das endgültige Ausgabeziel geschrieben, anstatt im Spool-Verzeichnis zu spoolen. Sobald Sie damit fertig sind, können Sie die Ausgabedatei mit einem Tail versehen und alles überwachen, was Sie wollen.

http://www.adaptivecomputing.com/resources/docs/torque/3-0-3/a.cmomconfig.php (suche nach spool_as_final_name

Nein, es kann nicht vom Benutzer gesteuert werden, aber viele Systemadministratoren mögen diese Funktion ebenfalls. dbeer
Vielen Dank. Ich werde es mir merken, aber ich habe keine Kontrolle über Mama Anycorn

Verwandte Fragen