Pytanie w sprawie batch-processing, torque, pbs, parallel-processing – PBS, odśwież stdout

9

Mam długotrwałą pracę Torque / PBS i chciałbym monitorować wyjście. Ale plik dziennika jest kopiowany tylko po zakończeniu zadania. Czy istnieje sposób, aby przekonać PBS do odświeżenia?

Twoja odpowiedź

4   odpowiedź
7

Jest to możliwe w TORQUE. Jeśli masz wspólny system plików, możesz go ustawić

$ spool_as_final_name true

w pliku konfiguracyjnym mamy. Spowoduje to zapisanie pliku bezpośrednio do końcowego miejsca docelowego zamiast buforowania w katalogu buforowania. Po skonfigurowaniu możesz wyregulować plik wyjściowy i monitorować wszystko, co chcesz.

http://www.adaptivecomputing.com/resources/docs/torque/3-0-3/a.cmomconfig.php (szukaj spool_as_final_name

Dzięki. Będę o tym pamiętać, ale nie mam kontroli nad mamą Anycorn
Nie, nie może być kontrolowany przez użytkownika, ale wielu administratorów sys również lubi tę funkcję. dbeer
1

Dla mnie sshing do węzła, w którym działa zadanie i przeglądanie plików w/var/spool/torque/spool/ działa, ale może być specyficzny dla tego konkretnego środowiska.

3

Niestety AFAIK, co nie jest możliwe w PBS / Torque - strumienie stdout / stderr są lokalnie buforowane na hoście wykonawczym, a następnie przesyłane do hosta wysyłającego po zakończeniu zadania. Możesz przekierować standardowe wyjście programu do pliku, jeśli chcesz go monitorować podczas wykonywania (ma to sens tylko wtedy, gdy wykonanie i hosty sumit mają wspólny system plików).

Podejrzewam, że uzasadnieniem jest to, że pozwala na wykonywanie zadań na węzłach, które nie współdzielą swojego systemu plików z węzłem przesyłania.

znalazłem-k Flaga, która nie jest zbyt ładna - więc skończyło się na przechwytywaniu stdout poza kolejką. : / Anycorn
Ponieważ użytkownik SGE od dawna był w stanie natychmiast zobaczyć pliki wyjściowe, odczuwam twój ból. Przez przypadek spędziłem dziś pół popołudnia szukając alternatywy dla LSFbpeek polecenie na systemie MOAB / Torque i frustrująco nie znaleziono żadnego. Hristo Iliev
0

W przypadku przesłania skryptu powłoki możesz również umieścić te dwa polecenia na początku skryptu.

<code>exec 1>file.stdout
exec 2>file.stderr
</code>

Spowoduje to umieszczenie wyjścia z stdout i stderr w katalogu roboczym twojej pracy.

Powiązane pytania