Вопрос по subprocess, stdin, python – Как передать строку в subprocess.Popen (используя аргумент stdin)?

246

Если я сделаю следующее:

import subprocess
from cStringIO import StringIO
subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=StringIO('one\ntwo\nthree\nfour\nfive\nsix\n')).communicate()[0]

Я получил:

Traceback (most recent call last):
  File "", line 1, in ?
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 830, in _get_handles
    p2cread = stdin.fileno()
AttributeError: 'cStringIO.StringI' object has no attribute 'fileno'

Видимо, объект cStringIO.StringIO неКрякнуть достаточно близко к файловой утке, чтобы удовлетворить подпроцесс. Открыть. Как мне обойти это?

сообщение в блоге содержит несколько ошибок, например,самый первый пример кода:call(['ls', '-1'], shell=True)  это неверно. Я рекомендую прочитатьобщие вопросы из подпроцесса описание тега вместо. Особенно,Почему подпроцесс. Открыть не можетне работает, когда args это последовательность? объясняет почемуcall(['ls', '-1'], shell=True) неправильно. Я помню, как оставлял комментарии под постом в блоге, но я нене вижу их сейчас по какой-то причине. jfs
Вместо того, чтобы оспаривать мой ответ с этим удалением, ядобавив его в качестве комментария ... Рекомендуем прочитать:Дуг Хеллманнs Блог модуля Python недели о подпроцессе. Daryl Spitzer

Ваш Ответ

10   ответов
22

Я немного удивлен, что никто не предложил создать канал, который, на мой взгляд, является самым простым способом передачи строки в стандартный поток подпроцесса:

read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)

subprocess.check_call(['your-command'], stdin=read)
os иsubprocess оба документа согласны с тем, что вы должны предпочесть последнее первому. Это устаревшее решение, которое имеет (чуть менее лаконичную) стандартную замену; Принятый ответ цитирует соответствующую документацию. tripleee
я не уверен, чтоправильно, тройной. В цитируемой документации сказано, почему трудно использовать каналы, созданные процессом, но в этом решении он создает канал и передает его внутрь. Я считаю, что это позволяет избежать потенциальных тупиковых ситуаций управления каналами после того, как процесс уже запущен. Graham Christensen
-1: приводит к тупику, может потерять данные. Эта функциональность уже предоставлена модулем подпроцесса. Используйте его вместо плохого переопределения (попробуйте написать значение, которое больше, чем буфер канала ОС) jfs
os.popen устарела в пользу подпроцесса hd1
6
"""
Ex: Dialog (2-way) with a Popen()
"""

p = subprocess.Popen('Your Command Here',
                 stdout=subprocess.PIPE,
                 stderr=subprocess.STDOUT,
                 stdin=PIPE,
                 shell=True,
                 bufsize=0)
p.stdin.write('START\n')
out = p.stdout.readline()
while out:
  line = out
  line = line.rstrip("\n")

  if "WHATEVER1" in line:
      pr = 1
      p.stdin.write('DO 1\n')
      out = p.stdout.readline()
      continue

  if "WHATEVER2" in line:
      pr = 2
      p.stdin.write('DO 2\n')
      out = p.stdout.readline()
      continue
"""
..........
"""

out = p.stdout.readline()

p.wait()
Так какshell=True так часто используется без уважительной причины, и это популярный вопрос, позвольте мне отметить, что существует множество ситуаций, когдаPopen(['cmd', 'with', 'args']) определенно лучше чемPopen('cmd with args', shell=True) и оболочка разбивает команду и аргументы на токены, но не предоставляет ничего полезного, в то же время добавляя значительную сложность и, следовательно, поверхность атаки. tripleee
14

Я использую python3 и обнаружил, что вам нужно закодировать вашу строку, прежде чем вы сможете передать ее в стандартный ввод:

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)
Но будьте осторожны,universal_newlines=True также преобразует ваши новые строки в соответствии с вашей системой Nacht
Если ты'Вы используете Python 3, см.мой ответ для еще более удобного решения. " Flimm
Ты неВ частности, необходимо кодировать входные данные, он просто хочет подобный байту объект (например,b'something'). Он также будет возвращать ошибки и байты. Если вы хотите избежать этого, вы можете пройтиuniversal_newlines=True вPopen, Затем он примет ввод как str и вернет err / out как str. Six
3
p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
p.stdin.write('one\n')
time.sleep(0.5)
p.stdin.write('two\n')
time.sleep(0.5)
p.stdin.write('three\n')
time.sleep(0.5)
testresult = p.communicate()[0]
time.sleep(0.5)
print(testresult)
13

Видимо, объект cStringIO.StringIO некрякнуть достаточно близко к файловой утке, чтобы удовлетворить подпроцесс. Открыть "

:-)Я'

Боюсь, что нет. Канал представляет собой низкоуровневую концепцию ОС, поэтому ему абсолютно необходим файловый объект, представленный дескриптором файла на уровне ОС. Ваш обходной путь правильный.

284

Popen.communicate() документация:

Обратите внимание, что если вы хотите отправить данные в процессs stdin, вам нужно создать объект Popen с помощью stdin = PIPE. Точно так же, чтобы получить что-то кроме None в кортеже результата, вам нужно также указать stdout = PIPE и / или stderr = PIPE.

Замена os.popen *

    pipe = os.popen(cmd, 'w', bufsize)
    # ==>
    pipe = Popen(cmd, shell=True, bufsize=bufsize, stdin=PIPE).stdin

Предупреждение Используйте communication (), а не stdin.write (), stdout.read () или stderr.read (), чтобы избежать взаимных блокировок из-за того, что любые другие буферы конвейера ОС заполняют и блокируют дочерний процесс.

Итак, ваш пример может быть записан следующим образом:

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->

В текущей версии Python 3 вы можете использоватьsubprocess.run, чтобы передать ввод как строку во внешнюю команду и получить ее статус завершения, а вывод в виде строки обратно за один вызов:

#!/usr/bin/env python3
from subprocess import run, PIPE

p = run(['grep', 'f'], stdout=PIPE,
        input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# -> 
Но обратите внимание на ПРИМЕЧАНИЕ дляобщаться: "не используйте этот метод, если размер данных большой или неограниченный Owen
@ J.F.Sebastian Я знаю, что это подпроцесс grep 's stdin, stdout, stderr используется, когда я имею в виду эти дескрипторы вПопен (grep, stdout, stderr). Общаться (b 'что-то'), У меня вопрос, как родительский процесс отправляет данные (b'something') grep 'с stdin? overexchange
@overexchange stdin = PIPE в коде создает канал. Любые данные, записанные python на одном конце канала, могут быть прочитаны процессом grep на другом конце (это связано с grep 's stdin, grep читает только со своего stdin). Python видит свой собственный конец канала как файлоподобный объектp.stdin со всеми обычными методами: .write (), .flush (), .fileno (), .close (). jfs
@OTZ Что?лучшее решение? Nick T
5

Остерегайтесь этогоPopen.communicate(input=s)может доставить вам неприятности, еслиsслишком большой, потому что, очевидно, родительский процесс будет его буферизоватьдо Разветвление дочернего подпроцессав два раза больше" используемая память в этой точке (по крайней мере, в соответствии спод капотом" объяснение и связанная документация найденыВот). В моем конкретном случае,sбыл генератор, который был сначала полностью расширен и только потом записанstdin поэтому родительский процесс был огромным прямо перед порождением ребенка, и не осталось памяти, чтобы его обработать:

File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory

17

Там'прекрасное решение, если выВы используете Python 3.4 или лучше. Использоватьinput аргумент вместоstdin аргумент, который принимает байтовый аргумент:

output = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input=b"foo",
)
Это лучший ответ для Python 3.4+ (используя его в Python 3.6). Это действительно не работает сcheck_call но это работает дляrun, Он также работает с input = string, если вы также передаете аргумент кодирования в соответствии с документацией. Nikolaos Georgiou
@vidstige You 'верно, этостранно Я хотел бы рассмотреть это как ошибку Python, я нене вижу веских причин, почемуcheck_output должен иметьinput аргумент, но нет.call Flimm
не работает дляcall vidstige
40

Я понял этот обходной путь:

>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()

Есть ли лучший?

В документации по подпроцессу: Предупреждение. Используйте функцию connect (), а не .stdin.write, .stdout.read или .stderr.read, чтобы избежать взаимных блокировок из-за заполнения других буферов буфера ОС и блокировки дочернего процесса. Jason Mock
Я думаю, что это хороший способ сделать это, если выВы уверены, что ваш stdout / err выигралникогда не заполняется (например, этоидет к файлу, или другой поток ест его), и у вас есть неограниченный объем данных для отправки на стандартный ввод. Lucretiel
@Moe:stdin.write() использование не рекомендуется,p.communicate() должен быть использован. Смотри мой ответ. jfs
В частности, выполнение этого способа по-прежнему гарантирует, что стандартный ввод закрыт, так что, если подпроцессы - это тот, который потребляет ввод навсегда,communicate закроет трубу и позволит процессу завершиться изящно. Lucretiel
Тот'это не обходной путь - этоэто правильный способ сделать это! Moe
8
from subprocess import Popen, PIPE
from tempfile import SpooledTemporaryFile as tempfile
f = tempfile()
f.write('one\ntwo\nthree\nfour\nfive\nsix\n')
f.seek(0)
print Popen(['/bin/grep','f'],stdout=PIPE,stdin=f).stdout.read()
f.close()
fyi, tempfile.SpooledTeilitaryFile .__ doc__ говорит: временная оболочка файла, специализированная для переключения с StringIO на реальный файл, когда он превышает определенный размер или когда файл не требуется. Doug F

Похожие вопросы