Перехват стандартного вывода подпроцесса во время его выполнения

Question

Если это мой подпроцесс:

import time, sys
for i in range(200):
    sys.stdout.write( 'reading %i\n'%i )
    time.sleep(.02)

И это скрипт, управляющий и изменяющий выходные данные подпроцесса:

import subprocess, time, sys

print 'starting'

proc = subprocess.Popen(
    'c:/test_apps/testcr.py',
    shell=True,
    stdin=subprocess.PIPE,
    stdout=subprocess.PIPE  )

print 'process created'

while True:
    #next_line = proc.communicate()[0]
    next_line = proc.stdout.readline()
    if next_line == '' and proc.poll() != None:
        break
    sys.stdout.write(next_line)
    sys.stdout.flush()

print 'done'

Почему это readline и communicate ожидая, пока процесс не будет завершен?Есть ли простой способ передать (и модифицировать) стандартный вывод подпроцесса в режиме реального времени?

Кстати, я видел это, но мне не нужны функции ведения журнала (и я не потрудился многое из этого понять).

Я нахожусь на Windows XP.

Answer 1

Как Чарльз уже упоминал, проблема заключается в буферизации.Я столкнулся с аналогичной проблемой при написании некоторых модулей для SNMPd и решил ее, заменив стандартный вывод на версию с автоматической очисткой.

Я использовал следующий код, вдохновленный некоторыми постами на ActiveState:

class FlushFile(object):
    """Write-only flushing wrapper for file-type objects."""
    def __init__(self, f):
        self.f = f
    def write(self, x):
        self.f.write(x)
        self.f.flush()

# Replace stdout with an automatically flushing version
sys.stdout = FlushFile(sys.__stdout__)

Answer 2

Выходные данные процесса буферизуются.В большем количестве операционных систем UNIXy (или Cygwin) перспективный доступен модуль, который произносит все необходимые заклинания, чтобы избежать проблем, связанных с буферизацией.Однако эти заклинания требуют рабочего модуль pty, который недоступен в собственных (не cygwin) сборках win32 Python.

В примере, где вы управляете подпроцессом, вы можете просто вызвать его sys.stdout.flush() при необходимости - но для произвольных подпроцессов эта опция недоступна.

Смотрите также вопрос "Почему бы просто не использовать канал (popen())?" в разделе часто задаваемых вопросов pexpect.