อ่านกระบวนการ stdout ย่อยโดยบรรทัด

สคริปต์ python ของฉันใช้กระบวนการย่อยเพื่อเรียกใช้ยูทิลิตี linux ที่มีเสียงดังมาก ฉันต้องการเก็บผลลัพธ์ทั้งหมดไปยังล็อกไฟล์และแสดงบางส่วนแก่ผู้ใช้ ฉันคิดว่าสิ่งต่อไปนี้ใช้งานได้ แต่เอาต์พุตไม่ปรากฏขึ้นในแอปพลิเคชันของฉันจนกว่ายูทิลิตี้จะสร้างเอาต์พุตจำนวนมาก

#fake_utility.py, just generates lots of output over time
import time
i = 0
while True:
   print hex(i)*512
   i += 1
   time.sleep(0.5)

#filters output
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
for line in proc.stdout:
   #the real code does filtering here
   print "test:", line.rstrip()

พฤติกรรมที่ฉันต้องการจริงๆคือสคริปต์ตัวกรองเพื่อพิมพ์แต่ละบรรทัดตามที่ได้รับจากกระบวนการย่อย Sorta ชอบอะไรteeแต่ด้วยรหัสหลาม

ฉันพลาดอะไรไป เป็นไปได้ไหม

ปรับปรุง:

หาก a sys.stdout.flush()ถูกเพิ่มเข้าไปใน fake_utility.py รหัสจะมีพฤติกรรมที่ต้องการใน python 3.1 ฉันใช้ไพ ธ อน 2.6 คุณอาจคิดว่าการใช้proc.stdout.xreadlines()งานจะเหมือนกับ py3k แต่ก็ไม่เป็นเช่นนั้น

อัปเดต 2:

นี่คือรหัสการทำงานที่น้อยที่สุด

#fake_utility.py, just generates lots of output over time
import sys, time
for i in range(10):
   print i
   sys.stdout.flush()
   time.sleep(0.5)

#display out put line by line
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
#works in python 3.0+
#for line in proc.stdout:
for line in iter(proc.stdout.readline,''):
   print line.rstrip()

เป็นเวลานานแล้วที่ฉันได้ทำงานกับ Python ครั้งล่าสุด แต่ฉันคิดว่าปัญหานี้เกิดจากคำสั่งfor line in proc.stdoutซึ่งอ่านอินพุตทั้งหมดก่อนที่จะวนซ้ำ วิธีแก้ไขคือใช้readline()แทน:

#filters output
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
while True:
  line = proc.stdout.readline()
  if not line:
    break
  #the real code does filtering here
  print "test:", line.rstrip()

แน่นอนคุณยังต้องจัดการกับบัฟเฟอร์ของกระบวนการย่อย

หมายเหตุ: ตามเอกสารอธิบายโซลูชันที่มีตัววนซ้ำควรเทียบเท่ากับการใช้readline()ยกเว้นบัฟเฟอร์ read-ahead แต่ (หรือเพราะเหตุนี้) การเปลี่ยนแปลงที่เสนอทำให้ผลลัพธ์ที่แตกต่างสำหรับฉัน (Python 2.5 บน Windows XP)

สายไปงานปาร์ตี้ แต่ก็แปลกใจที่ไม่เห็นสิ่งที่ฉันคิดว่าเป็นทางออกที่ง่ายที่สุดที่นี่:

import io
import subprocess

proc = subprocess.Popen(["prog", "arg"], stdout=subprocess.PIPE)
for line in io.TextIOWrapper(proc.stdout, encoding="utf-8"):  # or another encoding
    # do something with line

(ต้องใช้ Python 3)

แน่นอนถ้าคุณแยกตัววนซ้ำแล้วการบัฟเฟอร์อาจเป็นปัญหาของคุณได้ คุณสามารถบอก python ในกระบวนการย่อยไม่ให้บัฟเฟอร์เอาต์พุต

proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)

กลายเป็น

proc = subprocess.Popen(['python','-u', 'fake_utility.py'],stdout=subprocess.PIPE)

ฉันต้องการสิ่งนี้เมื่อเรียกหลามจากภายในหลาม

คุณต้องการส่งพารามิเตอร์พิเศษเหล่านี้ไปที่subprocess.Popen:

bufsize=1, universal_newlines=True

จากนั้นคุณสามารถทำซ้ำในตัวอย่างของคุณ (ทดสอบกับ Python 3.5)

ฟังก์ชั่นที่ช่วยให้ iterating ทั้งสองstdoutและstderrเห็นพ้องกันในเรียลไทม์ทีละบรรทัด

ในกรณีที่คุณต้องการรับกระแสเอาต์พุตสำหรับทั้งสองstdoutและstderrในเวลาเดียวกันคุณสามารถใช้ฟังก์ชันต่อไปนี้

ฟังก์ชันใช้ Queues เพื่อผสานทั้ง Popen pipes เข้ากับ iterator เดียว

ที่นี่เราสร้างฟังก์ชั่นread_popen_pipes():

from queue import Queue, Empty
from concurrent.futures import ThreadPoolExecutor


def enqueue_output(file, queue):
    for line in iter(file.readline, ''):
        queue.put(line)
    file.close()


def read_popen_pipes(p):

    with ThreadPoolExecutor(2) as pool:
        q_stdout, q_stderr = Queue(), Queue()

        pool.submit(enqueue_output, p.stdout, q_stdout)
        pool.submit(enqueue_output, p.stderr, q_stderr)

        while True:

            if p.poll() is not None and q_stdout.empty() and q_stderr.empty():
                break

            out_line = err_line = ''

            try:
                out_line = q_stdout.get_nowait()
            except Empty:
                pass
            try:
                err_line = q_stderr.get_nowait()
            except Empty:
                pass

            yield (out_line, err_line)

read_popen_pipes() ในการใช้งาน:

import subprocess as sp


with sp.Popen(my_cmd, stdout=sp.PIPE, stderr=sp.PIPE, text=True) as p:

    for out_line, err_line in read_popen_pipes(p):

        # Do stuff with each line, e.g.:
        print(out_line, end='')
        print(err_line, end='')

    return p.poll() # return status-code

คุณยังสามารถอ่านบรรทัดที่ไม่มีลูป ทำงานใน python3.6

import os
import subprocess

process = subprocess.Popen(command, stdout=subprocess.PIPE)
list_of_byte_strings = process.stdout.readlines()

ฉันพยายามนี้กับ python3 และการทำงาน, แหล่งที่มา

def output_reader(proc):
    for line in iter(proc.stdout.readline, b''):
        print('got line: {0}'.format(line.decode('utf-8')), end='')


def main():
    proc = subprocess.Popen(['python', 'fake_utility.py'],
                            stdout=subprocess.PIPE,
                            stderr=subprocess.STDOUT)

    t = threading.Thread(target=output_reader, args=(proc,))
    t.start()

    try:
        time.sleep(0.2)
        import time
        i = 0

        while True:
        print (hex(i)*512)
        i += 1
        time.sleep(0.5)
    finally:
        proc.terminate()
        try:
            proc.wait(timeout=0.2)
            print('== subprocess exited with rc =', proc.returncode)
        except subprocess.TimeoutExpired:
            print('subprocess did not terminate in time')
    t.join()

การแก้ไขคำตอบของRômuloต่อไปนี้ใช้ได้กับฉันใน Python 2 และ 3 (2.7.12 และ 3.6.1):

import os
import subprocess

process = subprocess.Popen(command, stdout=subprocess.PIPE)
while True:
  line = process.stdout.readline()
  if line != '':
    os.write(1, line)
  else:
    break

Dunno เมื่อสิ่งนี้ถูกเพิ่มลงในโมดูลย่อย แต่ด้วย Python 3 คุณควรใช้งานได้ดีproc.stdout.splitlines():

for line in proc.stdout.splitlines():
   print "stdout:", line