จับ stdout แบบเรียลไทม์จากกระบวนการย่อย

ฉันต้องการsubprocess.Popen()rsync.exe ใน Windows และพิมพ์ stdout ใน Python

รหัสของฉันใช้งานได้ แต่ไม่สามารถตรวจจับความคืบหน้าได้จนกว่าการถ่ายโอนไฟล์จะเสร็จสิ้น! ฉันต้องการพิมพ์ความคืบหน้าสำหรับแต่ละไฟล์แบบเรียลไทม์

ตอนนี้ใช้ Python 3.1 เนื่องจากฉันได้ยินมาว่าควรจัดการ IO ได้ดีกว่า

import subprocess, time, os, sys

cmd = "rsync.exe -vaz -P source/ dest/"
p, line = True, 'start'


p = subprocess.Popen(cmd,
                     shell=True,
                     bufsize=64,
                     stdin=subprocess.PIPE,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE)

for line in p.stdout:
    print(">>> " + str(line.rstrip()))
    p.stdout.flush()

subprocessกฎระเบียบบางส่วนของหัวแม่มือสำหรับ

• ไม่เคยshell=Trueใช้งาน โดยไม่จำเป็นต้องเรียกใช้กระบวนการเชลล์เพิ่มเติมเพื่อเรียกโปรแกรมของคุณ
• เมื่อเรียกกระบวนการอาร์กิวเมนต์จะถูกส่งผ่านเป็นรายการ sys.argvใน python เป็นรายการและก็อยู่argvใน C ดังนั้นคุณจึงส่งผ่านรายการไปPopenเพื่อเรียกกระบวนการย่อยไม่ใช่สตริง
• อย่าเปลี่ยนเส้นทางstderrไปยังข้อความPIPEเมื่อคุณไม่ได้อ่าน
• อย่าเปลี่ยนเส้นทางstdinเมื่อคุณไม่ได้เขียนถึงมัน

ตัวอย่าง:

import subprocess, time, os, sys
cmd = ["rsync.exe", "-vaz", "-P", "source/" ,"dest/"]

p = subprocess.Popen(cmd,
                     stdout=subprocess.PIPE,
                     stderr=subprocess.STDOUT)

for line in iter(p.stdout.readline, b''):
    print(">>> " + line.rstrip())

ที่กล่าวว่าเป็นไปได้ว่า rsync จะบัฟเฟอร์เอาต์พุตเมื่อตรวจพบว่าเชื่อมต่อกับท่อแทนที่จะเป็นเทอร์มินัล นี่คือลักษณะการทำงานเริ่มต้น - เมื่อเชื่อมต่อกับไพพ์โปรแกรมต่างๆต้องล้าง stdout อย่างชัดเจนเพื่อให้ได้ผลลัพธ์แบบเรียลไทม์มิฉะนั้นไลบรารี C มาตรฐานจะบัฟเฟอร์

หากต้องการทดสอบให้ลองรันสิ่งนี้แทน:

cmd = [sys.executable, 'test_out.py']

และสร้างtest_out.pyไฟล์ที่มีเนื้อหา:

import sys
import time
print ("Hello")
sys.stdout.flush()
time.sleep(10)
print ("World")

การดำเนินการตามกระบวนการย่อยนั้นควรให้คุณ "สวัสดี" และรอ 10 วินาทีก่อนที่จะให้ "World" หากสิ่งนี้เกิดขึ้นกับรหัส python ด้านบนและไม่เกิดขึ้นrsyncนั่นหมายความว่าrsyncตัวมันเองกำลังบัฟเฟอร์เอาต์พุตดังนั้นคุณจะโชคไม่ดี

วิธีการแก้ปัญหาที่จะเชื่อมต่อโดยตรงกับการใช้สิ่งที่ต้องการptypexpect

ฉันรู้ว่านี่เป็นหัวข้อเก่า แต่ตอนนี้มีวิธีแก้ไข เรียก rsync ด้วยตัวเลือก --outbuf = L ตัวอย่าง:

cmd=['rsync', '-arzv','--backup','--outbuf=L','source/','dest']
p = subprocess.Popen(cmd,
                     stdout=subprocess.PIPE)
for line in iter(p.stdout.readline, b''):
    print '>>> {}'.format(line.rstrip())

บน Linux ฉันมีปัญหาเดียวกันในการกำจัดบัฟเฟอร์ ในที่สุดฉันก็ใช้ "stdbuf -o0" (หรือ unbuffer จากที่คาดหวัง) เพื่อกำจัด PIPE บัฟเฟอร์

proc = Popen(['stdbuf', '-o0'] + cmd, stdout=PIPE, stderr=PIPE)
stdout = proc.stdout

จากนั้นฉันสามารถใช้ select.select บน stdout

ดูเพิ่มเติมที่/unix/25372/

ขึ้นอยู่กับกรณีการใช้งานคุณอาจต้องการปิดใช้งานการบัฟเฟอร์ในกระบวนการย่อยนั้นเอง

หากกระบวนการย่อยเป็นกระบวนการ Python คุณสามารถทำได้ก่อนการเรียก:

os.environ["PYTHONUNBUFFERED"] = "1"

หรือมิฉะนั้นผ่านนี้ในอาร์กิวเมนต์envPopen

มิฉะนั้นหากคุณใช้ Linux / Unix คุณสามารถใช้stdbufเครื่องมือนี้ได้ เช่น:

cmd = ["stdbuf", "-oL"] + cmd

ดูที่นี่เกี่ยวกับstdbufหรือตัวเลือกอื่น ๆ

for line in p.stdout:
  ...

บล็อกเสมอจนกว่าจะถึงฟีดบรรทัดถัดไป

สำหรับพฤติกรรม "เรียลไทม์" คุณต้องทำสิ่งนี้:

while True:
  inchar = p.stdout.read(1)
  if inchar: #neither empty string nor None
    print(str(inchar), end='') #or end=None to flush immediately
  else:
    print('') #flush for implicit line-buffering
    break

while-loop จะเหลืออยู่เมื่อกระบวนการลูกปิด stdout หรือออก read()/read(-1)จะบล็อกจนกว่ากระบวนการย่อยจะปิด stdout หรือออก

ปัญหาของคุณคือ:

for line in p.stdout:
    print(">>> " + str(line.rstrip()))
    p.stdout.flush()

ตัววนซ้ำเองมีการบัฟเฟอร์พิเศษ

ลองทำดังนี้

while True:
  line = p.stdout.readline()
  if not line:
     break
  print line

คุณไม่สามารถรับ stdout เพื่อพิมพ์ unbuffered ไปยังไพพ์ (เว้นแต่คุณจะสามารถเขียนโปรแกรมที่พิมพ์ไปยัง stdout ใหม่ได้) ดังนั้นนี่คือทางออกของฉัน

เปลี่ยนเส้นทาง stdout ไปที่ sterr ซึ่งไม่ได้บัฟเฟอร์ '<cmd> 1>&2'ควรทำ เปิดกระบวนการดังนี้: myproc = subprocess.Popen('<cmd> 1>&2', stderr=subprocess.PIPE)
คุณไม่สามารถแยกความแตกต่างจาก stdout หรือ stderr ได้ แต่คุณจะได้รับผลลัพธ์ทั้งหมดทันที

หวังว่านี่จะช่วยทุกคนที่แก้ปัญหานี้ได้

เปลี่ยน stdout จากกระบวนการ rsync เป็น unbuffered

p = subprocess.Popen(cmd,
                     shell=True,
                     bufsize=0,  # 0=unbuffered, 1=line-buffered, else buffer-size
                     stdin=subprocess.PIPE,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE)

เพื่อหลีกเลี่ยงการแคชผลลัพธ์คุณอาจต้องการลองใช้ pexpect

child = pexpect.spawn(launchcmd,args,timeout=None)
while True:
    try:
        child.expect('\n')
        print(child.before)
    except pexpect.EOF:
        break

PS : ฉันรู้ว่าคำถามนี้ค่อนข้างเก่า แต่ยังคงให้คำตอบที่เหมาะกับฉัน

PPS : ได้คำตอบจากคำถามอื่น

    p = subprocess.Popen(command,
                                bufsize=0,
                                universal_newlines=True)

ฉันกำลังเขียน GUI สำหรับ rsync ใน python และมีคำสั่งเดียวกัน ปัญหานี้ทำให้ฉันทุกข์ใจมาหลายวันจนกระทั่งฉันพบสิ่งนี้ใน pyDoc

ถ้า universal_newlines เป็น True อ็อบเจ็กต์ไฟล์ stdout และ stderr จะเปิดเป็นไฟล์ข้อความในโหมด newlines สากล บรรทัดอาจถูกยกเลิกโดย '\ n', อนุสัญญา Unix end-of-line, '\ r', แบบดั้งเดิมของ Macintosh หรือ '\ r \ n', อนุสัญญา Windows การแสดงภายนอกทั้งหมดเหล่านี้ถูกมองว่าเป็น '\ n' โดยโปรแกรม Python

ดูเหมือนว่า rsync จะแสดงผล '\ r' เมื่อแปลภาษา

ฉันสังเกตว่าไม่มีการพูดถึงการใช้ไฟล์ชั่วคราวเป็นสื่อกลาง ต่อไปนี้จะแก้ไขปัญหาการบัฟเฟอร์โดยการส่งออกไปยังไฟล์ชั่วคราวและอนุญาตให้คุณแยกวิเคราะห์ข้อมูลที่มาจาก rsync โดยไม่ต้องเชื่อมต่อกับ pty ฉันทดสอบสิ่งต่อไปนี้ในกล่อง linux และผลลัพธ์ของ rsync มีแนวโน้มที่จะแตกต่างกันไปตามแพลตฟอร์มดังนั้นนิพจน์ทั่วไปในการแยกวิเคราะห์ผลลัพธ์อาจแตกต่างกันไป:

import subprocess, time, tempfile, re

pipe_output, file_name = tempfile.TemporaryFile()
cmd = ["rsync", "-vaz", "-P", "/src/" ,"/dest"]

p = subprocess.Popen(cmd, stdout=pipe_output, 
                     stderr=subprocess.STDOUT)
while p.poll() is None:
    # p.poll() returns None while the program is still running
    # sleep for 1 second
    time.sleep(1)
    last_line =  open(file_name).readlines()
    # it's possible that it hasn't output yet, so continue
    if len(last_line) == 0: continue
    last_line = last_line[-1]
    # Matching to "[bytes downloaded]  number%  [speed] number:number:number"
    match_it = re.match(".* ([0-9]*)%.* ([0-9]*:[0-9]*:[0-9]*).*", last_line)
    if not match_it: continue
    # in this case, the percentage is stored in match_it.group(1), 
    # time in match_it.group(2).  We could do something with it here...

หากคุณเรียกใช้สิ่งนี้ในเธรดและบันทึกคุณสมบัติ ffmpeg_time ในคุณสมบัติของวิธีการเพื่อให้คุณสามารถเข้าถึงได้มันจะใช้งานได้ดีมากฉันได้รับผลลัพธ์เช่นนี้: เอาต์พุตจะเป็นเช่นถ้าคุณใช้เธรดใน tkinter

input = 'path/input_file.mp4'
output = 'path/input_file.mp4'
command = "ffmpeg -y -v quiet -stats -i \"" + str(input) + "\" -metadata title=\"@alaa_sanatisharif\" -preset ultrafast -vcodec copy -r 50 -vsync 1 -async 1 \"" + output + "\""
process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True, shell=True)
for line in self.process.stdout:
    reg = re.search('\d\d:\d\d:\d\d', line)
    ffmpeg_time = reg.group(0) if reg else ''
    print(ffmpeg_time)

ใน Python 3 นี่คือวิธีแก้ปัญหาซึ่งใช้คำสั่งจากบรรทัดคำสั่งและส่งสตริงที่ถอดรหัสอย่างดีแบบเรียลไทม์เมื่อได้รับ

ผู้รับ ( receiver.py):

import subprocess
import sys

cmd = sys.argv[1:]
p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
for line in p.stdout:
    print("received: {}".format(line.rstrip().decode("utf-8")))

ตัวอย่างโปรแกรมง่ายๆที่สามารถสร้างเอาต์พุตแบบเรียลไทม์ ( dummy_out.py):

import time
import sys

for i in range(5):
    print("hello {}".format(i))
    sys.stdout.flush()  
    time.sleep(1)

เอาท์พุต:

$python receiver.py python dummy_out.py
received: hello 0
received: hello 1
received: hello 2
received: hello 3
received: hello 4