เขียน Python stdout เป็นไฟล์ทันที

เมื่อพยายามเขียน stdout จากสคริปต์ Python ไปยังไฟล์ข้อความ ( python script.py > log) ไฟล์ข้อความจะถูกสร้างขึ้นเมื่อคำสั่งเริ่มทำงาน แต่เนื้อหาจริงจะไม่ถูกเขียนจนกว่าสคริปต์ Python จะเสร็จสิ้น ตัวอย่างเช่น:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

พิมพ์ไปยัง stdout ทุก 5 วินาทีเมื่อเรียกด้วยpython script.pyแต่เมื่อฉันโทรpython script.py > logขนาดของไฟล์บันทึกจะเป็นศูนย์จนกระทั่งสคริปต์เสร็จสิ้น เป็นไปได้หรือไม่ที่จะเขียนลงในไฟล์บันทึกโดยตรงเช่นคุณสามารถติดตามความคืบหน้าของสคริปต์ (เช่นใช้tail)?

แก้ไขมันปรากฎว่าpython -u script.pyเป็นการหลอกลวงฉันไม่รู้เกี่ยวกับบัฟเฟอร์ของ stdout

สิ่งนี้เกิดขึ้นเพราะปกติเมื่อกระบวนการ STDOUT ถูกเปลี่ยนเส้นทางไปยังสิ่งอื่นนอกเหนือจากเทอร์มินัลเอาต์พุตจะถูกบัฟเฟอร์ลงในบัฟเฟอร์เฉพาะขนาด OS บางระบบ (อาจเป็น 4k หรือ 8k ในหลายกรณี) ในทางกลับกันเมื่อส่งออกไปยังเทอร์มินัล STDOUT จะถูกบัฟเฟอร์บรรทัดหรือไม่ถูกบัฟเฟอร์เลยดังนั้นคุณจะเห็นผลลัพธ์หลังจาก\nแต่ละตัวอักษรหรือแต่ละตัวอักษร

โดยทั่วไปคุณสามารถเปลี่ยนบัฟเฟอร์ STDOUT ด้วยstdbufยูทิลิตี้:

stdbuf -oL python script.py > log

ตอนนี้ถ้าคุณtail -F logคุณควรเห็นแต่ละบรรทัดเอาท์พุททันทีที่มันถูกสร้างขึ้น

อีกทางหนึ่งที่ชัดเจนของการล้างกระแสออกหลังจากการพิมพ์แต่ละครั้งควรบรรลุเดียวกัน ดูเหมือนว่าsys.stdout.flush()จะประสบความสำเร็จใน Python หากคุณกำลังใช้งูหลาม 3.3 หรือใหม่กว่าที่printฟังก์ชั่นนอกจากนี้ยังมีคำหลักที่ไม่นี้:flushprint('hello', flush=True)

สิ่งนี้ควรทำงาน:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

เป็น Python จะบัฟเฟอร์stdoutตามค่าเริ่มต้นที่นี่ฉันได้ใช้sys.stdout.flush()เพื่อล้างบัฟเฟอร์

วิธีการแก้ปัญหาอีกก็จะไปใช้-u(unbuffered) pythonสวิทช์ของ ดังนั้นสิ่งต่อไปนี้ก็จะทำเช่นกัน:

python -u script.py >> log

การแปรผันของชุดรูปแบบของการใช้ตัวเลือกของ python สำหรับเอาต์พุตที่ไม่มีบัฟเฟอร์จะใช้#!/usr/bin/python -uเป็นบรรทัดแรก

ด้วย#!/usr/bin/env pythonอาร์กิวเมนต์พิเศษที่ไม่สามารถใช้งานได้ดังนั้นคุณสามารถรันPYTHONUNBUFFERED=1 ./my_scriipt.py > output.txtหรือทำได้สองขั้นตอน:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

คุณควรผ่านflush=Trueไปยังprintฟังก์ชั่น:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

ตามค่าเริ่มต้นแล้วเอกสารprintไม่ได้บังคับอะไรเกี่ยวกับการล้างข้อมูล:

ไม่ว่าเอาต์พุตจะถูกบัฟเฟอร์มักจะถูกกำหนดโดยไฟล์ แต่ถ้า flushอาร์กิวเมนต์คีย์เวิร์ดเป็นจริงสตรีมจะถูกล้างข้อมูลด้วยแรง

และเอกสารประกอบสำหรับsysstrems พูดว่า:

เมื่อมีการโต้ตอบสตรีมมาตรฐานจะถูก line-buffered มิฉะนั้นจะถูกบล็อกบัฟเฟอร์เหมือนไฟล์ข้อความทั่วไป คุณสามารถแทนที่ค่านี้ด้วย-uตัวเลือกบรรทัดคำสั่ง

หากคุณติดอยู่กับงูหลามรุ่นเก่าคุณต้องเรียกใช้flushเมธอดของsys.stdoutสตรีม:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)