รับตัวอย่างที่น้อยที่สุดนี้

( echo "LINE 1" ; sleep 1 ; echo "LINE 2" ; )

มันจะออกผลลัพธ์LINE 1และแล้วหลังจากที่สองเอาท์พุทLINE 2, คาดว่าเป็น

ถ้าเราไปป์นี้ให้ได้ grep LINE

( echo "LINE 1" ; sleep 1 ; echo "LINE 2" ; ) | grep LINE

พฤติกรรมจะเหมือนกับในกรณีก่อนหน้าตามที่คาดไว้

หากอีกวิธีหนึ่งเราจะทำสิ่งนี้เพื่อ cat

( echo "LINE 1" ; sleep 1 ; echo "LINE 2" ; ) | cat

พฤติกรรมจะเหมือนเดิมตามที่คาดไว้

แต่ถ้าท่อเราไปgrep LINEแล้วไปcat,

( echo "LINE 1" ; sleep 1 ; echo "LINE 2" ; ) | grep LINE | cat

มีการส่งออกจนกว่าจะมีใครผ่านไปสองไม่มีและทั้งสองเส้นปรากฏในการส่งออกทันทีซึ่งผมไม่ได้คาดหวัง

เหตุใดสิ่งนี้จึงเกิดขึ้นและฉันจะทำให้รุ่นสุดท้ายทำงานในลักษณะเดียวกันกับคำสั่งสามคำแรกได้อย่างไร

เมื่อ (อย่างน้อย GNU) grepเอาต์พุตไม่ใช่เทอร์มินัลจะบัฟเฟอร์เอาต์พุตของมันซึ่งเป็นสิ่งที่ทำให้เกิดพฤติกรรมที่คุณเห็น คุณสามารถปิดใช้งานสิ่งนี้ได้โดยใช้ตัวเลือกgrepของGNU --line-buffered:

( echo "LINE 1" ; sleep 1 ; echo "LINE 2" ; ) | grep --line-buffered LINE | cat

หรือstdbufยูทิลิตี้:

( echo "LINE 1" ; sleep 1 ; echo "LINE 2" ; ) | stdbuf -oL grep LINE | cat

ปิดการบัฟเฟอร์ในไปป์มีมากขึ้นในหัวข้อนี้

คำอธิบายที่ง่าย

เช่นเดียวกับสาธารณูปโภคจำนวนมากนี้ไม่ได้เป็นสิ่งที่แปลกประหลาดในการเขียนโปรแกรมหนึ่งgrepที่แตกต่างกันออกมาตรฐานระหว่างถูกสายบัฟเฟอร์และบัฟเฟอร์อย่างเต็มที่ ในกรณีก่อนหน้านี้ C ไลบรารีบัฟเฟอร์ส่งออกข้อมูลในหน่วยความจำจนกระทั่งบัฟเฟอร์ที่เก็บข้อมูลเหล่านั้นถูกเติมหรืออักขระ linefeed ถูกเพิ่มเข้าไป (หรือโปรแกรมสิ้นสุดอย่างหมดจด) โดยที่มันเรียกใช้write()เพื่อเขียนเนื้อหาบัฟเฟอร์จริง ในกรณีหลังเฉพาะในหน่วยความจำบัฟเฟอร์กลายเป็นเต็มรูปแบบ (หรือโปรแกรมสิ้นสุดหมดจด) write()ทริกเกอร์

คำอธิบายโดยละเอียดเพิ่มเติม

นี่เป็นคำอธิบายที่รู้จักกันดี แต่ผิดเล็กน้อย ในความเป็นจริงเอาต์พุตมาตรฐานไม่ได้ถูกจัดเรียงบรรทัด แต่บัฟเฟอร์อัจฉริยะในไลบรารี GNU C และไลบรารี BSD C ออกมาตรฐานเป็นยังล้างเมื่ออ่านมาตรฐานการป้อนข้อมูล exhausts ของบัฟเฟอร์ในหน่วยความจำ (จากการป้อนข้อมูลก่อนอ่าน) และห้องสมุด C ที่มีการเรียกread()ดึงข้อมูลการป้อนข้อมูลเพิ่มเติมบางอย่างและมันก็เป็นจุดเริ่มต้นการอ่านของสายใหม่ (เหตุผลหนึ่งคือเพื่อป้องกันการหยุดชะงักเมื่อโปรแกรมอื่นเชื่อมต่อตัวเองกับปลายทั้งสองของตัวกรองและคาดว่าจะสามารถใช้งานแบบทีละบรรทัดสลับกันระหว่างการเขียนตัวกรองและการอ่านจากมันเช่น "ตัวประมวลผลร่วม" ใน GNU awkตัวอย่างเช่น.)

อิทธิพลของไลบรารี C

grepและยูทิลิตี้อื่นทำสิ่งนี้ - หรือที่เข้มงวดกว่าคือไลบรารี C ที่พวกเขาใช้ทำสิ่งนี้เพราะนี่เป็นคุณสมบัติที่กำหนดไว้ของการเขียนโปรแกรมในภาษา C - ตามสิ่งที่ตรวจพบเอาท์พุทมาตรฐานของพวกเขา หาก (และเฉพาะในกรณีที่) ไม่ใช่อุปกรณ์เชิงโต้ตอบพวกเขาเลือกการบัฟเฟอร์เต็มมิฉะนั้นพวกเขาเลือกการบัฟเฟอร์อัจฉริยะ ไพพ์ถือเป็นอุปกรณ์แบบไม่โต้ตอบเนื่องจากคำจำกัดความของการเป็นอุปกรณ์แบบอินเทอร์แอคทีฟอย่างน้อยที่สุดในโลกของ Unix และ Linux นั้นการisatty()โทรกลับเป็นจริงสำหรับไฟล์ descriptor ที่เกี่ยวข้อง

แก้ไขปัญหาเพื่อปิดใช้งานการบัฟเฟอร์แบบเต็ม

ยูทิลิตี้บางอย่างเช่นgrepมีตัวเลือกที่เป็นนิสัยเช่น--line-bufferedนั้นเปลี่ยนการตัดสินใจนี้ซึ่งคุณสามารถดูได้ว่าตั้งชื่อผิด แต่ส่วนน้อยของโปรแกรมตัวกรองที่สามารถใช้จริงมีตัวเลือกดังกล่าว

โดยทั่วไปแล้วเราสามารถใช้เครื่องมือที่ขุดเข้าไปใน internals เฉพาะของ C library และเปลี่ยนการตัดสินใจ (ซึ่งมีปัญหาด้านความปลอดภัยหากโปรแกรมที่จะแก้ไขนั้นถูกตั้งค่าเป็น UID และยังเฉพาะเจาะจงกับ C C และแน่นอน โดยเฉพาะกับโปรแกรมที่เขียนหรือเลเยอร์ด้านบนของภาษา C) หรือเครื่องมือต่าง ๆ เช่นptybandageที่ไม่ได้เปลี่ยน internals ของโปรแกรม แต่เพียงแค่แทรกเทอร์มินัลหลอกหลอกเป็นเทอร์มินัลมาตรฐานเพื่อให้การตัดสินใจออกมาว่า ส่งผลกระทบต่อสิ่งนี้

อ่านเพิ่มเติม

• /unix//a/407472/5132
• /unix//a/249801/5132

ใช้

grep --line-buffered

เพื่อให้ grep ไม่บัฟเฟอร์มากกว่าหนึ่งบรรทัดในแต่ละครั้ง