การใช้ jq ภายใน chain pipe จะไม่สร้างเอาต์พุต

ปัญหาของการjqต้องการตัวกรองที่ชัดเจนเมื่อมีการกล่าวถึงผลลัพธ์ของการเปลี่ยนเส้นทางไปทั่วเว็บ แต่ฉันไม่สามารถเปลี่ยนเส้นทางผลลัพธ์หากjqเป็นส่วนหนึ่งของไพพ์เชนแม้ว่าจะใช้ตัวกรองอย่างชัดเจนก็ตาม

พิจารณา:

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

ตามที่คาดไว้เอาต์พุตในเทอร์มินัลดั้งเดิมจากjqคำสั่งคือ:

1
3

แต่ถ้าฉันเพิ่มการเปลี่ยนเส้นทางหรือการวางท่อใด ๆ ที่ส่วนท้ายของjqคำสั่งเอาต์พุตจะเงียบ

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

ไม่มีผลลัพธ์ปรากฏในเทอร์มินัลแรกและ out.txt ว่างเปล่า

ฉันลองหลายร้อยรูปแบบแล้ว แต่มันเป็นปัญหาที่เข้าใจยาก วิธีแก้ปัญหาเดียวที่ฉันค้นพบตามที่ค้นพบmosquitto_subและ The Things Network (ซึ่งเป็นที่ที่ฉันค้นพบปัญหา) คือการห่อฟังก์ชันtail และ jq ในเชลล์สคริปต์:

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

แล้ว:

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

และผลลัพธ์ก็จะปรากฏขึ้น:

1
3

นี่คือการjqติดตั้งล่าสุดผ่าน Homebrew:

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

นี่เป็นข้อผิดพลาด (ส่วนใหญ่ที่ไม่มีเอกสาร) jqหรือด้วยความเข้าใจของฉันเกี่ยวกับโซ่ท่อหรือไม่?

เอาต์พุตจากjqถูกบัฟเฟอร์เมื่อเอาต์พุตมาตรฐานถูกไพพ์

ในการขอให้jqล้างบัฟเฟอร์เอาต์พุตหลังจากทุกวัตถุให้ใช้--unbufferedตัวเลือกเช่น

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

จากjqคู่มือ:

--unbuffered

ล้างเอาต์พุตหลังจากแต่ละอ็อบเจ็กต์ JSON ถูกพิมพ์ (มีประโยชน์ถ้าคุณกำลังไพพ์แหล่งข้อมูลที่ช้าลงjqและjqเอาต์พุตของไพพ์อื่น ๆ )

สิ่งที่คุณเห็นอยู่ที่นี่คือ C stdio buffering in action มันจะเก็บเอาท์พุทบนบัฟเฟอร์จนกว่าจะถึงขีด จำกัด ที่แน่นอน (อาจเป็น 512 ไบต์หรือ 4KB หรือใหญ่กว่า) จากนั้นส่งทั้งหมดในครั้งเดียว

การบัฟเฟอร์นี้จะถูกปิดใช้งานโดยอัตโนมัติหาก stdout เชื่อมต่อกับเทอร์มินัล แต่เมื่อเชื่อมต่อกับไพพ์ (เช่นในกรณีของคุณ) มันจะเปิดใช้งานลักษณะการบัฟเฟอร์นี้

วิธีปกติในการปิดการใช้งาน / การควบคุมบัฟเฟอร์กำลังใช้งานsetvbuf()ฟังก์ชั่น (ดูคำตอบนี้สำหรับรายละเอียดเพิ่มเติม) แต่ต้องทำในซอร์สโค้ดของjqตัวเองดังนั้นอาจไม่ใช่สิ่งที่ปฏิบัติได้สำหรับคุณ ...

มีวิธีแก้ปัญหา ... (แฮ็คหนึ่งอาจบอกว่า) มีโปรแกรมที่เรียกว่า "unbuffer" ซึ่งแจกจ่ายด้วย "คาดหวัง" ที่สามารถสร้างเทอร์มินัลหลอกและเชื่อมต่อกับโปรแกรม ดังนั้นแม้ว่าjqจะยังคงเขียนไปยังไพพ์ก็จะคิดว่ามันกำลังเขียนไปยังเทอร์มินัลและเอฟเฟกต์การบัฟเฟอร์จะถูกปิดใช้งาน

ติดตั้งแพ็คเกจ "คาดหวัง" ซึ่งควรมาพร้อมกับ "unbuffer" หากคุณยังไม่มี ... ตัวอย่างเช่นบน Debian (หรือ Ubuntu):

$ sudo apt-get install expect

จากนั้นคุณสามารถใช้คำสั่งนี้:

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

ดูคำตอบนี้สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับ "unbuffer" และคุณสามารถหาหน้าคนได้ที่นี่เช่นกัน