ไพพ์ไปยังหลายไฟล์ในเชลล์

ฉันมีแอปพลิเคชั่นซึ่งจะสร้างข้อมูลจำนวนมากซึ่งฉันไม่ต้องการจัดเก็บลงดิสก์ แอปพลิเคชั่นส่วนใหญ่ส่งออกข้อมูลที่ฉันไม่ต้องการใช้ แต่เป็นชุดข้อมูลที่มีประโยชน์ที่ต้องแยกเป็นไฟล์แยกต่างหาก ตัวอย่างเช่นกำหนดเอาต์พุตต่อไปนี้:

JUNK
JUNK
JUNK
JUNK
A 1
JUNK
B 5
C 1
JUNK

ฉันสามารถเรียกใช้แอปพลิเคชันได้สามครั้งดังนี้:

./app | grep A > A.out
./app | grep B > B.out
./app | grep C > C.out

นี่จะทำให้ฉันได้สิ่งที่ฉันต้องการ แต่ใช้เวลานานเกินไป ฉันไม่ต้องการดัมพ์เอาต์พุตทั้งหมดไปยังไฟล์เดียวและวิเคราะห์คำนั้น

มีวิธีใดบ้างที่จะรวมการดำเนินการทั้งสามที่แสดงไว้ด้านบนในลักษณะที่ฉันจะต้องเรียกใช้แอปพลิเคชันเพียงครั้งเดียวและยังคงได้รับไฟล์เอาต์พุตสามไฟล์

หากคุณมีที

./app | tee >(grep A > A.out) >(grep B > B.out) >(grep C > C.out) > /dev/null

(จากที่นี่ )

( เกี่ยวกับการทดแทนกระบวนการ )

คุณสามารถใช้ได้ awk

./app | awk '/A/{ print > "A.out"}; /B/{ print > "B.out"}; /C/{ print > "C.out"}'

คุณสามารถใช้ความสามารถในการจับคู่รูปแบบของเชลล์:

./app | while read line; do 
     [[ "$line" =~ A ]] && echo $line >> A.out; 
     [[ "$line" =~ B ]] && echo $line >> B.out; 
     [[ "$line" =~ C ]] && echo $line >> C.out; 
 done

หรือแม้กระทั่ง:

./app | while read line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && echo $line >> "$foo".out; 
  done; done

วิธีที่ปลอดภัยกว่าที่สามารถจัดการแบ็กสแลชและบรรทัดที่ขึ้นต้นด้วย-:

./app | while IFS= read -r line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && printf -- "$line\n" >> "$foo".out; 
  done; done

ในฐานะที่เป็น @StephaneChazelas ชี้ให้เห็นในความคิดเห็นนี้ไม่ได้มีประสิทธิภาพมาก ทางออกที่ดีที่สุดน่าจะเป็น@ AurélienOoms'

หากคุณมีหลายคอร์และคุณต้องการให้โพรเซสนั้นขนานกันคุณสามารถทำได้:

parallel -j 3 -- './app | grep A > A.out' './app | grep B > B.out' './app | grep C > C.out'

สิ่งนี้จะวางไข่สามกระบวนการในแกนคู่ขนาน หากคุณต้องการให้มีเอาต์พุตบางตัวในคอนโซลหรือไฟล์ต้นแบบมันมีข้อดีของการเก็บเอาท์พุทในลำดับที่ค่อนข้างจะผสมมัน

ยูทิลิตี้ GNU ขนานจากโอเล Tange สามารถได้รับจาก Repos มากที่สุดภายใต้ชื่อขนานหรือmoreutils แหล่งที่สามารถหาได้จากSavannah.gnu.org นอกจากนี้ยังมีวิดีโอการเรียนการสอนเบื้องต้นมีที่นี่

ภาคผนวก

เมื่อใช้รุ่นขนานรุ่นล่าสุด (ไม่จำเป็นต้องเป็นรุ่นใน repo การแจกจ่ายของคุณ) คุณสามารถใช้โครงสร้างที่หรูหรากว่าได้:

./app | parallel -j3 -k --pipe 'grep {1} >> {1}.log' ::: 'A' 'B' 'C'

ซึ่งบรรลุผลลัพธ์ของการรันหนึ่งกระบวนการ. / app และ grep แบบขนาน 3 กระบวนการในแกนหรือเธรดแยกกัน (ตามที่กำหนดโดยตัวมันเองแบบขนานก็ถือว่า -j3 เป็นทางเลือก แต่ให้มาในตัวอย่างนี้

สามารถรับเวอร์ชั่นขนานที่ใหม่กว่าได้โดยทำดังนี้

wget http://ftpmirror.gnu.org/parallel/parallel-20131022.tar.bz2

จากนั้นให้แกะกล่องซีดีตามปกติ - {date}, ./configure && make, sudo ทำการติดตั้ง สิ่งนี้จะติดตั้งแบบขนานหน้าคนแบบขนานและหน้าคนแบบขนาน

นี่คือหนึ่งใน Perl:

./app | perl -ne 'BEGIN {open(FDA, ">A.out") and 
                         open(FDB, ">B.out") and 
                         open(FDC, ">C.out") or die("Cannot open files: $!\n")} 
                  print FDA $_ if /A/; print FDB $_ if /B/; print FDC $_ if /C/'

sed -ne/A/w\ A.out -e/B/w\ B.out -e/C/p <in >C.out

... หาก<inสามารถอ่านได้ทั้งสาม outfiles จะถูกตัดทอนก่อนที่จะมีการเขียนอะไรถึงพวกเขา