วิธีรันกระบวนการแบบขนานและรวมเอาต์พุตเมื่อทั้งคู่เสร็จสิ้น

ฉันมีสคริปต์ทุบตีเปลือกที่ฉันท่อข้อมูลบางอย่างผ่านประมาณ 5 หรือ 6 โปรแกรมที่แตกต่างกันแล้วผลสุดท้ายเป็นไฟล์ที่คั่นด้วยแท็บ

ฉันจะทำเช่นเดียวกันอีกครั้งสำหรับชุดข้อมูลที่คล้ายกันและส่งออกไปยังไฟล์ที่สอง

จากนั้นไฟล์ทั้งสองจะถูกป้อนเข้าสู่โปรแกรมอื่นสำหรับการวิเคราะห์เปรียบเทียบ เช่นเพื่อลดความซับซ้อน

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

คำถามของฉันคือฉันจะทำให้ขั้นตอนที่ 1 และขั้นที่ 2 ในเวลาเดียวกัน (เช่นการใช้ &) แต่เปิดตัวเพียงขั้นตอนที่ 3 (AnalysisProg) เมื่อทั้งสองเสร็จสมบูรณ์?

ขอบคุณ

ps AnalysisProg จะไม่ทำงานบนสตรีมหรือ Fifo

waitใช้ ตัวอย่างเช่น:

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

จะ:

• เรียกใช้ Data1 และ Data2 ไพพ์เป็นงานพื้นหลัง
• รอให้ทั้งคู่เสร็จสิ้น
• เรียกใช้ AnalysisProg

ดูเช่นคำถามนี้

คำตอบของ cxw ไม่ต้องสงสัยเลยว่าทางออกที่ดีกว่าคือถ้าคุณมี 2 ไฟล์เท่านั้น หากทั้ง 2 ไฟล์เป็นเพียงตัวอย่างและในความเป็นจริงคุณมี 10,000 ไฟล์การแก้ปัญหา '&' จะไม่ทำงานเนื่องจากจะทำให้เซิร์ฟเวอร์ของคุณโอเวอร์โหลด สำหรับสิ่งที่คุณต้องการเครื่องมือเช่น GNU Parallel:

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ GNU Parallel:

• ชมวิดีโอแนะนำสำหรับการแนะนำอย่างรวดเร็ว: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• เดินผ่านบทช่วยสอน (ผู้ชาย parallel_tutorial) บรรทัดคำสั่งของคุณจะรักคุณ

วิธีหนึ่งในการทำเช่นนี้อาจมีลักษณะดังนี้:

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

ด้วยวิธีนี้คุณใช้แบ็คกราวน์ทั้งสอง แต่ยังคงรอให้การดำเนินการเสร็จสิ้นก่อนที่จะรวมเอาท์พุทของพวกเขาเป็น stdin ซึ่งได้รับการประเมินในเอกสารที่นี่แล้วส่งมอบให้กับ AnalysisProg หากคุณสามารถใช้waitสิ่งนี้ดีกว่าwhile psลูป แต่เชลล์ขึ้นอยู่กับว่าwaitสามารถคัดค้านหากคุณสั่งให้รอในกระบวนการที่ไม่ใช่ลูกของเชลล์ปัจจุบัน

นอกจากนี้โปรดทราบว่าวิธีการด้านบนจะตรวจสอบผลลัพธ์ - ดังนั้นกระบวนการทั้งสองจะเขียนออกมาทันที หากคุณต้องการให้พวกเขาแยกจากกันหรือต่อท้ายซึ่งกันและกันคุณอาจทำ:

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

ฉันได้แสดงแนวคิดเหล่านี้มาก่อน น่าจะเป็นประชาชนที่ดีที่สุดคือที่นี่และที่นี่

ลองใช้สิ่งนี้

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done