เปลือกแบบขนาน

ฉันต้องการประมวลผลไฟล์จำนวนมากและเนื่องจากฉันมีแกนประมวลผลที่นี่ฉันต้องการทำแบบขนาน:

for i in *.myfiles; do do_something $i `derived_params $i` other_params; done

ฉันรู้จักโซลูชัน Makefile แต่คำสั่งของฉันต้องการอาร์กิวเมนต์จากรายการ globbing เชลล์ สิ่งที่ฉันพบคือ:

> function pwait() {
>     while [ $(jobs -p | wc -l) -ge $1 ]; do
>         sleep 1
>     done
> }
>

หากต้องการใช้งานสิ่งที่ต้องทำคือใส่ & หลังงานและการเรียก pwait พารามิเตอร์กำหนดจำนวนของกระบวนการแบบขนาน:

> for i in *; do
>     do_something $i &
>     pwait 10
> done

แต่มันใช้งานไม่ได้ดีมากเช่นฉันลองด้วยเช่นสำหรับการวนซ้ำการแปลงไฟล์จำนวนมาก แต่ให้ข้อผิดพลาดและเลิกงาน

ฉันไม่อยากจะเชื่อเลยว่านี่ยังไม่เสร็จเนื่องจากการสนทนาในรายชื่อผู้รับจดหมาย zsh นั้นเก่ามาก แล้วคุณจะรู้อะไรดีกว่านี้อีกไหม?

makefile เป็นทางออกที่ดีสำหรับปัญหาของคุณ คุณสามารถตั้งโปรแกรมการประมวลผลแบบขนานในเชลล์ได้ แต่มันยากอย่างที่คุณสังเกตเห็น การใช้งานคู่ขนานของ make จะไม่เพียง แต่ดูแลงานเริ่มต้นและตรวจจับการเลิกจ้างของพวกเขา แต่ยังจัดการสมดุลภาระซึ่งเป็นเรื่องยุ่งยาก

ข้อกำหนดสำหรับการลูปลิ่งไม่ใช่อุปสรรค: มีการนำไปใช้งานที่สนับสนุน GNU make ซึ่งมีการขยายสัญลักษณ์แทนเช่น$(wildcard *.c)และการเข้าถึงเปลือกเช่น$(shell mycommand)(ค้นหาฟังก์ชั่นใน GNU ทำคู่มือสำหรับข้อมูลเพิ่มเติม) เป็นค่าเริ่มต้นmakeบน Linux และมีอยู่ในระบบอื่นส่วนใหญ่ นี่คือโครงกระดูก Makefile ที่คุณสามารถปรับให้เข้ากับความต้องการของคุณ:

แหล่งข้อมูล = $ (wildcard * .src)

ทั้งหมด: $ (แหล่งที่มา: .src = .tgt)

% .tgt: $ .src
    do_something $ <$$ (ที่ได้มา _params $ <)> $ @

เรียกใช้บางสิ่งบางอย่างเช่นmake -j4เรียกใช้งานสี่งานพร้อมกันหรือmake -j -l3เพื่อให้ค่าเฉลี่ยการโหลดประมาณ 3

ฉันไม่แน่ใจว่าข้อโต้แย้งที่คุณได้รับนั้นเป็นอย่างไร แต่ด้วย GNU Parallel http: // www.gnu.org/software/parallel/ คุณสามารถทำได้เพื่อทำงานหนึ่งงานต่อซีพียูคอร์:

find . | parallel -j+0 'a={}; name=${a##*/}; upper=$(echo "$name" | tr "[:lower:]" "[:upper:]");
   echo "$name - $upper"'

หากสิ่งที่คุณต้องการได้รับคือการเปลี่ยน. extension {.} อาจมีประโยชน์:

parallel -j+0 lame {} -o {.}.mp3 ::: *.wav

ดูวิดีโอแนะนำสู่ GNU Parallel ได้ที่http://www.youtube.com/watch?v=OpaiGYxkSuQ

จะไม่ใช้waitคำสั่งของเชลล์ทำงานให้คุณ?

for i in *
do
    do_something $i &
done
wait

ลูปของคุณเรียกใช้งานจากนั้นรอมันจากนั้นจึงทำงานต่อไป ถ้าไปไม่ทำงานสำหรับคุณแล้วคุณอาจจะทำงานได้ดีขึ้นถ้าคุณย้ายหลังpwaitdone

ทำไมไม่มีใครพูดถึง xargs เลย?

สมมติว่าคุณมีข้อโต้แย้งสามข้อ

for i in *.myfiles; do echo -n $i `derived_params $i` other_params; done | xargs -n 3 -P $PROCS do_something

มิฉะนั้นให้ใช้ตัวคั่น (เป็นประโยชน์สำหรับสิ่งนั้น):

for i in *.myfiles; do echo -n $i `derived_params $i` other_params; echo -ne "\0"; done | xargs -0 -n 1 -P $PROCS do_something

แก้ไข: สำหรับข้างต้นแต่ละพารามิเตอร์ควรคั่นด้วยอักขระ null แล้วจำนวนพารามิเตอร์ควรระบุด้วย xargs -n

ฉันลองคำตอบ พวกเขาทำให้สคริปต์มีความซับซ้อนเกินกว่าที่จำเป็น การใช้parallelหรือxargsจะเป็นการดีกว่าถ้าการดำเนินการภายในสำหรับลูปมีความซับซ้อนอาจเป็นปัญหาในการสร้างไฟล์บรรทัดขนาดใหญ่และยาวเพื่อให้ขนานกัน เราสามารถใช้แหล่งข้อมูลแทนได้ดังนี้

# Create a test file 
$ cat test.txt
task_test 1
task_test 2

# Create a shell source file 
$ cat task.sh
task_test()
{
    echo $1
}

# use the source under bash -c 
$ cat test.txt | xargs -n1 -I{} bash -c 'source task.sh; {}'
1
2

ดังนั้นสำหรับวิธีแก้ปัญหาของคุณจะเป็นอย่างไร

for i in *.myfiles; echo " do_something $i `derived_params $i` other_params
" >> commands.txt ; done

กำหนดทำบางสิ่งบางอย่างเป็น do_something.sh

do_something(){
process $1
echo $2 
whatever $3 

}

รันด้วยxargหรือgnu parallel

   cat commands.txt | xargs -n1 -I{} -P8 bash -c 'source do_something.sh; {}'

ฉันถือว่าความเป็นอิสระในการใช้งานของการวนซ้ำของสำหรับโดยนัย