การรันคำสั่งแบบขนานพร้อมกับ จำกัด จำนวนคำสั่งพร้อมกัน

ตามลำดับ: for i in {1..1000}; do do_something $i; done- ช้าเกินไป

แบบขนาน: for i in {1..1000}; do do_something $i& done- โหลดมากเกินไป

วิธีรันคำสั่งแบบขนาน แต่ไม่เกิน 20 อินสแตนซ์ต่อนาที

ตอนนี้มักจะใช้วิธีแฮ็for i in {1..1000}; do do_something $i& sleep 5; doneค แต่นี่ไม่ใช่ทางออกที่ดี

อัปเดต 2 : แปลงคำตอบที่ยอมรับเป็นสคริปต์: http://vi-server.org/vi/parallel

#!/bin/bash

NUM=$1; shift

if [ -z "$NUM" ]; then
    echo "Usage: parallel <number_of_tasks> command"
    echo "    Sets environment variable i from 1 to number_of_tasks"
    echo "    Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override."
    echo "Example: parallel 100 'echo \$i; sleep \`echo \$RANDOM/6553 | bc -l\`'"
    exit 1
fi

export CMD="$@";

true ${MAKEOPTS:="-j20"}

cat << EOF | make -f - -s $MAKEOPTS
PHONY=jobs
jobs=\$(shell echo {1..$NUM})

all: \${jobs}

\${jobs}:
        i=\$@ sh -c "\$\$CMD"
EOF

โปรดทราบว่าคุณต้องแทนที่ช่องว่าง 8 ช่องด้วย 2 แท็บก่อน "i =" เพื่อให้ใช้งานได้

GNU Parallelสร้างขึ้นเพื่อสิ่งนี้

seq 1 1000 | parallel -j20 do_something

มันยังสามารถเรียกใช้งานบนคอมพิวเตอร์ระยะไกล นี่คือตัวอย่างสำหรับการเข้ารหัส MP3 เป็น OGG อีกครั้งโดยใช้เซิร์ฟเวอร์ 2 และคอมพิวเตอร์ในระบบที่ทำงาน 1 งานต่อซีพียูคอร์:

parallel --trc {.}.ogg -j+0 -S server2,: \
     'mpg321 -w - {} | oggenc -q0 - -o {.}.ogg' ::: *.mp3

ชมวิดีโอแนะนำ GNU Parallel ได้ที่นี่:

http://www.youtube.com/watch?v=OpaiGYxkSuQ

ไม่ใช่โซลูชันทุบตี แต่คุณควรใช้ Makefile อาจเป็น-lไปได้ว่าจะมีการโหลดสูงสุดไม่เกิน

NJOBS=1000

.PHONY = jobs
jobs = $(shell echo {1..$(NJOBS)})

all: $(jobs)

$(jobs):
    do_something $@

จากนั้นให้เริ่มงานครั้งละ 20 งาน

$ make -j20

หรือเริ่มงานให้มากที่สุดโดยไม่เกินภาระงาน 5

$ make -j -l5

_{^{การโพสต์สคริปต์ในคำถามด้วยการจัดรูปแบบ:}}

#!/bin/bash

NUM=$1; shift

if [ -z "$NUM" ]; then
    echo "Usage: parallel <number_of_tasks> command"
    echo "    Sets environment variable i from 1 to number_of_tasks"
    echo "    Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override."
    echo "Example: parallel 100 'echo \$i; sleep \`echo \$RANDOM/6553 | bc -l\`'"
    exit 1
fi

export CMD="$@";

true ${MAKEOPTS:="-j20"}

cat << EOF | make -f - -s $MAKEOPTS
PHONY=jobs
jobs=\$(shell echo {1..$NUM})

all: \${jobs}

\${jobs}:
        i=\$@ sh -c "\$\$CMD"
EOF

โปรดทราบว่าคุณต้องแทนที่ช่องว่าง 8 ช่องด้วย 2 แท็บก่อนหน้า "i ="

แนวคิดง่ายๆหนึ่งข้อ:

ตรวจสอบ i modulo 20 และดำเนินการคำสั่ง wait shell-command ก่อน do_something

คุณสามารถใช้psเพื่อนับจำนวนกระบวนการที่คุณใช้และเมื่อใดก็ตามที่สิ่งนี้มีค่าลดลงต่ำกว่าเกณฑ์ที่กำหนดคุณจะเริ่มกระบวนการอื่น

รหัสหลอก:

i = 1
MAX_PROCESSES=20
NUM_TASKS=1000
do
  get num_processes using ps
  if num_processes < MAX_PROCESSES
    start process $i
    $i = $i + 1
  endif
  sleep 1 # add this to prevent thrashing with ps
until $i > NUM_TASKS

for i in {1..1000}; do 
     (echo $i ; sleep `expr $RANDOM % 5` ) &
     while [ `jobs | wc -l` -ge 20 ] ; do 
         sleep 1 
     done
done

คุณสามารถทำได้เช่นนี้

threads=20
tempfifo=$PMS_HOME/$$.fifo

trap "exec 1000>&-;exec 1000<&-;exit 0" 2
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo

for ((i=1; i<=$threads; i++))
do
    echo >&1000
done

for ((j=1; j<=1000; j++))
do
    read -u1000
    {
        echo $j
        echo >&1000
    } &
done

wait
echo "done!!!!!!!!!!"

ใช้ไพพ์ที่มีชื่อทุกครั้งมันจะรัน 20 เชลล์ย่อยในแบบคู่ขนาน

หวังว่ามันจะช่วย :)