การเรียกใช้หลายพันกระบวนการพื้นหลังขดในแบบคู่ขนานในสคริปต์ทุบตี

ฉันกำลังใช้งาน thounsand ของกระบวนการ background curlขนานในสคริปต์ทุบตีต่อไป

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

ฉันมีเซิร์ฟเวอร์เฉพาะ 49Gb Corei7-920 (ไม่ใช่เสมือน)

ฉันติดตามการใช้หน่วยความจำและ CPU ผ่านtopคำสั่งและพวกเขาอยู่ไกลจากขอบเขต

ฉันกำลังใช้ps aux | grep curl | wc -lเพื่อนับจำนวนกระบวนการcurlปัจจุบัน ตัวเลขนี้เพิ่มขึ้นอย่างรวดเร็วมากถึง 2-4 พันจากนั้นเริ่มลดลงอย่างต่อเนื่อง

หากฉันเพิ่มการแยกวิเคราะห์อย่างง่าย ๆ ผ่าน pipl curl ไปยัง awk ( curl | awk > output) กว่ากระบวนการจำนวน curl เพิ่มขึ้นเป็น 1-2 พันจากนั้นลดลงเป็น 20-30 ...

ทำไมจำนวนกระบวนการลดลงอย่างมาก? ขอบเขตของสถาปัตยกรรมนี้อยู่ที่ไหน

ทำตามคำถามที่เข้มงวด:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

สั้นลงถ้าคุณไม่ต้องการข้อความสำเร็จรูปในการกำหนดเวลา:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

หากคุณต้องการใช้งาน 1,000 ครั้งในแบบคู่ขนานคุณจะมีขีด จำกัด บางอย่าง (เช่นตัวจัดการไฟล์) การเพิ่ม ulimit -n หรือ /etc/security/limits.conf อาจช่วยได้

for i in {1..100000}

มีเพียง 65536 พอร์ต เค้นสิ่งนี้

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(แก้ไข: (แก้ไข: ตัดการยืนยันวันที่อย่างเข้มงวดเกี่ยวกับขีด จำกัด ของระบบปฏิบัติการและเพิ่มการขาดหายไป)echocurl
wait