การประมวลผลหลายขั้นตอนเทียบกับมัลติเธรดเทียบกับ asyncio ใน Python 3

ฉันพบว่าในหลาม 3.4 มีห้องสมุดที่แตกต่างกันไม่กี่ multiprocessing / เกลียว: multiprocessing VS เกลียว VS asyncio

แต่ไม่รู้จะใช้อันไหนดีหรือ "แนะนำ" พวกเขาทำสิ่งเดียวกันหรือแตกต่างกัน? ถ้าเป็นเช่นนั้นใช้สำหรับอะไร? ฉันต้องการเขียนโปรแกรมที่ใช้มัลติคอร์ในคอมพิวเตอร์ของฉัน แต่ฉันไม่รู้ว่าควรเรียนห้องสมุดไหนดี

มีไว้เพื่อวัตถุประสงค์และ / หรือข้อกำหนดที่แตกต่างกัน (เล็กน้อย) CPython (การใช้งาน Python แบบ mainline โดยทั่วไป) ยังคงมีการล็อคตัวแปลส่วนกลางดังนั้นแอปพลิเคชันแบบหลายเธรด (วิธีมาตรฐานในการใช้การประมวลผลแบบขนานในปัจจุบัน) จึงไม่เหมาะสม นั่นเป็นเหตุผลที่multiprocessing อาจthreadingจะต้องการมากกว่า แต่ไม่ใช่ว่าปัญหาทุกอย่างจะแยกออกเป็นส่วน ๆ [เกือบจะเป็นอิสระ] ได้อย่างมีประสิทธิภาพดังนั้นจึงอาจมีความจำเป็นในการสื่อสารระหว่างกระบวนการที่หนักหน่วง นั่นเป็นเหตุผลที่multiprocessingอาจไม่เป็นที่ต้องการthreadingโดยทั่วไป

asyncio(เทคนิคนี้มีให้ใช้งานไม่เพียง แต่ใน Python เท่านั้นภาษาและ / หรือเฟรมเวิร์กอื่น ๆ ก็มีเช่นBoost.ASIO ) เป็นวิธีการจัดการกับการดำเนินการ I / O จำนวนมากจากแหล่งข้อมูลหลายแหล่งพร้อมกันโดยไม่จำเป็นต้องใช้การประมวลผลโค้ดแบบขนาน . ดังนั้นจึงเป็นเพียงวิธีแก้ปัญหา (เป็นวิธีที่ดีจริงๆ!) สำหรับงานเฉพาะไม่ใช่สำหรับการประมวลผลแบบขนานโดยทั่วไป

TL; ดร

การเลือกที่ถูกต้อง:

เราได้เดินผ่านรูปแบบของการเกิดขึ้นพร้อมกันที่เป็นที่นิยมมากที่สุด แต่คำถามยังคงอยู่ - เมื่อไหร่ควรเลือกอันไหน? มันขึ้นอยู่กับกรณีการใช้งานจริงๆ จากประสบการณ์ของฉัน (และการอ่าน) ฉันมักจะทำตามรหัสหลอกนี้:

if io_bound:
    if io_very_slow:
        print("Use Asyncio")
    else:
        print("Use Threads")
else:
    print("Multi Processing")

• CPU Bound => หลายการประมวลผล
• I / O Bound, Fast I / O, จำนวนการเชื่อมต่อที่ จำกัด => Multi Threading
• I / O Bound, Slow I / O, การเชื่อมต่อจำนวนมาก => Asyncio

ข้อมูลอ้างอิง

[ หมายเหตุ ]:

• หากคุณมีวิธีการโทรแบบยาว (เช่นวิธีการที่มีเวลาสลีปหรือ I / O ที่ขี้เกียจ) ตัวเลือกที่ดีที่สุดคือวิธี asyncio , TwistedหรือTornado (วิธีการโครูทีน) ซึ่งทำงานกับเธรดเดียวเป็นแบบพร้อมกัน
• asyncioทำงานบนPython3.4และใหม่กว่า
• TornadoและTwistedพร้อมแล้วตั้งแต่Python2.7
• uvloopเป็นasyncioลูปเหตุการณ์ที่เร็วมาก( uvloopทำให้asyncioเร็วขึ้น2-4เท่า)

[อัพเดท (2019)]:

• Japranto ^{( GitHub )}เป็นเซิร์ฟเวอร์ HTTP วิธี pipeline อย่างรวดเร็วบนพื้นฐานของuvloop

นี่คือแนวคิดพื้นฐาน:

เป็นIO -BOUND หรือไม่? ---------> ใช้asyncio

มันเป็นCPU -HEAVY หรือไม่? -----> ใช้multiprocessing

อย่างอื่น? ----------------------> ใช้threading

โดยพื้นฐานแล้วให้ยึดกับเธรดเว้นแต่คุณจะมีปัญหา IO / CPU

ในการประมวลผลหลายขั้นตอนคุณใช้ประโยชน์จาก CPU หลายตัวเพื่อกระจายการคำนวณของคุณ เนื่องจากซีพียูแต่ละตัวทำงานแบบขนานคุณจึงสามารถทำงานหลายอย่างพร้อมกันได้อย่างมีประสิทธิภาพ คุณต้องการใช้การประมวลผลหลายขั้นตอนสำหรับงานที่เชื่อมต่อกับCPU ตัวอย่างจะพยายามคำนวณผลรวมขององค์ประกอบทั้งหมดของรายการขนาดใหญ่ หากเครื่องของคุณมี 8 คอร์คุณสามารถ "ตัด" รายการออกเป็น 8 รายการเล็ก ๆ และคำนวณผลรวมของแต่ละรายการแยกกันบนคอร์ที่แยกจากกันแล้วบวกตัวเลขเหล่านั้นเข้าไป คุณจะได้รับการเร่งความเร็วประมาณ 8 เท่าจากการทำเช่นนั้น

ในเธรด (หลาย)คุณไม่ต้องการซีพียูหลายตัว ลองนึกภาพโปรแกรมที่ส่งคำขอ HTTP จำนวนมากไปยังเว็บ หากคุณใช้โปรแกรมเธรดเดียวโปรแกรมจะหยุดการดำเนินการ (บล็อก) ในแต่ละคำขอรอการตอบกลับจากนั้นดำเนินการต่อเมื่อได้รับการตอบกลับ ปัญหาคือ CPU ของคุณไม่ทำงานจริงๆในขณะที่รอให้เซิร์ฟเวอร์ภายนอกทำงาน ในระหว่างนี้มันสามารถทำงานที่มีประโยชน์ได้จริง! การแก้ไขคือการใช้เธรด - คุณสามารถสร้างได้หลายชุดโดยแต่ละชุดมีหน้าที่ในการขอเนื้อหาบางส่วนจากเว็บ สิ่งที่ดีเกี่ยวกับเธรดคือแม้ว่าจะทำงานบน CPU ตัวเดียว แต่ CPU จะ "หยุด" การทำงานของเธรดหนึ่งเป็นครั้งคราวและข้ามไปดำเนินการกับเธรดอื่น (เรียกว่าการสลับบริบทและจะเกิดขึ้นตลอดเวลาโดยไม่ได้กำหนด ช่วงเวลา) - ใช้เธรด

asyncioเป็นหลักเกลียวที่ไม่ได้เป็น CPU แต่คุณเป็นโปรแกรมเมอร์ (หรือจริงใบสมัครของคุณ) ตัดสินใจที่ไหนและเมื่อไม่เปลี่ยนบริบทเกิดขึ้น ใน Python คุณใช้awaitคีย์เวิร์ดเพื่อระงับการทำงานของโครูทีนของคุณ (กำหนดโดยใช้asyncคีย์เวิร์ด)