ทำไมงูหลามเขียนด้วย GIL

การล็อคล่ามทั่วโลก (GIL) ดูเหมือนจะถูกอ้างถึงบ่อยครั้งเป็นเหตุผลหลักว่าทำไมการทำเกลียวและสิ่งที่คล้ายกันนั้นเป็นเรื่องยุ่งยากใน Python ซึ่งทำให้เกิดคำถามขึ้นมาว่า

การเป็นโปรแกรมเมอร์ไม่ใช่ฉันไม่รู้ว่าทำไมอาจเป็น - อะไรคือเหตุผลที่อยู่เบื้องหลังในการวาง GIL?

มีการนำไปใช้งานหลายอย่างของ Python เช่น CPython, IronPython, RPython เป็นต้น

บางคนมี GIL แต่บางคนไม่มี ตัวอย่างเช่น CPython มี GIL:

จากhttp://en.wikipedia.org/wiki/Global_Interpreter_Lock

แอปพลิเคชันที่เขียนด้วยภาษาโปรแกรมด้วย GIL สามารถออกแบบให้ใช้กระบวนการแยกต่างหากเพื่อให้เกิดความขนานอย่างสมบูรณ์เนื่องจากแต่ละกระบวนการมีล่ามของตัวเองและในทางกลับกันก็มี GIL ของตัวเอง

ประโยชน์ของ GIL

• เพิ่มความเร็วของโปรแกรมแบบเธรดเดียว
• การรวมไลบรารี C ที่ง่ายซึ่งโดยทั่วไปจะไม่ปลอดภัยสำหรับเธรด

เหตุใด Python (CPython และอื่น ๆ ) จึงใช้ GIL

• จากhttp://wiki.python.org/moin/GlobalInterpreterLock

ใน CPython การล็อคตัวแปลภาษาทั่วโลกหรือ GIL เป็น mutex ที่ป้องกันไม่ให้เธรดหลายเธรดดำเนินการไพทอนของ Python พร้อมกัน การล็อกนี้เป็นสิ่งจำเป็นเนื่องจากการจัดการหน่วยความจำของ CPython ไม่ปลอดภัยสำหรับเธรด

GIL ขัดแย้งกันเนื่องจากป้องกันโปรแกรม CPython แบบมัลติเธรดจากการใช้ประโยชน์เต็มที่จากระบบมัลติโปรเซสเซอร์ในบางสถานการณ์ โปรดทราบว่าอาจมีการบล็อกหรือการทำงานที่ยาวนานเช่น I / O การประมวลผลภาพและการบีบอัดตัวเลข NumPy ซึ่งเกิดขึ้นนอก GIL ดังนั้นจึงมีเฉพาะในโปรแกรมแบบมัลติเธรดที่ใช้เวลาส่วนใหญ่ใน GIL ​​ตีความ CPTC bytecode ว่า GIL กลายเป็นคอขวด

• จากhttp://www.grouplens.org/node/244

Python มี GIL ซึ่งต่างจากการล็อกแบบละเอียดด้วยเหตุผลหลายประการ:

• มันเร็วกว่าในเคสแบบเธรดเดี่ยว

• จะเร็วกว่าในกรณีแบบมัลติเธรดสำหรับโปรแกรมที่ถูกผูกไว้ของ i / o

• มันเร็วกว่าในกรณีแบบมัลติเธรดสำหรับโปรแกรมที่เชื่อมโยงกับ cpu ซึ่งทำงานที่ต้องใช้การคำนวณอย่างมากในไลบรารี C

• มันทำให้ส่วนขยาย C ง่ายต่อการเขียน: จะไม่มีสวิตช์ของเธรด Python ยกเว้นตำแหน่งที่คุณอนุญาตให้เกิดขึ้น (เช่นระหว่าง Py_BEGIN_ALLOW_THREADS และ Py_END_ALLOW_THREADS มาโคร)

• มันทำให้การห่อ C ไลบรารีง่ายขึ้น คุณไม่ต้องกังวลกับหัวข้อความปลอดภัย หากไลบรารีไม่ปลอดภัยสำหรับเธรดคุณเพียงแค่ล็อค GIL ไว้ในขณะที่คุณเรียกมัน

GIL สามารถเผยแพร่โดยส่วนขยาย C ไลบรารี่มาตรฐานของ Python จะปล่อย GIL รอบ ๆ การบล็อกแต่ละครั้งที่ฉันโทรเข้า ดังนั้น GIL ​​จึงไม่มีผลต่อประสิทธิภาพของเซิร์ฟเวอร์ที่เชื่อมโยงกับ i / o คุณสามารถสร้างเซิร์ฟเวอร์เครือข่ายใน Python โดยใช้โพรเซส (ทางแยก), เธรดหรืออะซิงโครนัส i / o, และ GIL จะไม่เข้าทางคุณ

ไลบรารีตัวเลขใน C หรือ Fortran สามารถถูกเรียกในทำนองเดียวกันเมื่อ GIL เผยแพร่ ในขณะที่ส่วนขยาย C ของคุณกำลังรอให้ FFT เสร็จสมบูรณ์ล่ามจะดำเนินการเธรด Python อื่น ๆ GIL นั้นง่ายกว่าและเร็วกว่าการล็อคแบบละเอียดในกรณีนี้เช่นกัน นี่ถือเป็นการทำงานที่เป็นตัวเลข ส่วนขยาย NumPy จะปล่อย GIL เมื่อทำได้

เธรดมักเป็นวิธีที่ไม่ดีในการเขียนโปรแกรมเซิร์ฟเวอร์ส่วนใหญ่ หากโหลดต่ำการฟอร์กก็จะง่ายขึ้น ถ้าโหลดสูงอะซิงโครนัส i / o และการเขียนโปรแกรมที่ขับเคลื่อนด้วยเหตุการณ์ (เช่นใช้เฟรมเวิร์ก Twisted Python) จะดีกว่า ข้อแก้ตัวสำหรับการใช้เธรดเท่านั้นคือการขาด os.fork บน Windows

GIL เป็นปัญหาหากและถ้าคุณกำลังทำงาน CPU-intensive ใน Python บริสุทธิ์ ที่นี่คุณสามารถออกแบบที่สะอาดขึ้นโดยใช้กระบวนการและการส่งข้อความ (เช่น mpi4py) นอกจากนี้ยังมีโมดูล 'การประมวลผล' ในร้านค้า Python cheese ที่ให้กระบวนการกับส่วนต่อประสานกับเธรด (เช่นแทนที่เธรดเธรดด้วยการประมวลผลกระบวนการ)

หัวข้อสามารถใช้เพื่อรักษาการตอบสนองของ GUI โดยไม่คำนึงถึง GIL หาก GIL ทำให้ประสิทธิภาพการทำงานของคุณแย่ลง (เช่นการสนทนาด้านบน) คุณสามารถปล่อยให้เธรดของคุณวางกระบวนการและรอให้กระบวนการเสร็จสิ้น

ก่อนปิด: Python ไม่มี GIL Python เป็นภาษาโปรแกรม ภาษาการเขียนโปรแกรมเป็นชุดของกฎและข้อ จำกัด ทางคณิตศาสตร์ที่เป็นนามธรรม ไม่มีอะไรใน Python Language Specification ที่บอกว่าต้องมี GIL

Python มีการนำไปใช้ที่แตกต่างกันมากมาย บางคนมี GIL บางคนไม่มี

คำอธิบายง่ายๆสำหรับการมี GIL คือการเขียนโค้ดพร้อมกันนั้นยาก ด้วยการวางกุญแจขนาดใหญ่ไว้รอบ ๆ รหัสของคุณคุณบังคับให้มันทำงานแบบต่อเนื่องทุกครั้ง แก้ไขปัญหา!

โดยเฉพาะอย่างยิ่งใน CPython เป้าหมายสำคัญอย่างหนึ่งคือทำให้การขยายล่ามด้วยปลั๊กอินที่เขียนด้วยภาษาซีอีกครั้งการเขียนโค้ดที่ใช้งานพร้อมกันนั้นทำได้ยากดังนั้นโดยการรับประกันว่าจะไม่มีการทำงานพร้อมกันทำให้การเขียนส่วนขยายสำหรับ ล่าม นอกจากนี้ส่วนขยายเหล่านั้นจำนวนมากเป็นเพียงตัวย่อบาง ๆ รอบ ๆ ไลบรารีที่มีอยู่ซึ่งอาจไม่ได้เขียนด้วยใจพร้อมกัน

จุดประสงค์ของ GIL คืออะไร?

เอกสารของ CAPI มีไว้เพื่อพูดในเรื่อง:

Python interpreter ไม่ปลอดภัยสำหรับเธรดอย่างสมบูรณ์ เพื่อสนับสนุนโปรแกรม Python แบบมัลติเธรดมีการล็อกแบบโกลบอลเรียกว่าล็อกการแปลระดับโลกหรือ GIL ที่จะต้องถูกจัดเก็บโดยเธรดปัจจุบันก่อนที่จะสามารถเข้าถึงวัตถุ Python ได้อย่างปลอดภัย หากไม่มีการล็อกแม้การดำเนินการที่ง่ายที่สุดอาจทำให้เกิดปัญหาในโปรแกรมแบบมัลติเธรด: ตัวอย่างเช่นเมื่อสองเธรดเพิ่มจำนวนการอ้างอิงของวัตถุเดียวกันพร้อมกันจำนวนการอ้างอิงอาจสิ้นสุดลงด้วยการเพิ่มขึ้นเพียงครั้งเดียวแทนที่จะเป็นสองครั้ง

กล่าวอีกนัยหนึ่ง GIL คือการป้องกันการทุจริตของรัฐ โปรแกรม Python ไม่ควรสร้างความผิดพลาดในการแบ่งเซกเมนต์เพราะอนุญาตให้ใช้งานได้อย่างปลอดภัยเท่านั้น GIL ขยายการรับประกันนี้ไปยังโปรแกรมแบบมัลติเธรด

ทางเลือกคืออะไร?

หากวัตถุประสงค์ของ GIL คือการปกป้องรัฐจากการทุจริตแล้วทางเลือกหนึ่งที่ชัดเจนคือล็อคที่เม็ดละเอียดกว่ามาก อาจอยู่ในระดับต่อวัตถุ ปัญหานี้คือแม้ว่าจะได้รับการแสดงเพื่อเพิ่มประสิทธิภาพของโปรแกรมแบบมัลติเธรด แต่ก็มีค่าใช้จ่ายเพิ่มเติมและโปรแกรมแบบเธรดเดียวที่ได้รับผลกระทบ