ทำไมฉันไม่ควรใช้ PyPy กับ CPython ถ้า PyPy เร็วกว่า 6.3 เท่า?

ฉันได้ยินมามากมายเกี่ยวกับโครงการPyPy พวกเขาอ้างว่ามันคือ 6.3 ครั้งเร็วกว่าCPythonล่ามบนเว็บไซต์ของพวกเขา

เมื่อใดก็ตามที่เราพูดถึงภาษาไดนามิกเช่น Python ความเร็วเป็นหนึ่งในปัญหาอันดับต้น ๆ เพื่อแก้ปัญหานี้พวกเขาบอกว่า PyPy เร็วขึ้น 6.3 เท่า

ปัญหาที่สองคือการขนานกันInterpreter Lock (GIL) ที่น่าอับอาย สำหรับเรื่องนี้ PyPy บอกว่ามันสามารถให้ GIL น้อยหลาม

หาก PyPy สามารถแก้ปัญหาความท้าทายที่ยิ่งใหญ่เหล่านี้อะไรคือจุดอ่อนที่ป้องกันการยอมรับในวงกว้าง? นั่นคือจะบอกว่าสิ่งที่ป้องกันไม่ให้คนอย่างผมซึ่งเป็นผู้พัฒนาหลามทั่วไปจากการเปลี่ยนไป PyPy ในขณะนี้ ?

หมายเหตุ: PyPy เป็นผู้ใหญ่มากขึ้นและได้รับการสนับสนุนที่ดีขึ้นกว่าตอนนี้ในปี 2013 เมื่อมีการถามคำถามนี้ หลีกเลี่ยงการสรุปจากข้อมูลที่ล้าสมัย

1. PyPy เป็นคนอื่นได้อย่างรวดเร็วที่จะกล่าวถึงมีการสนับสนุนสำหรับส่วนขยายผอมบาง C มันมีการรองรับ แต่โดยทั่วไปแล้วจะช้ากว่าความเร็ว Python และแน่นอนที่สุด ดังนั้นโมดูลจำนวนมากจึงต้องการ CPython PyPy ไม่สนับสนุน numpy PyPy สนับสนุน numpyแล้ว ส่วนขยายบางอย่างยังไม่ได้รับการสนับสนุน (Pandas, SciPy ฯลฯ ) ดูที่รายการแพคเกจที่รองรับก่อนทำการเปลี่ยนแปลง
2. การสนับสนุน Python 3 อยู่ในระหว่างการทดลองใช้งาน เพิ่งมาถึงที่มั่นคง! ตั้งแต่วันที่ 20 มิถุนายน 2014, PyPy3 2.3.1 - Fulcrum ออกมาแล้ว !
3. PyPy บางครั้งอาจไม่เร็วสำหรับ "สคริปต์" ซึ่งผู้คนจำนวนมากใช้ Python เหล่านี้เป็นโปรแกรมระยะสั้นที่ทำสิ่งที่ง่ายและเล็ก เนื่องจาก PyPy เป็นคอมไพเลอร์ JIT ข้อดีหลักมาจากเวลาที่ยาวนานและประเภทที่เรียบง่าย (เช่นตัวเลข) ตรงไปตรงมาด้วยความเร็วก่อน JIT PyPy จะสวยไม่ดีเมื่อเทียบกับ CPython
4. ความเฉื่อย การย้ายไปที่ PyPy มักจะต้องมีการปรับแต่งใหม่ซึ่งสำหรับบางคนและองค์กรนั้นทำงานมากเกินไป

นี่คือเหตุผลหลักที่ส่งผลกระทบต่อฉันฉันพูด

ไซต์นั้นไม่ได้อ้างสิทธิ์ PyPy เร็วกว่า CPython 6.3 เท่า อ้าง:

ค่าเฉลี่ยเรขาคณิตของมาตรฐานทั้งหมดคือ 0.16 หรือ 6.3 เท่าเร็วกว่า CPython

นี่เป็นคำแถลงที่แตกต่างอย่างมากสำหรับคำแถลงการณ์ที่คุณทำและเมื่อคุณเข้าใจความแตกต่างคุณจะเข้าใจเหตุผลอย่างน้อยหนึ่งชุดที่ทำไมคุณไม่สามารถพูดว่า "use PyPy" อาจฟังดูเหมือนว่าฉันกำลังหยิบยกอยู่ แต่การเข้าใจว่าทำไมทั้งสองข้อความนี้จึงต่างกันโดยสิ้นเชิงมีความสำคัญ

หากต้องการทำลายสิ่งนั้น:

• ข้อความที่พวกเขาใช้นั้นใช้กับมาตรฐานที่พวกเขาใช้เท่านั้น มันบอกว่าไม่มีอะไรเกี่ยวกับโปรแกรมของคุณเลย (ยกเว้นว่าโปรแกรมของคุณจะตรงกับมาตรฐานของพวกเขา)

• คำสั่งนี้เป็นค่าเฉลี่ยของกลุ่มมาตรฐาน ไม่มีการอ้างสิทธิ์ว่าการใช้ PyPy จะปรับปรุง 6.3 ครั้งสำหรับโปรแกรมที่ทดสอบ

• ไม่มีการเรียกร้องใด ๆ ว่า PyPy จะเรียกใช้โปรแกรมทั้งหมดที่ CPython ทำงานเลยแม้แต่น้อยก็เร็วขึ้น

เนื่องจาก pypy เข้ากันไม่ได้ 100% ใช้ ram 8 กิ๊กในการคอมไพล์เป็นเป้าหมายเคลื่อนที่และการทดลองอย่างสูงโดยที่ cpython เสถียรเป้าหมายเริ่มต้นสำหรับผู้สร้างโมดูลสำหรับ 2 ทศวรรษ (รวมถึงส่วนขยาย c ที่ไม่ทำงานบน pypy ) และถูกนำไปใช้อย่างกว้างขวางแล้ว

Pypy อาจจะไม่ใช้การอ้างอิง แต่เป็นเครื่องมือที่ดีที่จะมี

คำถามที่สองนั้นตอบง่ายกว่า: โดยทั่วไปคุณสามารถใช้ PyPy แทนแบบหล่นหากรหัสทั้งหมดของคุณเป็น Python บริสุทธิ์ อย่างไรก็ตามหลาย ๆ ไลบรารีที่ใช้กันอย่างแพร่หลาย (รวมถึงบางส่วนของไลบรารีมาตรฐาน) ถูกเขียนใน C และคอมไพล์เป็นส่วนขยาย Python บางส่วนของสิ่งเหล่านี้สามารถทำงานกับ PyPy ได้บางส่วนไม่สามารถทำได้ PyPy จัดเตรียมเครื่องมือ "หันไปข้างหน้า" เช่นเดียวกับ Python --- นั่นคือ Python --- แต่อวัยวะภายในนั้นแตกต่างกันดังนั้นเครื่องมือที่ส่วนต่อประสานกับอวัยวะภายในเหล่านั้นจะไม่ทำงาน

สำหรับคำถามแรกฉันคิดว่ามันเป็น Catch-22 กับคำถามแรก: PyPy ได้รับการพัฒนาอย่างรวดเร็วเพื่อปรับปรุงความเร็วและเพิ่มความสามารถในการทำงานร่วมกันกับโค้ดอื่น ๆ สิ่งนี้ทำให้การทดลองมากกว่าทางราชการ

ฉันคิดว่าเป็นไปได้ว่าถ้า PyPy เข้าสู่สถานะมั่นคงอาจเริ่มใช้กันอย่างแพร่หลายมากขึ้น ฉันยังคิดว่ามันจะดีสำหรับ Python ที่จะย้ายออกจากการหนุนของ C แต่มันจะไม่เกิดขึ้นซักพัก PyPy ยังไม่ถึงจุดวิกฤตที่เกือบจะเป็นประโยชน์พอตัวของมันเองที่จะทำทุกสิ่งที่คุณต้องการซึ่งจะกระตุ้นให้ผู้คนเติมเต็มช่องว่าง

ฉันทำเกณฑ์มาตรฐานขนาดเล็กในหัวข้อนี้ ในขณะที่โปสเตอร์อื่น ๆ จำนวนมากให้คะแนนดีเกี่ยวกับความเข้ากันได้ประสบการณ์ของฉันคือ PyPy นั้นไม่เร็วกว่านั้นมากเพียงแค่เคลื่อนที่ไปรอบ ๆ บิต สำหรับการใช้งาน Python หลาย ๆ ครั้งมันมีอยู่เพียงการแปลบิตระหว่างบริการสองรายการขึ้นไปเท่านั้น ตัวอย่างเช่นมีเว็บแอปพลิเคชั่นไม่มากที่กำลังทำการวิเคราะห์ชุดข้อมูลอย่างเข้มข้น แต่พวกเขาใช้เวลาจำนวนไบต์จากไคลเอ็นต์เก็บไว้ในฐานข้อมูลบางประเภทแล้วส่งกลับไปยังไคลเอนต์อื่นในภายหลัง บางครั้งรูปแบบของข้อมูลจะเปลี่ยนไป

นักพัฒนา BDFL และ CPython เป็นกลุ่มอัจฉริยะที่น่าทึ่งและมีการจัดการเพื่อช่วยให้ CPython ทำงานได้อย่างยอดเยี่ยมในสถานการณ์ดังกล่าว นี่เป็นปลั๊กบล็อกไร้ยางอาย: http://www.hydrogen18.com/blog/unpickling-buffers.html ฉันใช้ Stackless ซึ่งได้มาจาก CPython และเก็บอินเทอร์เฟซโมดูล C แบบเต็ม ฉันไม่พบข้อได้เปรียบใด ๆ จากการใช้ PyPy ในกรณีนี้

ถาม: ถ้า PyPy สามารถแก้ไขความท้าทายที่ยิ่งใหญ่เหล่านี้ (ความเร็วปริมาณการใช้หน่วยความจำขนาน) เมื่อเปรียบเทียบกับ CPython จุดอ่อนของมันคืออะไรที่ขัดขวางการยอมรับในวงกว้าง

A: ครั้งแรกที่มีหลักฐานเพียงเล็กน้อยว่าทีม PyPy สามารถแก้ปัญหาความเร็วในทั่วไป หลักฐานระยะยาวแสดงให้เห็นว่า PyPy รันรหัส Python บางรหัสช้ากว่า CPython และข้อเสียเปรียบนี้ดูเหมือนว่าจะหยั่งรากลึกใน PyPy

ประการที่สองรุ่นปัจจุบันของ PyPy ใช้หน่วยความจำมากกว่า CPython ในชุดเคสที่ค่อนข้างใหญ่ ดังนั้น PyPy จึงไม่สามารถแก้ปัญหาการใช้หน่วยความจำได้

ไม่ว่า PyPy จะแก้ปัญหาความท้าทายที่ยิ่งใหญ่ดังกล่าวและโดยทั่วไปจะเร็วขึ้น, หิวน้อยกว่าหน่วยความจำและเป็นมิตรกับการขนานมากกว่า CPython เป็นคำถามเปิดที่ไม่สามารถแก้ไขได้ในระยะสั้น บางคนกำลังเดิมพันว่า PyPy จะไม่สามารถเสนอโซลูชันทั่วไปที่ช่วยให้สามารถครอง CPython 2.7 และ 3.3 ได้ในทุกกรณี

หาก PyPy ประสบความสำเร็จจะดีกว่า CPython โดยทั่วไปซึ่งเป็นที่น่าสงสัยจุดอ่อนหลักที่มีผลต่อการยอมรับในวงกว้างนั้นจะเข้ากันได้กับ CPython นอกจากนี้ยังมีปัญหาเช่นความจริงที่ว่า CPython ทำงานบนซีพียูและระบบปฏิบัติการที่หลากหลาย แต่ปัญหาเหล่านี้มีความสำคัญน้อยกว่าเมื่อเทียบกับประสิทธิภาพของ PyPy และเป้าหมายการทำงานร่วมกันของ CPython

ถาม: ทำไมฉันไม่สามารถแทนที่ CPython ด้วย PyPy ได้ในตอนนี้?

ตอบ: PyPy ไม่รองรับ 100% กับ CPython เนื่องจากไม่ได้จำลอง CPython ภายใต้ประทุน บางโปรแกรมอาจยังคงขึ้นอยู่กับคุณสมบัติเฉพาะของ CPython ที่ขาดหายไปใน PyPy เช่นการผูก C การใช้ C ของวัตถุและวิธีการของ Python หรือลักษณะที่เพิ่มขึ้นของตัวเก็บขยะของ CPython

CPython มีการอ้างอิงการนับและการรวบรวมขยะ PyPy มีการรวบรวมขยะเท่านั้น

ดังนั้นวัตถุมีแนวโน้มที่จะถูกลบก่อนหน้านี้และ__del__ถูกเรียกในวิธีที่คาดเดาได้มากขึ้นใน CPython ซอฟต์แวร์บางตัวอาศัยลักษณะการทำงานนี้ดังนั้นพวกเขาจึงไม่พร้อมสำหรับการโยกย้ายไปยัง PyPy

ซอฟต์แวร์อื่นบางตัวทำงานร่วมกับทั้งคู่ แต่ใช้หน่วยความจำน้อยกว่ากับ CPython เนื่องจากวัตถุที่ไม่ได้ใช้จะว่างก่อนหน้านี้ (ฉันไม่มีการวัดใด ๆ เพื่อระบุความสำคัญของสิ่งนี้และรายละเอียดการใช้งานอื่น ๆ ที่มีผลต่อการใช้หน่วยความจำ)

สำหรับโครงการจำนวนมากจริง ๆ แล้วมีความแตกต่าง 0% ระหว่าง pythons ที่แตกต่างกันในแง่ของความเร็ว นั่นคือสิ่งที่ถูกครอบงำโดยเวลาทางวิศวกรรมและที่งูเหลือมทุกคนมีจำนวนห้องสมุดเท่ากัน

เพื่อทำให้ง่ายนี้: PyPy ให้ความเร็วที่ CPython ขาดไป แต่เสียสละความเข้ากันได้ อย่างไรก็ตามคนส่วนใหญ่เลือก Python สำหรับความยืดหยุ่นและคุณสมบัติ "รวมแบตเตอรี่" (ความเข้ากันได้สูง) ไม่ใช่ความเร็ว (ยังต้องการมากกว่า)

ฉันพบตัวอย่างที่ PyPy ช้ากว่า Python แต่: เฉพาะบน Windows

C:\Users\User>python -m timeit -n10 -s"from sympy import isprime" "isprime(2**521-1);isprime(2**1279-1)"
10 loops, best of 3: 294 msec per loop

C:\Users\User>pypy -m timeit -n10 -s"from sympy import isprime" "isprime(2**521-1);isprime(2**1279-1)"
10 loops, best of 3: 1.33 sec per loop

ดังนั้นถ้าคุณคิดถึง PyPy ให้ลืม Windows บน Linux คุณสามารถเร่งความเร็วได้อย่างยอดเยี่ยม ตัวอย่าง (แสดงช่วงเวลาทั้งหมดตั้งแต่ 1 ถึง 1,000,000):

from sympy import sieve
primes = list(sieve.primerange(1, 10**6))

สิ่งนี้จะทำงานเร็วขึ้น 10 เท่า (!) ใน PyPy มากกว่าบน Python แต่ไม่ใช่บนหน้าต่าง มันเร็วแค่ 3x เท่านั้น

PyPy สนับสนุน Python 3 มาระยะหนึ่งแล้ว แต่จากการอ้างอิงของHackerNoon โดย Anthony Shaw ตั้งแต่วันที่ 2 เมษายน 2018 PyPy3 ยังช้ากว่า PyPy (Python 2) หลายเท่า

สำหรับการคำนวณทางวิทยาศาสตร์จำนวนมากโดยเฉพาะอย่างยิ่งการคำนวณเมทริกซ์จำนวนเป็นทางเลือกที่ดีกว่า (ดูคำถามที่พบบ่อย: ฉันควรติดตั้ง numpy หรือ numpypy หรือไม่ )

Pypy ไม่รองรับ gmpy2 คุณสามารถใช้gmpy_cffi แทนได้ แต่ฉันไม่ได้ทดสอบความเร็วของมันและโครงการมีการเปิดตัวหนึ่งครั้งในปี 2014

สำหรับปัญหา Project Euler ฉันใช้ PyPy บ่อยครั้งและการคำนวณเชิงตัวเลขอย่างง่ายมักfrom __future__ import divisionจะเพียงพอสำหรับวัตถุประสงค์ของฉัน แต่การสนับสนุน Python 3 ยังคงใช้งานได้ในปี 2018 โดยวางเดิมพันที่ดีที่สุดของคุณบน Linux 64 บิต Windows PyPy3.5 v6.0 ล่าสุดเมื่อเดือนธันวาคม 2561 อยู่ในช่วงเบต้า

รองรับ Python เวอร์ชั่น

ในการอ้างอิงZen of Python :

จำนวนการอ่าน

ยกตัวอย่างเช่นงูหลาม 3.7 แนะนำdataclassesและ Python 3.8 แนะนำfstring =

อาจมีคุณสมบัติอื่น ๆ ใน Python 3.7 และ Python 3.8 ซึ่งมีความสำคัญต่อคุณมากกว่า ประเด็นคือ PyPy ไม่รองรับ Python 3.7 หรือ Python 3.8 ในขณะนี้