เมื่อใดที่เราควรเรียกว่า multiprocessing.Pool.join?

ฉันใช้ 'multiprocess.Pool.imap_unordered' ดังต่อไปนี้

from multiprocessing import Pool
pool = Pool()
for mapped_result in pool.imap_unordered(mapping_func, args_iter):
    do some additional processing on mapped_result

ฉันต้องโทรpool.closeหรือpool.joinหลังจากวนซ้ำ?

ไม่คุณไม่ทำ แต่อาจเป็นความคิดที่ดีหากคุณจะไม่ใช้สระว่ายน้ำอีกต่อไป

เหตุผลในการโทรpool.closeหรือpool.joinพูดได้ดีโดย Tim Peters ในโพสต์ SO นี้ :

สำหรับ Pool.close () คุณควรเรียกสิ่งนั้นว่าเมื่อไรและต่อเมื่อคุณจะไม่ส่งงานไปยังอินสแตนซ์ Pool อีก โดยทั่วไปแล้ว Pool.close () จะถูกเรียกเมื่อส่วนที่ขนานกันได้ของโปรแกรมหลักของคุณเสร็จสิ้น จากนั้นกระบวนการของผู้ปฏิบัติงานจะสิ้นสุดลงเมื่องานทั้งหมดที่ได้รับมอบหมายเสร็จสิ้นแล้ว

นอกจากนี้ยังควรเรียก Pool.join () เพื่อรอให้กระบวนการของผู้ปฏิบัติงานยุติลง ด้วยเหตุผลอื่น ๆ มักไม่มีวิธีที่ดีในการรายงานข้อยกเว้นในโค้ดคู่ขนาน (ข้อยกเว้นเกิดขึ้นในบริบทที่เกี่ยวข้องกับสิ่งที่โปรแกรมหลักของคุณกำลังทำอย่างคลุมเครือเท่านั้น) และ Pool.join () มีจุดซิงโครไนซ์ที่สามารถรายงานข้อยกเว้นบางประการที่เกิดขึ้น ในกระบวนการทำงานที่คุณไม่เคยเห็น

ฉันมีปัญหาหน่วยความจำเช่นเดียวกับการใช้หน่วยความจำเพิ่มขึ้นเรื่อย ๆ ด้วยการประมวลผลหลายขั้นตอนของ Pythonเมื่อฉันไม่ได้ใช้pool.close()และpool.join()เมื่อใช้pool.map()กับฟังก์ชันที่คำนวณระยะทาง Levenshtein ฟังก์ชั่นนี้ทำงานได้ดี แต่ไม่ได้รวบรวมขยะอย่างถูกต้องบนเครื่อง Win7 64 และการใช้งานหน่วยความจำยังคงเพิ่มขึ้นอย่างควบคุมไม่ได้ทุกครั้งที่เรียกใช้ฟังก์ชันจนกว่าระบบปฏิบัติการทั้งหมดจะหยุดทำงาน นี่คือรหัสที่แก้ไขการรั่วไหล:

stringList = []
for possible_string in stringArray:
    stringList.append((searchString,possible_string))

pool = Pool(5)
results = pool.map(myLevenshteinFunction, stringList)
pool.close()
pool.join()

หลังจากปิดและเข้าร่วมพูลหน่วยความจำรั่วก็หายไป