เหตุใดการประมวลผลหลายขั้นตอนจึงใช้เพียงคอร์เดียวหลังจากที่ฉันนำเข้าจำนวน

ฉันไม่แน่ใจว่าสิ่งนี้นับเป็นปัญหาระบบปฏิบัติการมากกว่าหรือไม่ แต่ฉันคิดว่าฉันจะถามที่นี่ในกรณีที่ใครก็ตามมีความเข้าใจบางอย่างจากจุดสิ้นสุดของ Python

ฉันพยายามขนานforลูปที่ใช้CPU หนักjoblibแต่ฉันพบว่าแทนที่จะกำหนดให้แต่ละกระบวนการของผู้ปฏิบัติงานถูกกำหนดให้กับคอร์ที่แตกต่างกันฉันพบว่ากระบวนการทั้งหมดถูกกำหนดให้อยู่ในคอร์เดียวกันและไม่มีการเพิ่มประสิทธิภาพ

นี่เป็นตัวอย่างที่ไม่สำคัญมาก ...

from joblib import Parallel,delayed
import numpy as np

def testfunc(data):
    # some very boneheaded CPU work
    for nn in xrange(1000):
        for ii in data[0,:]:
            for jj in data[1,:]:
                ii*jj

def run(niter=10):
    data = (np.random.randn(2,100) for ii in xrange(niter))
    pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
    results = pool(delayed(testfunc)(dd) for dd in data)

if __name__ == '__main__':
    run()

... และนี่คือสิ่งที่ฉันเห็นในhtopขณะที่สคริปต์นี้กำลังทำงาน:

ฉันใช้ Ubuntu 12.10 (3.5.0-26) บนแล็ปท็อปที่มี 4 คอร์ เห็นได้ชัดว่าjoblib.Parallelกำลังวางไข่กระบวนการแยกกันสำหรับคนงานที่แตกต่างกัน แต่มีวิธีใดบ้างที่ฉันสามารถทำให้กระบวนการเหล่านี้ดำเนินการบนคอร์ที่ต่างกันได้

หลังจาก googling บางมากขึ้นฉันได้พบคำตอบที่นี่

แต่กลับกลายเป็นว่าบางโมดูลหลาม ( numpy, scipy, tables, pandas, skimage... ) ยุ่งกับความสัมพันธ์หลักในการนำเข้า เท่าที่ฉันสามารถบอกได้ปัญหานี้ดูเหมือนจะเกิดจากการเชื่อมโยงกับไลบรารี OpenBLAS แบบมัลติเธรดโดยเฉพาะ

วิธีแก้ปัญหาคือการรีเซ็ตความสัมพันธ์ของงานโดยใช้

os.system("taskset -p 0xff %d" % os.getpid())

เมื่อวางบรรทัดนี้หลังจากนำเข้าโมดูลตัวอย่างของฉันตอนนี้ทำงานบนคอร์ทั้งหมด:

ประสบการณ์ของฉันจนถึงตอนนี้ดูเหมือนว่าสิ่งนี้จะไม่ส่งผลเสียใด ๆ ต่อnumpyประสิทธิภาพการทำงานของฉันแม้ว่านี่อาจจะเป็นเฉพาะเครื่องและงานก็ตาม

ปรับปรุง:

นอกจากนี้ยังมีสองวิธีในการปิดใช้งานพฤติกรรมการรีเซ็ตความสัมพันธ์ของ CPU ของ OpenBLAS เอง ในขณะรันไทม์คุณสามารถใช้ตัวแปรสภาพแวดล้อมOPENBLAS_MAIN_FREE(หรือGOTOBLAS_MAIN_FREE) ตัวอย่างเช่น

OPENBLAS_MAIN_FREE=1 python myscript.py

หรืออีกทางหนึ่งหากคุณกำลังรวบรวม OpenBLAS จากซอร์สคุณสามารถปิดใช้งานได้อย่างถาวรในเวลาสร้างโดยแก้ไขMakefile.ruleเพื่อให้มีบรรทัด

NO_AFFINITY=1

Python 3 เปิดเผยวิธีการตั้งค่าความสัมพันธ์โดยตรง

>>> import os
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}
>>> os.sched_setaffinity(0, {1, 3})
>>> os.sched_getaffinity(0)
{1, 3}
>>> x = {i for i in range(10)}
>>> x
{0, 1, 2, 3, 4, 5, 6, 7, 8, 9}
>>> os.sched_setaffinity(0, x)
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}

สิ่งนี้ดูเหมือนจะเป็นปัญหาทั่วไปกับ Python บน Ubuntu และไม่เฉพาะเจาะจงกับjoblib:

• ทั้งมัลติโปรเซสเซอร์แผนที่และ joblib ใช้เพียง 1 cpu หลังจากอัปเกรดจาก Ubuntu 10.10 เป็น 12.04
• การประมวลผลหลายตัวของ Python ใช้เพียงคอร์เดียว
• การประมวลผลหลายขั้นตอนกระบวนการพูลถูกล็อกไว้ที่คอร์เดียว

ฉันขอแนะนำให้ทดลองกับ CPU affinity ( taskset)