NumPyเป็นไลบรารีที่มีประโยชน์อย่างมากและจากการใช้งานฉันพบว่ามันสามารถจัดการเมทริกซ์ที่มีขนาดค่อนข้างใหญ่ (10,000 x 10,000) ได้อย่างง่ายดาย แต่เริ่มที่จะต่อสู้กับสิ่งที่ใหญ่กว่ามาก (พยายามสร้างเมทริกซ์ 50000 x 50000 ล้มเหลว) เห็นได้ชัดว่านี่เป็นเพราะความต้องการหน่วยความจำขนาดใหญ่
มีวิธีสร้างเมทริกซ์ขนาดใหญ่ใน NumPy (พูด 1 ล้านคูณ 1 ล้าน) ด้วยวิธีใดวิธีหนึ่ง (โดยไม่ต้องมี RAM หลายเทอราไบต์)
คำตอบ:
PyTables และ NumPy เป็นวิธีที่จะไป
PyTables จะจัดเก็บข้อมูลบนดิสก์ในรูปแบบ HDF พร้อมการบีบอัดเสริม ชุดข้อมูลของฉันมักจะได้รับการบีบอัด 10x ซึ่งมีประโยชน์เมื่อจัดการกับแถวหลายสิบหรือหลายร้อยล้านแถว มันเร็วมากด้วย แล็ปท็อปอายุ 5 ปีของฉันสามารถประมวลผลข้อมูลที่ทำ GROUP เหมือน SQL โดยการรวมที่ 1,000,000 แถว / วินาที ไม่เลวสำหรับโซลูชันที่ใช้ Python!
การเข้าถึงข้อมูลเป็น NumPy recarray อีกครั้งทำได้ง่ายเพียง:
data = table[row_from:row_to]
ไลบรารี HDF ดูแลการอ่านในกลุ่มข้อมูลที่เกี่ยวข้องและแปลงเป็น NumPy
numpy.arrays หมายถึงการมีชีวิตอยู่ในความทรงจำ หากคุณต้องการทำงานกับเมทริกซ์ที่มีขนาดใหญ่กว่า RAM ของคุณคุณต้องแก้ไขปัญหานั้น มีอย่างน้อยสองวิธีที่คุณสามารถปฏิบัติตาม:
scipy.sparse.csc_matrixเช่นคุณควรจะสามารถใช้ numpy.memmap เพื่อแมปหน่วยความจำไฟล์บนดิสก์ได้ ด้วย python และเครื่อง 64 บิตรุ่นใหม่คุณควรมีพื้นที่แอดเดรสที่จำเป็นโดยไม่ต้องโหลดทุกอย่างลงในหน่วยความจำ ระบบปฏิบัติการควรจัดการเฉพาะบางส่วนของไฟล์ในหน่วยความจำ
ในการจัดการฝึกอบรมเบาบางคุณต้องการscipyแพคเกจที่ตั้งอยู่ด้านบนของnumpy- ดูที่นี่สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับตัวเลือกเบาบางเมทริกซ์ที่scipyจะช่วยให้คุณ
ตรวจสอบให้แน่ใจว่าคุณใช้ระบบปฏิบัติการ 64 บิตและ Python / NumPy เวอร์ชัน 64 บิต โปรดทราบว่าในสถาปัตยกรรม 32 บิตคุณสามารถระบุหน่วยความจำได้โดยทั่วไป 3GB (โดยที่ประมาณ 1GB หายไปจาก I / O ที่แมปหน่วยความจำเป็นต้น)
ด้วย 64 บิตและอาร์เรย์สิ่งต่าง ๆ ที่มีขนาดใหญ่กว่า RAM ที่มีอยู่คุณสามารถใช้หน่วยความจำเสมือนได้แม้ว่าสิ่งต่างๆจะช้าลงหากคุณต้องสลับ นอกจากนี้แผนที่หน่วยความจำ (ดู numpy.memmap) เป็นวิธีการทำงานกับไฟล์ขนาดใหญ่บนดิสก์โดยไม่ต้องโหลดลงในหน่วยความจำ แต่อีกครั้งคุณต้องมีพื้นที่ที่อยู่ 64 บิตเพื่อใช้งานได้เพื่อให้สามารถใช้งานได้มาก PyTables จะทำสิ่งนี้ให้คุณมากที่สุดเช่นกัน
เป็นอัลฟ่าเล็กน้อย แต่ดูเหมือนว่าhttp://blaze.pydata.org/จะแก้ปัญหานี้ได้
บางครั้งวิธีแก้ปัญหาง่ายๆวิธีหนึ่งคือการใช้ประเภทที่กำหนดเองสำหรับรายการเมทริกซ์ของคุณ ตามช่วงของตัวเลขที่คุณต้องการคุณสามารถใช้คู่มือdtypeและมีขนาดเล็กลงเป็นพิเศษสำหรับสินค้าของคุณ เนื่องจาก Numpy พิจารณาประเภทที่ใหญ่ที่สุดสำหรับวัตถุโดยค่าเริ่มต้นจึงอาจเป็นแนวคิดที่มีประโยชน์ในหลาย ๆ กรณี นี่คือตัวอย่าง:
In [70]: a = np.arange(5)
In [71]: a[0].dtype
Out[71]: dtype('int64')
In [72]: a.nbytes
Out[72]: 40
In [73]: a = np.arange(0, 2, 0.5)
In [74]: a[0].dtype
Out[74]: dtype('float64')
In [75]: a.nbytes
Out[75]: 32
และด้วยประเภทที่กำหนดเอง:
In [80]: a = np.arange(5, dtype=np.int8)
In [81]: a.nbytes
Out[81]: 5
In [76]: a = np.arange(0, 2, 0.5, dtype=np.float16)
In [78]: a.nbytes
Out[78]: 8
คุณกำลังถามวิธีจัดการเมทริกซ์องค์ประกอบ 2,500,000,000 โดยไม่ใช้แรมเทราไบต์หรือไม่?
วิธีจัดการ 2 พันล้านรายการโดยไม่มี RAM 8 พันล้านไบต์คือการไม่เก็บเมทริกซ์ไว้ในหน่วยความจำ
นั่นหมายถึงอัลกอริทึมที่ซับซ้อนกว่ามากในการดึงข้อมูลจากระบบไฟล์เป็นชิ้น ๆ
(row, column, value)สำหรับรายการเหล่านั้นที่มีอยู่ได้
โดยปกติเมื่อเราจัดการกับเมทริกซ์ขนาดใหญ่เราใช้พวกเขาเป็นเบาบางเมทริกซ์
ฉันไม่รู้ว่า numpy รองรับเมทริกซ์แบบเบาบางหรือไม่ แต่ฉันพบสิ่งนี้แทน
เท่าที่ฉันรู้เกี่ยวกับ numpy ไม่ แต่ฉันคิดผิด
ฉันสามารถเสนอวิธีแก้ปัญหาทางเลือกนี้ให้คุณ: เขียนเมทริกซ์บนดิสก์และเข้าถึงเป็นกลุ่ม ฉันขอแนะนำให้คุณใช้รูปแบบไฟล์ HDF5 หากคุณต้องการอย่างโปร่งใสคุณสามารถนำอินเทอร์เฟซ ndarray มาใช้ใหม่เพื่อแบ่งหน้าเมทริกซ์ที่จัดเก็บบนดิสก์ของคุณลงในหน่วยความจำ โปรดใช้ความระมัดระวังหากคุณแก้ไขข้อมูลเพื่อซิงค์กลับบนดิสก์