6
DataFrame ขนาดใหญ่และถาวรในแพนด้า
ฉันกำลังสำรวจการเปลี่ยนไปใช้ python และ pandas ในฐานะผู้ใช้ SAS เป็นเวลานาน อย่างไรก็ตามเมื่อทำการทดสอบในวันนี้ฉันรู้สึกประหลาดใจที่ python มีหน่วยความจำpandas.read_csv()ไม่เพียงพอเมื่อพยายามใช้ไฟล์ csv ขนาด 128mb มีข้อมูลตัวเลขประมาณ 200,000 แถวและ 200 คอลัมน์ ด้วย SAS ฉันสามารถนำเข้าไฟล์ csv ไปยังชุดข้อมูล SAS และมีขนาดใหญ่พอ ๆ กับฮาร์ดไดรฟ์ของฉัน มีบางอย่างที่คล้ายคลึงกันpandasหรือไม่? ฉันทำงานกับไฟล์ขนาดใหญ่เป็นประจำและไม่มีสิทธิ์เข้าถึงเครือข่ายคอมพิวเตอร์แบบกระจาย