DataFrame ขนาดใหญ่และถาวรในแพนด้า

ฉันกำลังสำรวจการเปลี่ยนไปใช้ python และ pandas ในฐานะผู้ใช้ SAS เป็นเวลานาน

อย่างไรก็ตามเมื่อทำการทดสอบในวันนี้ฉันรู้สึกประหลาดใจที่ python มีหน่วยความจำpandas.read_csv()ไม่เพียงพอเมื่อพยายามใช้ไฟล์ csv ขนาด 128mb มีข้อมูลตัวเลขประมาณ 200,000 แถวและ 200 คอลัมน์

ด้วย SAS ฉันสามารถนำเข้าไฟล์ csv ไปยังชุดข้อมูล SAS และมีขนาดใหญ่พอ ๆ กับฮาร์ดไดรฟ์ของฉัน

มีบางอย่างที่คล้ายคลึงกันpandasหรือไม่?

ฉันทำงานกับไฟล์ขนาดใหญ่เป็นประจำและไม่มีสิทธิ์เข้าถึงเครือข่ายคอมพิวเตอร์แบบกระจาย

โดยหลักการแล้วหน่วยความจำไม่ควรจะหมด แต่ในขณะนี้มีปัญหาหน่วยความจำread_csvในไฟล์ขนาดใหญ่ที่เกิดจากปัญหาภายในของ Python ที่ซับซ้อน (สิ่งนี้คลุมเครือ แต่เป็นที่ทราบกันมานานแล้ว: http://github.com/pydata / แพนด้า / ประเด็น / 407 )

ในขณะนี้ยังไม่มีวิธีแก้ปัญหาที่สมบูรณ์แบบ (นี่เป็นวิธีที่น่าเบื่อ: คุณสามารถถอดเสียงไฟล์ทีละแถวเป็นอาร์เรย์ NumPy ที่จัดสรรไว้ล่วงหน้าหรือไฟล์ที่แมปหน่วยความจำ - np.mmap) แต่เป็นสิ่งที่ฉันจะใช้งานได้ ในอนาคตอันใกล้นี้ อีกวิธีหนึ่งคือการอ่านไฟล์เป็นชิ้นเล็ก ๆ (ใช้iterator=True, chunksize=1000) จากนั้นเชื่อมต่อเข้าด้วยpd.concatกัน ปัญหาจะเกิดขึ้นเมื่อคุณดึงไฟล์ข้อความทั้งหมดไปไว้ในหน่วยความจำในหนึ่งเดียว

Wes ถูกต้อง! ฉันแค่พูดคุยเพื่อให้โค้ดตัวอย่างที่สมบูรณ์มากขึ้น ฉันมีปัญหาเดียวกันกับไฟล์ 129 Mb ซึ่งแก้ไขได้โดย:

import pandas as pd

tp = pd.read_csv('large_dataset.csv', iterator=True, chunksize=1000)  # gives TextFileReader, which is iterable with chunks of 1000 rows.
df = pd.concat(tp, ignore_index=True)  # df is DataFrame. If errors, do `list(tp)` instead of `tp`

นี่เป็นเธรดที่เก่ากว่า แต่ฉันแค่ต้องการทิ้งวิธีแก้ปัญหาของฉันที่นี่ ตอนแรกฉันลองใช้chunksizeพารามิเตอร์ (แม้จะมีค่าค่อนข้างน้อยเช่น 10,000) แต่ก็ไม่ได้ช่วยอะไรมาก ยังคงมีปัญหาทางเทคนิคเกี่ยวกับขนาดหน่วยความจำ (CSV ของฉันคือ ~ 7.5 Gb)

ตอนนี้ฉันเพิ่งอ่านไฟล์ CSV ในรูปแบบ for-loop และเพิ่มเข้าไปในฐานข้อมูล SQLite ทีละขั้นตอน:

import pandas as pd
import sqlite3
from pandas.io import sql
import subprocess

# In and output file paths
in_csv = '../data/my_large.csv'
out_sqlite = '../data/my.sqlite'

table_name = 'my_table' # name for the SQLite database table
chunksize = 100000 # number of lines to process at each iteration

# columns that should be read from the CSV file
columns = ['molecule_id','charge','db','drugsnow','hba','hbd','loc','nrb','smiles']

# Get number of lines in the CSV file
nlines = subprocess.check_output('wc -l %s' % in_csv, shell=True)
nlines = int(nlines.split()[0]) 

# connect to database
cnx = sqlite3.connect(out_sqlite)

# Iteratively read CSV and dump lines into the SQLite table
for i in range(0, nlines, chunksize):

    df = pd.read_csv(in_csv,  
            header=None,  # no header, define column header manually later
            nrows=chunksize, # number of rows to read at each iteration
            skiprows=i)   # skip rows that were already read

    # columns to read        
    df.columns = columns

    sql.to_sql(df, 
                name=table_name, 
                con=cnx, 
                index=False, # don't use CSV file index
                index_label='molecule_id', # use a unique column from DataFrame as index
                if_exists='append') 
cnx.close()    

ด้านล่างนี้คือขั้นตอนการทำงานของฉัน

import sqlalchemy as sa
import pandas as pd
import psycopg2

count = 0
con = sa.create_engine('postgresql://postgres:pwd@localhost:00001/r')
#con = sa.create_engine('sqlite:///XXXXX.db') SQLite
chunks = pd.read_csv('..file', chunksize=10000, encoding="ISO-8859-1",
                     sep=',', error_bad_lines=False, index_col=False, dtype='unicode')

ขึ้นอยู่กับขนาดไฟล์ของคุณคุณควรปรับขนาดให้เหมาะสมที่สุด

 for chunk in chunks:
        chunk.to_sql(name='Table', if_exists='append', con=con)
        count += 1
        print(count)

หลังจากมีข้อมูลทั้งหมดในฐานข้อมูลคุณสามารถค้นหาสิ่งที่คุณต้องการจากฐานข้อมูล

หากคุณต้องการโหลดไฟล์ csv ขนาดใหญ่ dask อาจเป็นตัวเลือกที่ดี มันเลียนแบบ api ของแพนด้าดังนั้นมันจึงค่อนข้างคล้ายกับแพนด้า

ลิงค์ไปยัง dask บน github

คุณสามารถใช้ Pytable แทนแพนด้า df ออกแบบมาสำหรับชุดข้อมูลขนาดใหญ่และรูปแบบไฟล์อยู่ใน hdf5 ดังนั้นเวลาในการประมวลผลจึงค่อนข้างเร็ว