pandas read_csv และกรองคอลัมน์ด้วย usecols

ฉันมีไฟล์ csv ที่เข้ามาไม่ถูกต้องpandas.read_csvเมื่อฉันกรองคอลัมน์ด้วยusecolsและใช้ดัชนีหลายรายการ

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

ฉันคาดว่า df1 และ df2 ควรจะเหมือนกันยกเว้นคอลัมน์ดัมมี่ที่หายไป แต่คอลัมน์มีป้ายกำกับไม่ถูกต้อง นอกจากนี้วันที่จะถูกแยกวิเคราะห์เป็นวันที่

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

การใช้หมายเลขคอลัมน์แทนชื่อทำให้ฉันมีปัญหาเหมือนกัน ฉันสามารถแก้ปัญหาได้โดยการวางคอลัมน์จำลองหลังขั้นตอน read_csv แต่ฉันกำลังพยายามทำความเข้าใจว่าเกิดอะไรขึ้น ฉันใช้แพนด้า 0.10.1

แก้ไข: แก้ไขการใช้งานส่วนหัวที่ไม่ถูกต้อง

คำตอบโดย @chip ขาดข้อโต้แย้งของคำหลักสองข้อโดยสิ้นเชิง

• ชื่อจำเป็นต่อเมื่อไม่มีส่วนหัวและคุณต้องการระบุอาร์กิวเมนต์อื่นโดยใช้ชื่อคอลัมน์แทนที่จะเป็นดัชนีจำนวนเต็ม
• usecolsควรจัดเตรียมตัวกรองก่อนที่จะอ่าน DataFrame ทั้งหมดลงในหน่วยความจำ หากใช้อย่างถูกต้องไม่ควรมีความจำเป็นในการลบคอลัมน์หลังจากอ่าน

วิธีนี้แก้ไขความแปลกประหลาดเหล่านั้น:

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

ซึ่งทำให้เรา:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

รหัสนี้บรรลุสิ่งที่คุณต้องการ - ยังเป็นรถที่แปลกและแน่นอน:

ฉันสังเกตว่ามันใช้งานได้เมื่อ:

ก) คุณระบุindex_colrel. ตามจำนวนคอลัมน์ที่คุณใช้จริงๆดังนั้นสามคอลัมน์ในตัวอย่างนี้ไม่ใช่สี่คอลัมน์ (คุณวางdummyและเริ่มนับตั้งแต่นั้นเป็นต้นไป)

b) เหมือนกันสำหรับ parse_dates

c) ไม่เป็นเช่นusecolsนั้น) ด้วยเหตุผลที่ชัดเจน

d) ที่นี่ฉันปรับเปลี่ยนnamesเพื่อสะท้อนพฤติกรรมนี้

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

ซึ่งพิมพ์

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

หากไฟล์ csv ของคุณมีข้อมูลเพิ่มเติมคอลัมน์สามารถลบออกจาก DataFrame ได้หลังจากนำเข้า

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

ซึ่งทำให้เรา:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

คุณต้องเพิ่มindex_col=Falseพารามิเตอร์

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     index_col=["date", "loc"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1

นำเข้า csv ก่อนและใช้ csv.DictReader ง่ายต่อการประมวลผล ...