ฉันต้องการอ่านไฟล์ csv หลายไฟล์จากไดเร็กตอรี่ไปเป็นนุ่นและเชื่อมต่อกันเป็น DataFrame ขนาดใหญ่ ฉันไม่สามารถเข้าใจมันได้ นี่คือสิ่งที่ฉันมีจนถึงตอนนี้:

import glob
import pandas as pd

# get data file names
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))

# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

ฉันเดาว่าฉันต้องการความช่วยเหลือในการวนรอบ ???

หากคุณมีคอลัมน์เดียวกันในcsvไฟล์ทั้งหมดของคุณคุณสามารถลองใช้รหัสด้านล่าง ฉันได้เพิ่มheader=0เพื่อให้หลังจากที่อ่านcsvแถวแรกสามารถกำหนดเป็นชื่อคอลัมน์ได้

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

ทางเลือกอื่นสำหรับคำตอบของ darindaCoder :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

ไลบรารี Dask สามารถอ่านไฟล์ข้อมูลจากไฟล์หลายไฟล์:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(ที่มา: http://dask.pydata.org/en/latest/examples/dataframe-csv.html )

Dask dataframes ใช้ชุดย่อยของ Pandas dataframe API หากข้อมูลทั้งหมดมีขนาดพอดีกับหน่วยความจำคุณสามารถโทรdf.compute()เพื่อแปลงดาต้าเฟรมไปเป็นดาต้าดาต้าแพนด้า

คำตอบเกือบทั้งหมดที่นี่มีความซับซ้อนโดยไม่จำเป็น (การจับคู่รูปแบบกลม) หรือพึ่งพาไลบรารีบุคคลที่สามเพิ่มเติม คุณสามารถทำได้ 2 บรรทัดโดยใช้ทุกอย่างใน Pandas และ python (ทุกเวอร์ชั่น) มีอยู่แล้วภายใน

สำหรับไฟล์บางไฟล์ - 1 ไลเนอร์:

df = pd.concat(map(pd.read_csv, ['data/d1.csv', 'data/d2.csv','data/d3.csv']))

สำหรับไฟล์จำนวนมาก:

from os import listdir

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

บรรทัดแพนด้านี้ซึ่งตั้งค่า df ใช้ 3 สิ่ง:

1. แผนที่ Python (ฟังก์ชั่น iterable)ส่งไปยังฟังก์ชั่น (the pd.read_csv() ) the iterable (รายการของเรา) ซึ่งเป็นองค์ประกอบ csv ทุกตัวใน filepaths
2. read_csvของ Panda ()อ่านในไฟล์ CSV แต่ละไฟล์ตามปกติ
3. concatของ Panda ()นำสิ่งเหล่านี้มารวมกันภายใต้ตัวแปร df เดียว

แก้ไข: ฉันไปที่https://stackoverflow.com/a/21232849/186078 https://stackoverflow.com/a/21232849/186078อย่างไรก็ตามในช่วงปลายฉันพบว่าเร็วกว่าที่จะทำการจัดการใด ๆ โดยใช้ numpy แล้วกำหนดหนึ่งครั้งให้กับ dataframe แทนที่จะจัดการกับ dataframe ด้วยตัวเองซ้ำแล้วซ้ำอีกและดูเหมือนว่าจะทำงานในโซลูชันนี้เช่นกัน

ฉันต้องการให้ทุกคนกดปุ่มหน้านี้เพื่อพิจารณาวิธีการนี้ แต่ไม่ต้องการแนบโค้ดขนาดใหญ่นี้เป็นความคิดเห็นและทำให้อ่านไม่ได้

คุณสามารถใช้ประโยชน์จาก numpy เพื่อเพิ่มความเร็วในการต่อข้อมูล dataframe

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

สถิติเวลา:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

หากคุณต้องการค้นหาแบบเรียกซ้ำ ( Python 3.5 ขึ้นไป ) คุณสามารถทำสิ่งต่อไปนี้:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

โปรดทราบว่าสามบรรทัดสุดท้ายสามารถแสดงในบรรทัดเดียว :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

คุณสามารถค้นหาเอกสารของที่นี่** นอกจากนี้ฉันใช้iglobแทนglobเพราะมันส่งกลับตัววนซ้ำแทนรายการ

แก้ไข: ฟังก์ชันเรียกซ้ำแบบหลายแพลตฟอร์ม:

คุณสามารถใส่ฟังก์ชันข้างต้นลงในฟังก์ชั่นหลายแพลตฟอร์ม (Linux, Windows, Mac) ดังนั้นคุณสามารถทำได้:

df = read_df_rec('C:\user\your\path', *.csv)

นี่คือฟังก์ชั่น:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

ง่ายและรวดเร็ว

นำเข้าสองรายการขึ้นไป csvรายการโดยไม่ต้องสร้างรายชื่อ

import glob

df = pd.concat(map(pd.read_csv, glob.glob('data/*.csv')))

ซับหนึ่งใช้mapแต่ถ้าคุณต้องการระบุ args เพิ่มเติมคุณสามารถทำได้:

import pandas as pd
import glob
import functools

df = pd.concat(map(functools.partial(pd.read_csv, sep='|', compression=None), 
                    glob.glob("data/*.csv")))

หมายเหตุ: mapด้วยตัวของมันเองไม่อนุญาตให้คุณใส่เนื้อหาเพิ่มเติม

หากมีการบีบอัดไฟล์ csv หลายไฟล์คุณอาจใช้ zipfile เพื่ออ่านทั้งหมดและเชื่อมต่อกันดังต่อไปนี้:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

อีกหนึ่งซับในที่มีรายการความเข้าใจที่อนุญาตให้ใช้อาร์กิวเมนต์กับ read_csv

df = pd.concat([pd.read_csv(f'dir/{f}') for f in os.listdir('dir') if f.endswith('.csv')])

ตามคำตอบที่ดีของ @ Sid

ก่อนทำการต่อข้อมูลคุณสามารถโหลดไฟล์ csv ลงในพจนานุกรมระดับกลางซึ่งให้การเข้าถึงชุดข้อมูลแต่ละชุดตามชื่อไฟล์ (ในรูปแบบdict_of_df['filename.csv']) พจนานุกรมดังกล่าวสามารถช่วยคุณระบุปัญหาเกี่ยวกับรูปแบบข้อมูลที่ต่างกันได้เมื่อชื่อคอลัมน์ไม่ตรงกัน

นำเข้าโมดูลและค้นหาพา ธ ไฟล์:

import os
import glob
import pandas
from collections import OrderedDict
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

หมายเหตุ: OrderedDictไม่จำเป็น แต่จะเก็บลำดับของไฟล์ที่อาจเป็นประโยชน์สำหรับการวิเคราะห์

โหลดไฟล์ csv ลงในพจนานุกรม จากนั้นต่อกัน:

dict_of_df = OrderedDict((f, pandas.read_csv(f)) for f in filenames)
pandas.concat(dict_of_df, sort=True)

คีย์คือชื่อไฟล์fและค่าต่าง ๆ คือเนื้อหาเฟรมข้อมูลของไฟล์ csv แทนที่จะใช้fเป็นคีย์พจนานุกรมคุณสามารถใช้os.path.basename(f)หรือวิธีos.pathอื่น ๆเพื่อลดขนาดของคีย์ในพจนานุกรมให้เหลือเพียงส่วนเล็ก ๆ ที่เกี่ยวข้อง

ทางเลือกที่ใช้pathlibห้องสมุด (มักจะชอบมากกว่าos.path )

วิธีนี้หลีกเลี่ยงการใช้แพนด้าซ้ำ ๆconcat()/apped() /

จากเอกสารของนุ่น:
เป็นที่น่าสังเกตว่า concat () (และต่อท้าย ()) สร้างสำเนาของข้อมูลอย่างสมบูรณ์และการใช้ฟังก์ชันนี้ซ้ำอย่างต่อเนื่องสามารถสร้างประสิทธิภาพที่สำคัญ หากคุณต้องการใช้การดำเนินการกับชุดข้อมูลหลายชุดให้ใช้รายการความเข้าใจ

import pandas as pd
from pathlib import Path

dir = Path("../relevant_directory")

df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)

นี่คือวิธีที่คุณสามารถใช้ Colab บน Google Drive

import pandas as pd
import glob

path = r'/content/drive/My Drive/data/actual/comments_only' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
file_path_list = glob.glob(path + "/*.csv")

file_iter = iter(file_path_list)

list_df_csv = []
list_df_csv.append(pd.read_csv(next(file_iter)))

for file in file_iter:
    lsit_df_csv.append(pd.read_csv(file, header=0))
df = pd.concat(lsit_df_csv, ignore_index=True)