ฉันใช้ python (Django Framework) เพื่ออ่านไฟล์ CSV ฉันดึงเพียง 2 บรรทัดออกจาก CSV นี้อย่างที่คุณเห็น สิ่งที่ฉันพยายามทำคือเก็บจำนวนแถวทั้งหมดที่ CSV ไว้ในตัวแปร

ฉันจะหาจำนวนแถวทั้งหมดได้อย่างไร

file = object.myfilePath
fileObject = csv.reader(file)
for i in range(2):
    data.append(fileObject.next()) 

ฉันเหนื่อย:

len(fileObject)
fileObject.length

คุณต้องนับจำนวนแถว:

row_count = sum(1 for row in fileObject)  # fileObject is your csv.reader

การใช้sum()กับนิพจน์ของเครื่องกำเนิดไฟฟ้าทำให้ตัวนับมีประสิทธิภาพหลีกเลี่ยงการเก็บไฟล์ทั้งหมดไว้ในหน่วยความจำ

หากคุณอ่าน 2 แถวที่จะเริ่มต้นด้วยแล้วคุณต้องเพิ่ม 2 แถวนั้นในผลรวมของคุณ จะไม่นับแถวที่อ่านไปแล้ว

2018-10-29 แก้ไข

ขอบคุณสำหรับคอมเม้น

ฉันทดสอบโค้ดหลายประเภทเพื่อรับจำนวนบรรทัดในไฟล์ csv ในแง่ของความเร็ว วิธีการที่ดีที่สุดอยู่ด้านล่าง

with open(filename) as f:
    sum(1 for line in f)

นี่คือรหัสที่ทดสอบ

import timeit
import csv
import pandas as pd

filename = './sample_submission.csv'

def talktime(filename, funcname, func):
    print(f"# {funcname}")
    t = timeit.timeit(f'{funcname}("{filename}")', setup=f'from __main__ import {funcname}', number = 100) / 100
    print('Elapsed time : ', t)
    print('n = ', func(filename))
    print('\n')

def sum1forline(filename):
    with open(filename) as f:
        return sum(1 for line in f)
talktime(filename, 'sum1forline', sum1forline)

def lenopenreadlines(filename):
    with open(filename) as f:
        return len(f.readlines())
talktime(filename, 'lenopenreadlines', lenopenreadlines)

def lenpd(filename):
    return len(pd.read_csv(filename)) + 1
talktime(filename, 'lenpd', lenpd)

def csvreaderfor(filename):
    cnt = 0
    with open(filename) as f:
        cr = csv.reader(f)
        for row in cr:
            cnt += 1
    return cnt
talktime(filename, 'csvreaderfor', csvreaderfor)

def openenum(filename):
    cnt = 0
    with open(filename) as f:
        for i, line in enumerate(f,1):
            cnt += 1
    return cnt
talktime(filename, 'openenum', openenum)

ผลลัพธ์อยู่ด้านล่าง

# sum1forline
Elapsed time :  0.6327946722068599
n =  2528244


# lenopenreadlines
Elapsed time :  0.655304473598555
n =  2528244


# lenpd
Elapsed time :  0.7561274056295324
n =  2528244


# csvreaderfor
Elapsed time :  1.5571560935772661
n =  2528244


# openenum
Elapsed time :  0.773000013928679
n =  2528244

สรุปsum(1 for line in f)ได้เร็วที่สุด len(f.readlines())แต่อาจไม่ได้มีความแตกต่างอย่างมีนัยสำคัญจาก

sample_submission.csv คือ 30.2MB และมีอักขระ 31 ล้านตัว

ในการทำคุณต้องมีโค้ดเล็กน้อยเช่นตัวอย่างของฉันที่นี่:

file = open("Task1.csv")
numline = len(file.readlines())
print (numline)

ฉันหวังว่านี่จะช่วยทุกคนได้

คำแนะนำข้างต้นหลายข้อจะนับจำนวน LINES ในไฟล์ csv แต่ไฟล์ CSV บางไฟล์จะมีสตริงที่ยกมาซึ่งมีอักขระขึ้นบรรทัดใหม่ โดยทั่วไปไฟล์ MS CSV จะคั่นระเบียนด้วย \ r \ n แต่ใช้ \ n เพียงอย่างเดียวภายในสตริงที่ยกมา

สำหรับไฟล์ลักษณะนี้การนับบรรทัดข้อความ (เนื่องจากคั่นด้วยขึ้นบรรทัดใหม่) ในไฟล์จะให้ผลลัพธ์ที่ใหญ่เกินไป ดังนั้นสำหรับการนับที่แม่นยำคุณต้องใช้ csv.reader เพื่ออ่านบันทึก

ก่อนอื่นคุณต้องเปิดไฟล์โดยเปิด

input_file = open("nameOfFile.csv","r+")

จากนั้นใช้ csv.reader เพื่อเปิด csv

reader_file = csv.reader(input_file)

ในที่สุดคุณสามารถใช้จำนวนแถวด้วยคำสั่ง 'len'

value = len(list(reader_file))

รหัสรวมคือ:

input_file = open("nameOfFile.csv","r+")
reader_file = csv.reader(input_file)
value = len(list(reader_file))

โปรดจำไว้ว่าหากคุณต้องการใช้ไฟล์ csv ซ้ำคุณต้องสร้าง input_file.fseek (0) เนื่องจากเมื่อคุณใช้รายการสำหรับ reader_file ไฟล์จะอ่านไฟล์ทั้งหมดและตัวชี้ในไฟล์จะเปลี่ยนตำแหน่ง

row_count = sum(1 for line in open(filename)) ทำงานให้ฉัน

หมายเหตุ: sum(1 for line in csv.reader(filename))ดูเหมือนจะคำนวณความยาวของบรรทัดแรก

numline = len(file_read.readlines())

เมื่อคุณสร้างอินสแตนซ์อ็อบเจ็กต์ csv.reader และคุณ iter ทั้งไฟล์คุณจะสามารถเข้าถึงตัวแปรอินสแตนซ์ที่เรียกว่า line_num โดยให้จำนวนแถว:

import csv
with open('csv_path_file') as f:
    csv_reader = csv.reader(f)
    for row in csv_reader:
        pass
    print(csv_reader.line_num)

import csv
count = 0
with open('filename.csv', 'rb') as count_file:
    csv_reader = csv.reader(count_file)
    for row in csv_reader:
        count += 1

print count

ใช้ "รายการ" เพื่อให้พอดีกับวัตถุที่ใช้งานได้มากขึ้น

จากนั้นคุณสามารถนับข้ามกลายพันธุ์ตามความปรารถนาของหัวใจ:

list(fileObject) #list values

len(list(fileObject)) # get length of file lines

list(fileObject)[10:] # skip first 10 lines

สิ่งนี้ใช้ได้กับ csv และไฟล์ทั้งหมดที่มีสตริงในระบบปฏิบัติการที่ใช้ Unix:

import os

numOfLines = int(os.popen('wc -l < file.csv').read()[:-1])

ในกรณีที่ไฟล์ csv มีแถวเขตข้อมูลคุณสามารถหักออกจากnumOfLinesด้านบน:

numOfLines = numOfLines - 1

คุณยังสามารถใช้คลาสสิกสำหรับการวนซ้ำ:

import pandas as pd
df = pd.read_csv('your_file.csv')

count = 0
for i in df['a_column']:
    count = count + 1

print(count)

อาจต้องการลองทำสิ่งง่ายๆดังต่อไปนี้ในบรรทัดคำสั่ง:

sed -n '$=' filename หรือ wc -l filename

ฉันคิดว่าเราสามารถปรับปรุงคำตอบที่ดีที่สุดได้เล็กน้อยฉันใช้:

len = sum(1 for _ in reader)

ยิ่งไปกว่านั้นเราไม่ควรลืมรหัส pythonic ไม่ได้มีประสิทธิภาพดีที่สุดในโครงการเสมอไป ตัวอย่างเช่นหากเราสามารถดำเนินการได้มากขึ้นในเวลาเดียวกันในชุดข้อมูลเดียวกันจะเป็นการดีกว่าที่จะทำทั้งหมดใน bucle เดียวกันแทนที่จะสร้าง pythonic bucles สองตัวขึ้นไป

import pandas as pd
data = pd.read_csv('data.csv') 
totalInstances=len(data)

ลอง

data = pd.read_csv("data.csv")
data.shape

และในผลลัพธ์คุณจะเห็นบางอย่างเช่น (aa, bb) โดยที่ aa คือ # ของแถว