ฉันจะอ่านไฟล์ข้อความขนาดใหญ่ใน Python ทีละบรรทัดโดยไม่โหลดลงในหน่วยความจำได้อย่างไร

ฉันต้องอ่านไฟล์ขนาดใหญ่ทีละบรรทัด ให้บอกว่าไฟล์มีมากกว่า 5GB และฉันต้องอ่านแต่ละบรรทัด แต่เห็นได้ชัดว่าฉันไม่ต้องการใช้readlines()เพราะจะสร้างรายการที่มีขนาดใหญ่มากในหน่วยความจำ

รหัสด้านล่างจะทำงานอย่างไรสำหรับกรณีนี้ เป็นxreadlinesตัวเองอ่านหนึ่งโดยหนึ่งในหน่วยความจำ? นิพจน์ตัวสร้างจำเป็นหรือไม่?

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?

f.next()  

นอกจากนี้ฉันต้องทำอย่างไรเพื่ออ่านสิ่งนี้ในลำดับย้อนกลับเช่นเดียวกับtailคำสั่งLinux

ฉันพบ:

http://code.google.com/p/pytailer/

และ

" python head, tail และ backward read โดยบรรทัดของไฟล์ข้อความ "

ทั้งสองทำงานได้ดีมาก!

ฉันให้คำตอบนี้เพราะ Keith ในขณะที่รวบรัดไม่ปิดไฟล์อย่างชัดเจน

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

สิ่งที่คุณต้องทำคือใช้วัตถุไฟล์เป็นตัววนซ้ำ

for line in open("log.txt"):
    do_something_with(line)

ยิ่งไปกว่านั้นกำลังใช้ตัวจัดการบริบทในเวอร์ชัน Python ล่าสุด

with open("log.txt") as fileobject:
    for line in fileobject:
        do_something_with(line)

วิธีนี้จะปิดไฟล์โดยอัตโนมัติเช่นกัน

แนวทางโรงเรียนเก่า:

fh = open(file_name, 'rt')
line = fh.readline()
while line:
    # do stuff with line
    line = fh.readline()
fh.close()

คุณควรใช้ตัววนซ้ำแทนดีกว่า ที่เกี่ยวข้อง: http://docs.python.org/library/fileinput.html

จากเอกสาร:

import fileinput
for line in fileinput.input("filename"):
    process(line)

วิธีนี้จะหลีกเลี่ยงการคัดลอกไฟล์ทั้งหมดไปยังหน่วยความจำพร้อมกัน

นี่คือสิ่งที่คุณทำถ้าคุณไม่มีบรรทัดใหม่ในไฟล์:

with open('large_text.txt') as f:
  while True:
    c = f.read(1024)
    if not c:
      break
    print(c)

โปรดลองสิ่งนี้:

with open('filename','r',buffering=100000) as f:
    for line in f:
        print line

ฉันไม่อยากจะเชื่อว่ามันอาจจะง่ายเหมือนคำตอบของ @ john-la-rooy ทำให้ดูเหมือน ดังนั้นฉันจึงสร้างcpคำสั่งใหม่โดยใช้การอ่านและเขียนบรรทัด มันเร็วบ้าคลั่ง

#!/usr/bin/env python3.6

import sys

with open(sys.argv[2], 'w') as outfile:
    with open(sys.argv[1]) as infile:
        for line in infile:
            outfile.write(line)

ลุกโชนโครงการมีวิธีมานานกว่า 6 ปี มันมี API ง่าย ๆ ที่ครอบคลุมส่วนย่อยของคุณสมบัติแพนด้า

dask.dataframeดูแล chunking ภายในสนับสนุนการดำเนินการแบบขนานจำนวนมากและช่วยให้คุณสามารถส่งออกชิ้นส่วนกลับไปที่แพนด้าได้อย่างง่ายดายสำหรับการดำเนินการในหน่วยความจำ

import dask.dataframe as dd

df = dd.read_csv('filename.csv')
df.head(10)  # return first 10 rows
df.tail(10)  # return last 10 rows

# iterate rows
for idx, row in df.iterrows():
    ...

# group by my_field and return mean
df.groupby(df.my_field).value.mean().compute()

# slice by column
df[df.my_field=='XYZ'].compute()

รหัสนี้สำหรับการโหลดไฟล์ข้อความทุกขนาดโดยไม่ทำให้เกิดปัญหาหน่วยความจำ รองรับไฟล์ขนาดกิกะไบต์

https://gist.github.com/iyvinjose/e6c1cb2821abd5f01fd1b9065cbc759d

ดาวน์โหลดไฟล์data_loading_utils.pyและนำเข้าสู่รหัสของคุณ

การใช้

import data_loading_utils.py.py
file_name = 'file_name.ext'
CHUNK_SIZE = 1000000


def process_lines(data, eof, file_name):

    # check if end of file reached
    if not eof:
         # process data, data is one single line of the file

    else:
         # end of file reached

data_loading_utils.read_lines_from_file_as_data_chunks(file_name, chunk_size=CHUNK_SIZE, callback=self.process_lines)

เมธอดprocess_linesเป็นฟังก์ชันการเรียกกลับ มันจะถูกเรียกสำหรับทุกบรรทัดที่มีข้อมูลพารามิเตอร์แสดงหนึ่งบรรทัดเดียวของไฟล์ในเวลา

คุณสามารถกำหนดค่าตัวแปรCHUNK_SIZEขึ้นอยู่กับการกำหนดค่าฮาร์ดแวร์ของเครื่อง

แล้วเรื่องนี้ล่ะ แบ่งไฟล์ของคุณเป็นชิ้น ๆ แล้วอ่านทีละบรรทัดเพราะเมื่อคุณอ่านไฟล์ระบบปฏิบัติการของคุณจะแคชบรรทัดถัดไป หากคุณกำลังอ่านไฟล์ทีละบรรทัดคุณไม่ได้ใช้ข้อมูลแคชอย่างมีประสิทธิภาพ

ให้แบ่งไฟล์ออกเป็นชิ้น ๆ แล้วโหลดทั้งก้อนลงในหน่วยความจำจากนั้นทำการประมวลผลของคุณ

def chunks(file,size=1024):
    while 1:

        startat=fh.tell()
        print startat #file's object current position from the start
        fh.seek(size,1) #offset from current postion -->1
        data=fh.readline()
        yield startat,fh.tell()-startat #doesnt store whole list in memory
        if not data:
            break
if os.path.isfile(fname):
    try:
        fh=open(fname,'rb') 
    except IOError as e: #file --> permission denied
        print "I/O error({0}): {1}".format(e.errno, e.strerror)
    except Exception as e1: #handle other exceptions such as attribute errors
        print "Unexpected error: {0}".format(e1)
    for ele in chunks(fh):
        fh.seek(ele[0])#startat
        data=fh.read(ele[1])#endat
        print data

ขอบคุณ! ฉันเพิ่งแปลงเป็นงูหลาม 3 และได้รับความผิดหวังโดยใช้ readlines (0) เพื่ออ่านไฟล์ขนาดใหญ่ วิธีนี้แก้ปัญหาได้ แต่เพื่อให้ได้แต่ละบรรทัดฉันต้องทำสองขั้นตอนเพิ่มเติม แต่ละบรรทัดนำหน้าด้วย "b '" ซึ่งฉันเดาว่ามันอยู่ในรูปแบบไบนารี การใช้ "decode (utf-8)" เปลี่ยนเป็น ascii

จากนั้นฉันต้องลบ "= \ n" ที่อยู่ตรงกลางของแต่ละบรรทัด

จากนั้นฉันก็แบ่งบรรทัดที่บรรทัดใหม่

b_data=(fh.read(ele[1]))#endat This is one chunk of ascii data in binary format
        a_data=((binascii.b2a_qp(b_data)).decode('utf-8')) #Data chunk in 'split' ascii format
        data_chunk = (a_data.replace('=\n','').strip()) #Splitting characters removed
        data_list = data_chunk.split('\n')  #List containing lines in chunk
        #print(data_list,'\n')
        #time.sleep(1)
        for j in range(len(data_list)): #iterate through data_list to get each item 
            i += 1
            line_of_data = data_list[j]
            print(line_of_data)

นี่คือรหัสที่เริ่มต้นเหนือ "ข้อมูลการพิมพ์" ในรหัสของ Arohi

ฉันแสดงให้เห็นถึงวิธีการเข้าถึงแบบสุ่มในระดับไบต์คู่ขนานที่นี่ในคำถามอื่น ๆ นี้:

รับจำนวนบรรทัดในไฟล์ข้อความโดยไม่มี readlines

คำตอบบางส่วนที่ให้ไว้นั้นดีและกระชับ ฉันชอบบางคน แต่ขึ้นอยู่กับสิ่งที่คุณต้องการทำกับข้อมูลที่อยู่ในไฟล์ ในกรณีของฉันฉันแค่ต้องการนับบรรทัดเร็วที่สุดเท่าที่เป็นไปได้ในไฟล์ข้อความขนาดใหญ่ รหัสของฉันสามารถแก้ไขได้เพื่อทำสิ่งอื่นเช่นกันเช่นรหัสใด ๆ

ทางออกที่ดีที่สุดที่ฉันพบเกี่ยวกับเรื่องนี้และฉันได้ลองกับไฟล์ขนาด 330 MB

lineno = 500
line_length = 8
with open('catfour.txt', 'r') as file:
    file.seek(lineno * (line_length + 2))
    print(file.readline(), end='')

โดยที่ line_length คือจำนวนอักขระในบรรทัดเดียว ตัวอย่างเช่น "abcd" มีความยาวบรรทัด 4

ฉันได้เพิ่มความยาวบรรทัด 2 เพื่อข้ามอักขระ '\ n' และย้ายไปที่อักขระถัดไป

สิ่งนี้อาจมีประโยชน์เมื่อคุณต้องการทำงานแบบขนานและอ่านข้อมูลเพียงชิ้นเดียว แต่รักษาความสะอาดด้วยบรรทัดใหม่

def readInChunks(fileObj, chunkSize=1024):
    while True:
        data = fileObj.read(chunkSize)
        if not data:
            break
        while data[-1:] != '\n':
            data+=fileObj.read(1)
        yield data

f=open('filename','r').read()
f1=f.split('\n')
for i in range (len(f1)):
    do_something_with(f1[i])

หวังว่านี่จะช่วยได้