วิธีขี้เกียจสำหรับอ่านไฟล์ขนาดใหญ่ใน Python?

ฉันมีไฟล์ขนาดใหญ่มาก 4GB และเมื่อฉันพยายามอ่านมันคอมพิวเตอร์ของฉันค้าง ดังนั้นฉันต้องการที่จะอ่านทีละชิ้นและหลังจากการประมวลผลแต่ละชิ้นเก็บชิ้นส่วนที่ดำเนินการเป็นไฟล์อื่นและอ่านชิ้นต่อไป

มีวิธีการกับyieldชิ้นส่วนเหล่านี้หรือไม่?

ฉันชอบที่จะมีวิธีการขี้เกียจ

หากต้องการเขียนฟังก์ชันขี้เกียจเพียงใช้yield:

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


with open('really_big_file.dat') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

ตัวเลือกอื่นจะใช้iterและฟังก์ชั่นผู้ช่วย:

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

หากไฟล์เป็นแบบไลน์อ็อบเจ็กต์ไฟล์จะเป็นตัวสร้างเส้นขี้เกียจอยู่แล้ว:

for line in open('really_big_file.dat'):
    process_data(line)

หากคอมพิวเตอร์ของคุณระบบปฏิบัติการและ python เป็น 64- บิตคุณสามารถใช้โมดูล mmapเพื่อแมปเนื้อหาของไฟล์ในหน่วยความจำและเข้าถึงด้วยดัชนีและชิ้นส่วน นี่คือตัวอย่างจากเอกสาร:

import mmap
with open("hello.txt", "r+") as f:
    # memory-map the file, size 0 means whole file
    map = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print map.readline()  # prints "Hello Python!"
    # read content via slice notation
    print map[:5]  # prints "Hello"
    # update content using slice notation;
    # note that new content must have same size
    map[6:] = " world!\n"
    # ... and read again using standard file methods
    map.seek(0)
    print map.readline()  # prints "Hello  world!"
    # close the map
    map.close()

หากคอมพิวเตอร์ของคุณระบบปฏิบัติการหรือ python เป็นแบบ 32 บิตไฟล์ขนาดใหญ่ mmap-ing สามารถสำรองพื้นที่ส่วนใหญ่ของพื้นที่ที่อยู่ของคุณและอดอาหารโปรแกรมหน่วยความจำของคุณ

file.readlines() ใช้อาร์กิวเมนต์ที่เป็นตัวเลือกขนาดซึ่งประมาณจำนวนบรรทัดที่อ่านในบรรทัดที่ส่งคืน

bigfile = open('bigfilename','r')
tmp_lines = bigfile.readlines(BUF_SIZE)
while tmp_lines:
    process([line for line in tmp_lines])
    tmp_lines = bigfile.readlines(BUF_SIZE)

มีคำตอบที่ดีอยู่แล้วจำนวนมาก แต่หากไฟล์ทั้งหมดของคุณอยู่ในบรรทัดเดียวและคุณยังต้องการประมวลผล "แถว" (ตรงข้ามกับบล็อกขนาดคงที่) คำตอบเหล่านี้จะไม่ช่วยคุณ

99% ของเวลาเป็นไปได้ที่จะประมวลผลไฟล์แบบทีละบรรทัด จากนั้นตามคำแนะนำในคำตอบนี้คุณสามารถใช้วัตถุไฟล์เป็นเครื่องมือสร้างสันหลังยาว:

with open('big.csv') as f:
    for line in f:
        process(line)

แต่ผมเคยวิ่งเข้ามากใหญ่มาก (เกือบ) ไฟล์บรรทัดเดียวที่คั่นแถวในความเป็นจริงไม่ได้แต่'\n''|'

• การอ่านทีละบรรทัดไม่ใช่ตัวเลือก แต่ฉันยังต้องดำเนินการทีละบรรทัด
• การแปลง'|'ไป'\n'ก่อนการประมวลผลนั้นไม่เป็นไปตามคำถามเช่นกันเนื่องจากบางฟิลด์ของ csv นี้มีอยู่'\n'(อินพุตผู้ใช้แบบข้อความอิสระ)
• การใช้ห้องสมุด CSV ก็ยังตัดออกไปเพราะความจริงที่ว่าอย่างน้อยในรุ่นแรกของ lib ที่มันเป็น hardcoded อ่านบรรทัดการป้อนข้อมูลโดยสาย

สำหรับสถานการณ์ประเภทนี้ฉันได้สร้างตัวอย่างต่อไปนี้:

def rows(f, chunksize=1024, sep='|'):
    """
    Read a file where the row separator is '|' lazily.

    Usage:

    >>> with open('big.csv') as f:
    >>>     for r in rows(f):
    >>>         process(row)
    """
    curr_row = ''
    while True:
        chunk = f.read(chunksize)
        if chunk == '': # End of file
            yield curr_row
            break
        while True:
            i = chunk.find(sep)
            if i == -1:
                break
            yield curr_row + chunk[:i]
            curr_row = ''
            chunk = chunk[i+1:]
        curr_row += chunk

ฉันสามารถใช้มันได้สำเร็จเพื่อแก้ปัญหาของฉัน มันได้รับการทดสอบอย่างกว้างขวางด้วยขนาดก้อนต่างๆ

ชุดทดสอบสำหรับผู้ที่ต้องการโน้มน้าวใจตัวเอง

test_file = 'test_file'

def cleanup(func):
    def wrapper(*args, **kwargs):
        func(*args, **kwargs)
        os.unlink(test_file)
    return wrapper

@cleanup
def test_empty(chunksize=1024):
    with open(test_file, 'w') as f:
        f.write('')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1

@cleanup
def test_1_char_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        f.write('|')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

@cleanup
def test_1_char(chunksize=1024):
    with open(test_file, 'w') as f:
        f.write('a')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1

@cleanup
def test_1025_chars_1_row(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1025):
            f.write('a')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1

@cleanup
def test_1024_chars_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1023):
            f.write('a')
        f.write('|')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

@cleanup
def test_1025_chars_1026_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1025):
            f.write('|')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1026

@cleanup
def test_2048_chars_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1022):
            f.write('a')
        f.write('|')
        f.write('a')
        # -- end of 1st chunk --
        for i in range(1024):
            f.write('a')
        # -- end of 2nd chunk
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

@cleanup
def test_2049_chars_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1022):
            f.write('a')
        f.write('|')
        f.write('a')
        # -- end of 1st chunk --
        for i in range(1024):
            f.write('a')
        # -- end of 2nd chunk
        f.write('a')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

if __name__ == '__main__':
    for chunksize in [1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024]:
        test_empty(chunksize)
        test_1_char_2_rows(chunksize)
        test_1_char(chunksize)
        test_1025_chars_1_row(chunksize)
        test_1024_chars_2_rows(chunksize)
        test_1025_chars_1026_rows(chunksize)
        test_2048_chars_2_rows(chunksize)
        test_2049_chars_2_rows(chunksize)

f = ... # file-like object, i.e. supporting read(size) function and 
        # returning empty string '' when there is nothing to read

def chunked(file, chunk_size):
    return iter(lambda: file.read(chunk_size), '')

for data in chunked(f, 65536):
    # process the data

อัปเดต: วิธีการอธิบายที่ดีที่สุดในhttps://stackoverflow.com/a/4566523/38592

อ้างถึงเอกสารทางการของ python https://docs.python.org/zh-cn/3/library/functions.html?#iter

บางทีวิธีนี้อาจจะเป็น pythonic มากกว่านี้:

from functools import partial

"""A file object returned by open() is a iterator with
read method which could specify current read's block size"""
with open('mydata.db', 'r') as f_in:

    part_read = partial(f_in.read, 1024*1024)
    iterator = iter(part_read, b'')

    for index, block in enumerate(iterator, start=1):
        block = process_block(block)    # process block data
        with open(f'{index}.txt', 'w') as f_out:
            f_out.write(block)

ฉันคิดว่าเราสามารถเขียนดังนี้:

def read_file(path, block_size=1024): 
    with open(path, 'rb') as f: 
        while True: 
            piece = f.read(block_size) 
            if piece: 
                yield piece 
            else: 
                return

for piece in read_file(path):
    process_piece(piece)

ฉันไม่ได้รับอนุญาตให้แสดงความคิดเห็นเนื่องจากชื่อเสียงที่ต่ำของฉัน แต่โซลูชัน SilentGhosts น่าจะง่ายกว่ามากกับ file.readlines ([sizehint])

วิธีการไฟล์หลาม

แก้ไข: SilentGhost ถูกต้อง แต่ควรจะดีกว่า:

s = "" 
for i in xrange(100): 
   s += file.next()

ฉันอยู่ในสถานการณ์ที่ค่อนข้างคล้ายกัน ไม่ชัดเจนว่าคุณรู้ขนาดก้อนเป็นไบต์หรือไม่ ฉันมักจะทำไม่ได้ แต่ทราบจำนวนของบันทึก (บรรทัด) ที่จำเป็น:

def get_line():
     with open('4gb_file') as file:
         for i in file:
             yield i

lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]

อัปเดต : ขอบคุณ nosklo นี่คือสิ่งที่ฉันหมายถึง มันเกือบจะทำงานได้ยกเว้นว่ามันจะเสียบรรทัด 'ระหว่าง' ชิ้น

chunk = [next(gen) for i in range(lines_required)]

เคล็ดลับไม่มีการสูญเสียบรรทัดใด ๆ แต่ก็ดูไม่ดีมาก

หากต้องการประมวลผลทีละบรรทัดนี่เป็นโซลูชันที่หรูหรา:

  def stream_lines(file_name):
    file = open(file_name)
    while True:
      line = file.readline()
      if not line:
        file.close()
        break
      yield line

ตราบใดที่ไม่มีบรรทัดว่าง

คุณสามารถใช้รหัสต่อไปนี้

file_obj = open('big_file') 

open () ส่งคืนวัตถุไฟล์

จากนั้นใช้ os.stat เพื่อรับขนาด

file_size = os.stat('big_file').st_size

for i in range( file_size/1024):
    print file_obj.read(1024)