วิธีอ่านไฟล์ทีละบรรทัดในรายการ

ฉันจะอ่านไฟล์ทุกบรรทัดใน Python และเก็บแต่ละบรรทัดเป็นองค์ประกอบในรายการได้อย่างไร

ฉันต้องการอ่านไฟล์ทีละบรรทัดและต่อท้ายแต่ละบรรทัดต่อท้ายรายการ

with open(filename) as f:
    content = f.readlines()
# you may also want to remove whitespace characters like `\n` at the end of each line
content = [x.strip() for x in content] 

ดูอินพุตและ Ouput :

with open('filename') as f:
    lines = f.readlines()

หรือลอกอักขระขึ้นบรรทัดใหม่:

with open('filename') as f:
    lines = [line.rstrip() for line in f]

ชัดเจนกว่าที่จำเป็น แต่ทำในสิ่งที่คุณต้องการ

with open("file.txt") as file_in:
    lines = []
    for line in file_in:
        lines.append(line)

สิ่งนี้จะให้ผลเป็น "อาร์เรย์" ของบรรทัดจากไฟล์

lines = tuple(open(filename, 'r'))

openส่งคืนไฟล์ที่สามารถวนซ้ำได้ เมื่อคุณวนซ้ำไฟล์คุณจะได้รับบรรทัดจากไฟล์นั้น tupleสามารถใช้ตัววนซ้ำและยกตัวอย่างอินสแตนซ์ tuple ให้คุณจากตัววนซ้ำที่คุณให้ linesคือ tuple ที่สร้างจากบรรทัดของไฟล์

ถ้าคุณต้องการ\nรวม:

with open(fname) as f:
    content = f.readlines()

หากคุณไม่ต้องการ\nรวม:

with open(fname) as f:
    content = f.read().splitlines()

ตามวิธีการของ Python ของ File Objectsวิธีที่ง่ายที่สุดในการแปลงไฟล์ข้อความเป็น a listคือ:

with open('file.txt') as f:
    my_list = list(f)

หากคุณต้องการทำซ้ำบรรทัดไฟล์ข้อความคุณสามารถใช้:

with open('file.txt') as f:
    for line in f:
       ...

คำตอบเก่า:

การใช้withและreadlines():

with open('file.txt') as f:
    lines = f.readlines()

หากคุณไม่สนใจเกี่ยวกับการปิดไฟล์หนึ่งบรรทัดนี้ใช้งานได้:

lines = open('file.txt').readlines()

ดั้งเดิมวิธี:

f = open('file.txt') # Open file on read mode
lines = f.read().split("\n") # Create a list containing all lines
f.close() # Close file

คุณสามารถทำสิ่งต่อไปนี้ตามที่ได้รับการแนะนำ:

with open('/your/path/file') as f:
    my_lines = f.readlines()

โปรดทราบว่าวิธีนี้มีข้อเสีย 2 ข้อ:

1) คุณเก็บทุกบรรทัดในหน่วยความจำ ในกรณีทั่วไปนี่เป็นความคิดที่แย่มาก ไฟล์อาจมีขนาดใหญ่มากและคุณอาจมีหน่วยความจำไม่เพียงพอ แม้ว่ามันจะไม่ใหญ่ แต่มันก็เป็นความทรงจำที่เสียเปล่า

2) สิ่งนี้ไม่อนุญาตให้ประมวลผลแต่ละบรรทัดเมื่อคุณอ่าน ดังนั้นหากคุณประมวลผลรายการของคุณหลังจากนี้จะไม่มีประสิทธิภาพ (ต้องผ่านสองครั้งมากกว่าหนึ่งรายการ)

แนวทางที่ดีกว่าสำหรับกรณีทั่วไปคือ:

with open('/your/path/file') as f:
    for line in f:
        process(line)

ที่ซึ่งคุณกำหนดฟังก์ชั่นกระบวนการในแบบที่คุณต้องการ ตัวอย่างเช่น:

def process(line):
    if 'save the world' in line.lower():
         superman.save_the_world()

(การดำเนินการในSupermanชั้นเรียนจะถูกทิ้งไว้เป็นแบบฝึกหัดสำหรับคุณ)

มันจะทำงานได้ดีกับไฟล์ทุกขนาดและคุณต้องผ่านไฟล์ของคุณเพียงแค่ 1 pass นี่คือวิธีการแยกวิเคราะห์ทั่วไปที่จะทำงาน

ข้อมูลลงในรายการ

สมมติว่าเรามีไฟล์ข้อความที่มีข้อมูลเหมือนในบรรทัดต่อไปนี้

เนื้อหาไฟล์ข้อความ:

line 1
line 2
line 3

• เปิด cmd ในไดเรกทอรีเดียวกัน (คลิกขวาที่เมาส์แล้วเลือก cmd หรือ PowerShell)
• เรียกใช้pythonและในล่ามเขียน:

สคริปต์ Python:

>>> with open("myfile.txt", encoding="utf-8") as file:
...     x = [l.strip() for l in file]
>>> x
['line 1','line 2','line 3']

ใช้ผนวก:

x = []
with open("myfile.txt") as file:
    for l in file:
        x.append(l.strip())

หรือ:

>>> x = open("myfile.txt").read().splitlines()
>>> x
['line 1', 'line 2', 'line 3']

หรือ:

>>> x = open("myfile.txt").readlines()
>>> x
['linea 1\n', 'line 2\n', 'line 3\n']

หรือ:

def print_output(lines_in_textfile):
    print("lines_in_textfile =", lines_in_textfile)

y = [x.rstrip() for x in open("001.txt")]
print_output(y)

with open('001.txt', 'r', encoding='utf-8') as file:
    file = file.read().splitlines()
    print_output(file)

with open('001.txt', 'r', encoding='utf-8') as file:
    file = [x.strip() for x in file.readlines()]
    print_output(file)

เอาท์พุท:

lines_in_textfile = ['line 1', 'line 2', 'line 3']
lines_in_textfile = ['line 1', 'line 2', 'line 3']
lines_in_textfile = ['line 1', 'line 2', 'line 3']

หากต้องการอ่านไฟล์ลงในรายการคุณต้องทำสามสิ่ง:

• เปิดไฟล์
• อ่านไฟล์
• เก็บเนื้อหาเป็นรายการ

โชคดีที่ Python ทำให้การทำสิ่งเหล่านี้ง่ายมากดังนั้นวิธีที่สั้นที่สุดในการอ่านไฟล์ลงในรายการคือ:

lst = list(open(filename))

อย่างไรก็ตามฉันจะเพิ่มคำอธิบายเพิ่มเติม

กำลังเปิดไฟล์

ฉันคิดว่าคุณต้องการเปิดไฟล์ที่เฉพาะเจาะจงและคุณไม่ได้จัดการโดยตรงกับการจัดการไฟล์ (หรือการจัดการไฟล์) ฟังก์ชั่นที่ใช้บ่อยที่สุดในการเปิดไฟล์ใน Python คือopenมันต้องใช้อาร์กิวเมนต์หนึ่งตัวและอีกสองตัวเลือกใน Python 2.7:

• ชื่อไฟล์
• โหมด
• การบัฟเฟอร์ (ฉันจะไม่สนใจอาร์กิวเมนต์นี้ในคำตอบนี้)

ชื่อไฟล์ที่ควรจะเป็นสตริงที่แสดงเป็นเส้นทางไปยังแฟ้ม ตัวอย่างเช่น:

open('afile')   # opens the file named afile in the current working directory
open('adir/afile')            # relative path (relative to the current working directory)
open('C:/users/aname/afile')  # absolute path (windows)
open('/usr/local/afile')      # absolute path (linux)

โปรดทราบว่าจำเป็นต้องระบุนามสกุลไฟล์ สิ่งนี้มีความสำคัญอย่างยิ่งสำหรับผู้ใช้ Windows เนื่องจากนามสกุลไฟล์เช่น.txtหรือ.docอื่น ๆ จะถูกซ่อนไว้ตามค่าเริ่มต้นเมื่อดูใน explorer

อาร์กิวเมนต์ที่สองคือmodeมันเป็นrไปโดยปริยายซึ่งหมายความว่า "อ่านอย่างเดียว" นั่นคือสิ่งที่คุณต้องการในกรณีของคุณ

แต่ในกรณีที่คุณต้องการสร้างไฟล์และ / หรือเขียนลงไฟล์คุณจะต้องมีอาร์กิวเมนต์ที่แตกต่างกันที่นี่ มีคำตอบที่ดีคือถ้าคุณต้องการภาพรวม

สำหรับการอ่านไฟล์คุณสามารถละเว้นmodeหรือส่งมันอย่างชัดเจน:

open(filename)
open(filename, 'r')

ทั้งสองจะเปิดไฟล์ในโหมดอ่านอย่างเดียว ในกรณีที่คุณต้องการอ่านในไฟล์ไบนารีบน Windows คุณต้องใช้โหมดrb:

open(filename, 'rb')

บนแพลตฟอร์มอื่น ๆ'b'(โหมดไบนารี) จะถูกละเว้นเพียง

ตอนนี้ฉันได้แสดงให้เห็นถึงวิธีการopenของไฟล์มาพูดคุยเกี่ยวกับความจริงที่ว่าคุณต้องการcloseมันอีกครั้ง มิฉะนั้นจะเก็บที่จับเปิดไฟล์ไว้กับไฟล์จนกว่ากระบวนการจะออก (หรือ Python เก็บที่จับไฟล์)

ในขณะที่คุณสามารถใช้:

f = open(filename)
# ... do stuff with f
f.close()

ที่จะล้มเหลวในการปิดไฟล์เมื่อบางสิ่งระหว่างopenและcloseข้อยกเว้น คุณสามารถหลีกเลี่ยงได้โดยใช้tryและfinally:

f = open(filename)
# nothing in between!
try:
    # do stuff with f
finally:
    f.close()

อย่างไรก็ตาม Python จัดให้มีตัวจัดการบริบทที่มีไวยากรณ์ที่ดีกว่า (แต่openมันเกือบจะเหมือนกับtryและfinallyเหนือ):

with open(filename) as f:
    # do stuff with f
# The file is always closed after the with-scope ends.

วิธีสุดท้ายคือวิธีที่แนะนำในการเปิดไฟล์ใน Python!

กำลังอ่านไฟล์

ตกลงคุณได้เปิดไฟล์แล้วจะอ่านอย่างไร

openฟังก์ชันส่งกลับfileวัตถุและรองรับโพรโทคองูเหลือมซ้ำ การทำซ้ำแต่ละครั้งจะทำให้คุณมีบรรทัด:

with open(filename) as f:
    for line in f:
        print(line)

นี่จะพิมพ์แต่ละบรรทัดของไฟล์ โปรดทราบว่าแต่ละบรรทัดจะมีอักขระขึ้นบรรทัดใหม่\nในตอนท้าย (คุณอาจต้องการตรวจสอบว่า Python ของคุณถูกสร้างขึ้นด้วยการสนับสนุนบรรทัดใหม่สากล - ไม่เช่นนั้นคุณอาจมี\r\nWindows หรือ\rMac เป็นบรรทัดใหม่ก็ได้) หากคุณไม่ต้องการให้คุณสามารถลบอักขระสุดท้าย (หรืออักขระสองตัวสุดท้ายบน Windows):

with open(filename) as f:
    for line in f:
        print(line[:-1])

แต่บรรทัดสุดท้ายไม่จำเป็นต้องขึ้นบรรทัดใหม่ดังนั้นจึงไม่ควรใช้ หนึ่งสามารถตรวจสอบว่ามันจบลงด้วยการขึ้นบรรทัดใหม่และถ้าเป็นเช่นนั้นลบ:

with open(filename) as f:
    for line in f:
        if line.endswith('\n'):
            line = line[:-1]
        print(line)

แต่คุณสามารถลบ whitespaces ทั้งหมด (รวมถึง\nตัวละคร) ออกจากส่วนท้ายของสตริงซึ่งจะเป็นการลบwhitespaces ต่อท้ายอื่น ๆ ทั้งหมดดังนั้นคุณต้องระวังหากสิ่งเหล่านี้สำคัญ:

with open(filename) as f:
    for line in f:
        print(f.rstrip())

อย่างไรก็ตามหากบรรทัดลงท้ายด้วย\r\n(Windows "newlines") ที่.rstrip()จะดูแล\r!

เก็บเนื้อหาเป็นรายการ

ตอนนี้คุณรู้วิธีเปิดไฟล์และอ่านแล้วได้เวลาเก็บเนื้อหาในรายการ ตัวเลือกที่ง่ายที่สุดคือการใช้listฟังก์ชั่น:

with open(filename) as f:
    lst = list(f)

ในกรณีที่คุณต้องการตัดบรรทัดใหม่ต่อท้ายคุณสามารถใช้ list comprehension แทน:

with open(filename) as f:
    lst = [line.rstrip() for line in f]

หรือง่ายยิ่งขึ้น: .readlines()เมธอดของfileอ๊อบเจคโดยปริยายจะคืนค่า a listของบรรทัด:

with open(filename) as f:
    lst = f.readlines()

ซึ่งจะรวมถึงอักขระบรรทัดใหม่ต่อท้ายหากคุณไม่ต้องการให้ฉันแนะนำ[line.rstrip() for line in f]วิธีการนี้เนื่องจากจะหลีกเลี่ยงการเก็บสองรายการที่มีบรรทัดทั้งหมดในหน่วยความจำ

มีตัวเลือกเพิ่มเติมเพื่อให้ได้ผลลัพธ์ที่ต้องการอย่างไรก็ตามมันค่อนข้าง "suboptimal": readไฟล์ที่สมบูรณ์ในสตริงแล้วแบ่งเป็นบรรทัดใหม่:

with open(filename) as f:
    lst = f.read().split('\n')

หรือ:

with open(filename) as f:
    lst = f.read().splitlines()

สิ่งเหล่านี้จะขึ้นบรรทัดใหม่ต่อท้ายโดยอัตโนมัติเนื่องจากไม่มีsplitอักขระอยู่ อย่างไรก็ตามมันไม่เหมาะเพราะคุณเก็บไฟล์เป็นสตริงและเป็นรายการของเส้นในหน่วยความจำ!

สรุป

• ใช้with open(...) as fเมื่อเปิดไฟล์เพราะคุณไม่จำเป็นต้องปิดไฟล์เองและจะปิดไฟล์แม้ว่าจะมีข้อยกเว้นเกิดขึ้น
• filefor line in the_file_object:วัตถุสนับสนุนโปรโตคอลซ้ำเพื่ออ่านไฟล์บรรทัดโดยบรรทัดเป็นง่ายๆเป็น
• เรียกดูเอกสารประกอบสำหรับฟังก์ชั่น / ชั้นเรียนที่มีอยู่เสมอ เวลาส่วนใหญ่มีการจับคู่ที่สมบูรณ์แบบสำหรับงานหรืออย่างน้อยหนึ่งหรือสองคนที่ดี ตัวเลือกที่ชัดเจนในกรณีนี้จะเป็นreadlines()แต่ถ้าคุณต้องการประมวลผลบรรทัดก่อนที่จะเก็บไว้ในรายการฉันจะแนะนำรายการเข้าใจง่าย

วิธีที่สะอาดและเป็นระบบในการอ่านบรรทัดของไฟล์ไปสู่รายการ

ก่อนอื่นคุณควรเน้นที่การเปิดไฟล์ของคุณและอ่านเนื้อหาในวิธีที่มีประสิทธิภาพและรวดเร็ว นี่คือตัวอย่างของวิธีที่ฉันไม่ชอบ:

infile = open('my_file.txt', 'r')  # Open the file for reading.

data = infile.read()  # Read the contents of the file.

infile.close()  # Close the file since we're done using it.

แต่ฉันชอบวิธีการด้านล่างของการเปิดไฟล์สำหรับทั้งการอ่านและการเขียนเนื่องจากมันสะอาดมากและไม่จำเป็นต้องมีขั้นตอนพิเศษในการปิดไฟล์เมื่อคุณใช้เสร็จแล้ว ในคำสั่งด้านล่างเรากำลังเปิดไฟล์สำหรับอ่านและกำหนดให้กับตัวแปร 'infile' เมื่อรหัสในคำสั่งนี้ทำงานเสร็จไฟล์จะถูกปิดโดยอัตโนมัติ

# Open the file for reading.
with open('my_file.txt', 'r') as infile:

    data = infile.read()  # Read the contents of the file into memory.

ตอนนี้เราจำเป็นต้องมุ่งเน้นการนำข้อมูลนี้ไปใช้ในรายการ Pythonเพราะสามารถทำซ้ำได้มีประสิทธิภาพและยืดหยุ่นได้ ในกรณีของคุณเป้าหมายที่ต้องการคือการนำแต่ละไฟล์ข้อความไปไว้ในองค์ประกอบแยกกัน ในการทำสิ่งนี้ให้สำเร็จเราจะใช้เมธอด splitlines ()ดังต่อไปนี้:

# Return a list of the lines, breaking at line boundaries.
my_list = data.splitlines()

ผลิตภัณฑ์สุดท้าย:

# Open the file for reading.
with open('my_file.txt', 'r') as infile:

    data = infile.read()  # Read the contents of the file into memory.

# Return a list of the lines, breaking at line boundaries.
my_list = data.splitlines()

ทดสอบรหัสของเรา:

• เนื้อหาของไฟล์ข้อความ:

     A fost odatã ca-n povesti,
     A fost ca niciodatã,
     Din rude mãri împãrãtesti,
     O prea frumoasã fatã.

• พิมพ์คำแถลงเพื่อวัตถุประสงค์ในการทดสอบ:

    print my_list  # Print the list.

    # Print each line in the list.
    for line in my_list:
        print line

    # Print the fourth element in this list.
    print my_list[3]

• เอาท์พุท (รูปลักษณ์ที่แตกต่างกันเพราะอักขระ Unicode):

     ['A fost odat\xc3\xa3 ca-n povesti,', 'A fost ca niciodat\xc3\xa3,',
     'Din rude m\xc3\xa3ri \xc3\xaemp\xc3\xa3r\xc3\xa3testi,', 'O prea
     frumoas\xc3\xa3 fat\xc3\xa3.']

     A fost odatã ca-n povesti, A fost ca niciodatã, Din rude mãri
     împãrãtesti, O prea frumoasã fatã.

     O prea frumoasã fatã.

เปิดตัวใน Python 3.4 pathlibมีวิธีที่สะดวกมากในการอ่านข้อความจากไฟล์ดังนี้:

from pathlib import Path
p = Path('my_text_file')
lines = p.read_text().splitlines()

(การsplitlinesเรียกเป็นสิ่งที่เปลี่ยนจากสตริงที่มีเนื้อหาทั้งหมดของไฟล์เป็นรายการของบรรทัดในไฟล์)

pathlibมีสิ่งอำนวยความสะดวกมากมายในนั้น read_textเป็นคนดีและรัดกุมและคุณไม่ต้องกังวลเกี่ยวกับการเปิดและปิดไฟล์ หากสิ่งที่คุณต้องทำเกี่ยวกับไฟล์นั้นถูกอ่านทั้งหมดในครั้งเดียวมันเป็นตัวเลือกที่ดี

นี่คืออีกหนึ่งตัวเลือกโดยใช้รายการความเข้าใจในไฟล์;

lines = [line.rstrip() for line in open('file.txt')]

นี่ควรเป็นวิธีที่มีประสิทธิภาพมากขึ้นเนื่องจากงานส่วนใหญ่ทำในล่าม Python

f = open("your_file.txt",'r')
out = f.readlines() # will append in the list out

ตอนนี้ตัวแปรออกเป็นรายการ (อาร์เรย์) ของสิ่งที่คุณต้องการ คุณสามารถทำได้:

for line in out:
    print (line)

หรือ:

for line in f:
    print (line)

คุณจะได้รับผลลัพธ์เดียวกัน

อ่านและเขียนไฟล์ข้อความด้วย Python 2 และ Python 3 มันทำงานร่วมกับ Unicode

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

# Define data
lines = ['     A first string  ',
         'A Unicode sample: €',
         'German: äöüß']

# Write text file
with open('file.txt', 'w') as fp:
    fp.write('\n'.join(lines))

# Read text file
with open('file.txt', 'r') as fp:
    read_lines = fp.readlines()
    read_lines = [line.rstrip('\n') for line in read_lines]

print(lines == read_lines)

สิ่งที่ควรสังเกต:

• withเป็นสิ่งที่เรียกว่าผู้จัดการบริบท ตรวจสอบให้แน่ใจว่าไฟล์ที่เปิดอยู่ถูกปิดอีกครั้ง
• โซลูชันทั้งหมดที่นี่สร้าง.strip()หรือ.rstrip()ไม่สามารถทำซ้ำได้linesเนื่องจากยังตัดพื้นที่สีขาว

การสิ้นสุดไฟล์ทั่วไป

.txt

การเขียน / อ่านไฟล์ขั้นสูงเพิ่มเติม

• CSV: รูปแบบง่ายสุด ( อ่านและเขียน )
• JSON: ดีสำหรับการเขียนข้อมูลที่มนุษย์อ่านได้ ใช้บ่อยมาก ( อ่านและเขียน )
• YAML: YAML เป็น superset ของ JSON แต่ง่ายต่อการอ่าน ( อ่านและการเขียน , การเปรียบเทียบ JSON และ YAML )
• pickle: รูปแบบการทำให้เป็นอนุกรมของ Python ( อ่านและเขียน )
• MessagePack ( แพคเกจ Python ): การแทนขนาดกะทัดรัดเพิ่มเติม ( อ่านและเขียน )
• HDF5 ( แพ็คเกจ Python ): เหมาะสำหรับการฝึกอบรม ( อ่านและเขียน )
• XML: มีอยู่ด้วย * ถอนหายใจ * ( อ่านและเขียน )

สำหรับแอปพลิเคชันของคุณข้อมูลต่อไปนี้อาจสำคัญ:

• สนับสนุนโดยภาษาโปรแกรมอื่น ๆ
• การอ่าน / เขียนประสิทธิภาพ
• ความกะทัดรัด (ขนาดไฟล์)

ดูเพิ่มเติม: การเปรียบเทียบรูปแบบการจัดลำดับข้อมูล

ในกรณีที่คุณกำลังค่อนข้างมองหาวิธีที่จะทำให้แฟ้มการกำหนดค่าที่คุณอาจต้องการที่จะอ่านบทความสั้น ๆ ของฉันแฟ้มการกำหนดค่าในหลาม

ตัวเลือกอื่นคือnumpy.genfromtxtตัวอย่างเช่น:

import numpy as np
data = np.genfromtxt("yourfile.dat",delimiter="\n")

สิ่งนี้จะทำให้dataอาร์เรย์ NumPy มีแถวมากเท่ากับที่อยู่ในไฟล์ของคุณ

หากคุณต้องการอ่านไฟล์จากบรรทัดคำสั่งหรือจาก stdin คุณสามารถใช้fileinputโมดูล:

# reader.py
import fileinput

content = []
for line in fileinput.input():
    content.append(line.strip())

fileinput.close()

ส่งต่อไฟล์แบบนี้:

$ python reader.py textfile.txt 

อ่านเพิ่มเติมได้ที่นี่: http://docs.python.org/2/library/fileinput.html

วิธีที่ง่ายที่สุดที่จะทำ

วิธีง่ายๆคือ:

1. อ่านไฟล์ทั้งหมดเป็นสตริง
2. แยกสายสตริงโดยบรรทัด

ในหนึ่งบรรทัดที่จะให้:

lines = open('C:/path/file.txt').read().splitlines()

อย่างไรก็ตามวิธีนี้ค่อนข้างไม่มีประสิทธิภาพเนื่องจากจะเก็บเนื้อหา 2 รุ่นในหน่วยความจำ (อาจไม่ใช่ปัญหาใหญ่สำหรับไฟล์ขนาดเล็ก แต่ยังคงมี) [ขอบคุณ Mark Amery]

มี 2 ​​วิธีง่ายกว่า:

1. การใช้ไฟล์เป็นตัววนซ้ำ

lines = list(open('C:/path/file.txt'))
# ... or if you want to have a list without EOL characters
lines = [l.rstrip() for l in open('C:/path/file.txt')]

2. หากคุณใช้ Python 3.4 ขึ้นpathlibไปให้ใช้เพื่อสร้างพา ธ สำหรับไฟล์ของคุณที่คุณสามารถใช้สำหรับการทำงานอื่น ๆ ในโปรแกรมของคุณ:

from pathlib import Path
file_path = Path("C:/path/file.txt") 
lines = file_path.read_text().split_lines()
# ... or ... 
lines = [l.rstrip() for l in file_path.open()]

เพียงใช้ฟังก์ชั่น splitlines () นี่คือตัวอย่าง

inp = "file.txt"
data = open(inp)
dat = data.read()
lst = dat.splitlines()
print lst
# print(lst) # for python 3

ในผลลัพธ์คุณจะมีรายการของบรรทัด

หากคุณต้องการเผชิญหน้ากับไฟล์ที่มีขนาดใหญ่ / ใหญ่และต้องการอ่านเร็วขึ้น (ลองจินตนาการว่าคุณอยู่ในการแข่งขันการเข้ารหัส Topcoder / Hackerrank) คุณอาจอ่านบรรทัดที่มีขนาดใหญ่กว่ามากในบัฟเฟอร์หน่วยความจำในคราวเดียวแทนที่จะเป็น เพียงวนซ้ำทีละบรรทัดที่ระดับไฟล์

buffersize = 2**16
with open(path) as f: 
    while True:
        lines_buffer = f.readlines(buffersize)
        if not lines_buffer:
            break
        for line in lines_buffer:
            process(line)

วิธีที่ง่ายที่สุดในการทำเช่นนั้นพร้อมกับสิทธิประโยชน์เพิ่มเติมคือ:

lines = list(open('filename'))

หรือ

lines = tuple(open('filename'))

หรือ

lines = set(open('filename'))

ในกรณีที่มี setเราต้องจำไว้ว่าเราไม่มีคำสั่งซื้อที่สงวนไว้และกำจัดบรรทัดที่ซ้ำกัน

ด้านล่างฉันได้เพิ่มอาหารเสริมที่สำคัญจาก@MarkAmery :

เนื่องจากคุณไม่ได้โทรหา.closeวัตถุไฟล์หรือใช้withคำสั่งในการใช้งานPythonบางไฟล์อาจไม่ได้ปิดหลังจากอ่านและกระบวนการของคุณจะรั่วไหลที่จับเปิดไฟล์ไฟล์อาจไม่ได้รับหลังจากปิดการอ่านและกระบวนการของคุณจะรั่วไหลจับเปิดแฟ้ม

ในCPython (การใช้งานPythonปกติที่คนส่วนใหญ่ใช้) นี่ไม่ใช่ปัญหาเนื่องจากวัตถุไฟล์จะได้รับการรวบรวมขยะทันทีและจะปิดไฟล์ แต่โดยทั่วไปแล้วถือว่าเป็นการปฏิบัติที่ดีที่สุดในการทำสิ่งต่อไปนี้ :

with open('filename') as f: lines = list(f) 

เพื่อให้แน่ใจว่าไฟล์จะถูกปิดไม่ว่าคุณจะใช้Python แบบใด

ใช้สิ่งนี้:

import pandas as pd
data = pd.read_csv(filename) # You can also add parameters such as header, sep, etc.
array = data.values

dataเป็นประเภท dataframe และใช้ค่าในการรับ ndarray array.tolist()นอกจากนี้คุณยังสามารถได้รับรายชื่อโดยใช้

โครงร่างและบทสรุป

ด้วยการfilenameจัดการไฟล์จากPath(filename)วัตถุหรือโดยตรงด้วยopen(filename) as fทำอย่างใดอย่างหนึ่งต่อไปนี้:

• list(fileinput.input(filename))
• ใช้with path.open() as f, โทรf.readlines()
• list(f)
• path.read_text().splitlines()
• path.read_text().splitlines(keepends=True)
• ย้ำกว่าfileinput.inputหรือfและlist.appendแต่ละบรรทัดในเวลา
• ส่งผ่านfไปยังขอบเขตlist.extendวิธีการที่
• ใช้fในรายการความเข้าใจ

ฉันอธิบายถึงกรณีการใช้งานสำหรับแต่ละด้านล่าง

ใน Python ฉันจะอ่านไฟล์ทีละบรรทัดได้อย่างไร

นี่เป็นคำถามที่ยอดเยี่ยม ก่อนอื่นมาสร้างข้อมูลตัวอย่าง:

from pathlib import Path
Path('filename').write_text('foo\nbar\nbaz')

วัตถุไฟล์เป็นตัววนซ้ำขี้เกียจดังนั้นเพียงแค่วนซ้ำมัน

filename = 'filename'
with open(filename) as f:
    for line in f:
        line # do something with the line

หรือหากคุณมีไฟล์หลายไฟล์ให้ใช้fileinput.inputตัววนซ้ำตัวเอียงอื่น ด้วยไฟล์เดียว:

import fileinput

for line in fileinput.input(filename): 
    line # process the line

หรือสำหรับหลายไฟล์ให้ส่งผ่านรายชื่อไฟล์:

for line in fileinput.input([filename]*2): 
    line # process the line

อีกครั้งfและfileinput.inputเหนือทั้งคู่เป็น / ส่งคืนตัววนซ้ำ คุณสามารถใช้ตัววนซ้ำได้เพียงครั้งเดียวดังนั้นเพื่อให้รหัสการทำงานในขณะที่หลีกเลี่ยงการใช้คำฟุ่มเฟื่อยฉันจะใช้ตัวย่อfileinput.input(filename)ที่ apropos จากที่นี่เล็กน้อย

ใน Python ฉันจะอ่านไฟล์ทีละบรรทัดในรายการได้อย่างไร

อ่า แต่คุณต้องการมันอยู่ในรายการด้วยเหตุผลบางอย่าง? ฉันจะหลีกเลี่ยงสิ่งนั้นถ้าเป็นไปได้ แต่ถ้าคุณยืนยัน ... เพียงส่งผลลัพธ์ของfileinput.input(filename)ไปที่list:

list(fileinput.input(filename))

อีกคำตอบโดยตรงคือการโทรf.readlinesซึ่งจะส่งคืนเนื้อหาของไฟล์ (สูงสุดไม่เกินhintจำนวนอักขระดังนั้นคุณสามารถทำได้แบ่งออกเป็นหลายรายการในแบบนั้น)

คุณสามารถไปที่วัตถุไฟล์นี้ได้สองวิธี วิธีหนึ่งคือการส่งชื่อไฟล์ไปยังopenตัวเครื่อง:

filename = 'filename'

with open(filename) as f:
    f.readlines()

หรือใช้วัตถุ Path ใหม่จากpathlibโมดูล (ซึ่งฉันได้กลายเป็นที่ชื่นชอบและจะใช้จากที่นี่บน):

from pathlib import Path

path = Path(filename)

with path.open() as f:
    f.readlines()

list จะใช้ตัววนซ้ำไฟล์และส่งคืนรายการซึ่งเป็นวิธีที่ค่อนข้างตรงเช่นกัน:

with path.open() as f:
    list(f)

หากคุณไม่สนใจที่จะอ่านข้อความทั้งหมดในหน่วยความจำในรูปแบบสตริงเดียวก่อนที่จะแยกคุณสามารถทำสิ่งนี้เป็นหนึ่งซับกับPathวัตถุและsplitlines()วิธีการสตริง โดยค่าเริ่มต้นsplitlinesจะลบบรรทัดใหม่:

path.read_text().splitlines()

หากคุณต้องการขึ้นบรรทัดใหม่ให้ผ่านkeepends=True:

path.read_text().splitlines(keepends=True)

ฉันต้องการอ่านไฟล์ทีละบรรทัดและต่อท้ายแต่ละบรรทัดต่อท้ายรายการ

ตอนนี้มันค่อนข้างโง่ที่จะถามเพราะเราได้แสดงให้เห็นผลลัพธ์สุดท้ายได้อย่างง่ายดายด้วยหลายวิธี แต่คุณอาจจำเป็นต้องกรองหรือดำเนินการในบรรทัดในขณะที่คุณทำรายการของคุณดังนั้นขออารมณ์ขันนี้

การใช้list.appendจะช่วยให้คุณสามารถกรองหรือทำงานในแต่ละบรรทัดก่อนที่คุณจะต่อท้าย:

line_list = []
for line in fileinput.input(filename):
    line_list.append(line)

line_list

การใช้list.extendจะค่อนข้างตรงไปกว่าและอาจมีประโยชน์หากคุณมีรายการที่มีอยู่ก่อนหน้า:

line_list = []
line_list.extend(fileinput.input(filename))
line_list

หรือมากกว่าปกติเราสามารถใช้ list comprehension และแมปและกรองภายในถ้าต้องการ:

[line for line in fileinput.input(filename)]

หรือมากกว่านั้นโดยตรงเพื่อปิดวงกลมเพียงแค่ส่งไปที่รายการเพื่อสร้างรายการใหม่โดยตรงโดยไม่ต้องใช้งานบนบรรทัด:

list(fileinput.input(filename))

ข้อสรุป

คุณเห็นหลายวิธีในการรับบรรทัดจากไฟล์ลงในรายการ แต่ฉันขอแนะนำให้คุณหลีกเลี่ยงการทำให้ข้อมูลจำนวนมากปรากฏในรายการและใช้การวนซ้ำแบบสันหลังยาวของ Python เพื่อประมวลผลข้อมูลหากเป็นไปได้

นั่นคือต้องการหรือfileinput.inputwith path.open() as f

ในกรณีที่มีบรรทัดว่างในเอกสารฉันชอบอ่านในเนื้อหาและส่งผ่านfilterเพื่อป้องกันองค์ประกอบสตริงว่างเปล่า

with open(myFile, "r") as f:
    excludeFileContent = list(filter(None, f.read().splitlines()))

คุณสามารถใช้คำสั่ง loadtxt ใน NumPy การตรวจสอบเงื่อนไขน้อยกว่า genfromtxt ดังนั้นจึงอาจเร็วกว่า

import numpy
data = numpy.loadtxt(filename, delimiter="\n")

ฉันชอบที่จะใช้ดังต่อไปนี้ อ่านบรรทัดทันที

contents = []
for line in open(filepath, 'r').readlines():
    contents.append(line.strip())

หรือใช้ความเข้าใจในรายการ:

contents = [line.strip() for line in open(filepath, 'r').readlines()]

ฉันจะลองวิธีที่กล่าวถึงด้านล่าง dummy.txtไฟล์ตัวอย่างที่ผมใช้มีชื่อ คุณสามารถค้นหาไฟล์ที่นี่ ฉันเข้าใจว่าไฟล์อยู่ในไดเรกทอรีเดียวกับรหัส (คุณสามารถเปลี่ยนfpathเพื่อรวมชื่อไฟล์และเส้นทางโฟลเดอร์ที่เหมาะสม)

lstในทั้งสองตัวอย่างที่ระบุไว้ด้านล่างรายการที่คุณต้องการจะได้รับจาก

1. > วิธีแรก :

fpath = 'dummy.txt'
with open(fpath, "r") as f: lst = [line.rstrip('\n \t') for line in f]

print lst
>>>['THIS IS LINE1.', 'THIS IS LINE2.', 'THIS IS LINE3.', 'THIS IS LINE4.']

2. >ในวิธีที่สองเราสามารถใช้โมดูลcsv.readerจาก Python Standard Library :

import csv
fpath = 'dummy.txt'
with open(fpath) as csv_file:
    csv_reader = csv.reader(csv_file, delimiter='   ')
    lst = [row[0] for row in csv_reader] 

print lst
>>>['THIS IS LINE1.', 'THIS IS LINE2.', 'THIS IS LINE3.', 'THIS IS LINE4.']

คุณสามารถใช้หนึ่งในสองวิธีนี้ เวลาที่ใช้ในการสร้างlstเกือบเท่ากันในสองวิธี

นี่คืองูหลาม (3) ผู้ช่วยห้องสมุดชั้นเรียนที่ผมใช้ในการลดความซับซ้อนของไฟล์ I / O:

import os

# handle files using a callback method, prevents repetition
def _FileIO__file_handler(file_path, mode, callback = lambda f: None):
  f = open(file_path, mode)
  try:
    return callback(f)
  except Exception as e:
    raise IOError("Failed to %s file" % ["write to", "read from"][mode.lower() in "r rb r+".split(" ")])
  finally:
    f.close()


class FileIO:
  # return the contents of a file
  def read(file_path, mode = "r"):
    return __file_handler(file_path, mode, lambda rf: rf.read())

  # get the lines of a file
  def lines(file_path, mode = "r", filter_fn = lambda line: len(line) > 0):
    return [line for line in FileIO.read(file_path, mode).strip().split("\n") if filter_fn(line)]

  # create or update a file (NOTE: can also be used to replace a file's original content)
  def write(file_path, new_content, mode = "w"):
    return __file_handler(file_path, mode, lambda wf: wf.write(new_content))

  # delete a file (if it exists)
  def delete(file_path):
    return os.remove() if os.path.isfile(file_path) else None

จากนั้นคุณจะใช้FileIO.linesฟังก์ชันเช่นนี้:

file_ext_lines = FileIO.lines("./path/to/file.ext"):
for i, line in enumerate(file_ext_lines):
  print("Line {}: {}".format(i + 1, line))

โปรดจำไว้ว่าพารามิเตอร์mode( "r"ตามค่าเริ่มต้น) และfilter_fn(ตรวจสอบบรรทัดว่างเปล่าตามค่าเริ่มต้น) เป็นตัวเลือก

คุณยังสามารถลบread, writeและdeleteวิธีการและเพียงแค่ปล่อยให้หรือแม้กระทั่งทำให้มันกลายเป็นวิธีการที่เรียกว่าแยกต่างหากFileIO.linesread_lines

เวอร์ชันของบรรทัดคำสั่ง

#!/bin/python3
import os
import sys
abspath = os.path.abspath(__file__)
dname = os.path.dirname(abspath)
filename = dname + sys.argv[1]
arr = open(filename).read().split("\n") 
print(arr)

ทำงานด้วย:

python3 somefile.py input_file_name.txt