อ่าน N บรรทัดแรกของไฟล์ในหลาม

เรามีไฟล์ข้อมูลดิบขนาดใหญ่ที่เราต้องการตัดให้มีขนาดที่ระบุ ฉันมีประสบการณ์ใน. net c # อย่างไรก็ตามต้องการทำสิ่งนี้ใน python เพื่อทำให้สิ่งต่าง ๆ และเป็นที่สนใจง่ายขึ้น

ฉันจะไปเกี่ยวกับการรับ N บรรทัดแรกของไฟล์ข้อความในหลามได้อย่างไร ระบบปฏิบัติการที่ใช้จะมีผลต่อการนำไปใช้งานหรือไม่?

Python 2

with open("datafile") as myfile:
    head = [next(myfile) for x in xrange(N)]
print head

Python 3

with open("datafile") as myfile:
    head = [next(myfile) for x in range(N)]
print(head)

นี่เป็นอีกวิธีหนึ่ง (ทั้ง Python 2 และ 3)

from itertools import islice
with open("datafile") as myfile:
    head = list(islice(myfile, N))
print head

N = 10
with open("file.txt", "a") as file:  # the a opens it in append mode
    for i in range(N):
        line = next(file).strip()
        print(line)

หากคุณต้องการอ่านบรรทัดแรกอย่างรวดเร็วและคุณไม่สนใจเกี่ยวกับประสิทธิภาพคุณสามารถใช้.readlines()วัตถุรายการที่ส่งคืนแล้วหั่นรายการ

เช่น 5 บรรทัดแรก:

with open("pathofmyfileandfileandname") as myfile:
    firstNlines=myfile.readlines()[0:5] #put here the interval you want

หมายเหตุ:ไฟล์ทั้งหมดถูกอ่านดังนั้นจึงไม่ใช่จุดที่ดีที่สุดในการมองแต่มันใช้งานง่ายรวดเร็วเขียนและจำง่ายดังนั้นถ้าคุณต้องการเพียงแค่การคำนวณแบบครั้งเดียวก็สะดวกมาก

print firstNlines

ข้อดีอย่างหนึ่งเมื่อเทียบกับคำตอบอื่น ๆ เป็นไปได้ที่จะเลือกได้อย่างง่ายดายหลากหลายของสายเช่นการกระโดดข้าม 10 บรรทัดแรก[10:30]หรือเป็นเวลา 10 หรือการเท่านั้นแม้กระทั่งสาย[:-10][::2]

สิ่งที่ฉันทำคือการเรียก N pandasบรรทัดโดยใช้ ฉันคิดว่าประสิทธิภาพไม่ดีที่สุด แต่ยกตัวอย่างถ้าN=1000:

import pandas as pd
yourfile = pd.read('path/to/your/file.csv',nrows=1000)

ไม่มีวิธีเฉพาะในการอ่านจำนวนบรรทัดที่ถูกเปิดเผยโดยวัตถุไฟล์

ฉันคิดว่าวิธีที่ง่ายที่สุดจะเป็นดังนี้:

lines =[]
with open(file_name) as f:
    lines.extend(f.readline() for i in xrange(N))

ขึ้นอยู่กับคำตอบที่ได้รับการโหวตมากที่สุดของ gnibbler (20 พ.ย. 2552 เวลา 0:27): วิธีนี้เพิ่มส่วนหัว () และส่วนท้าย () ลงในไฟล์วัตถุ

class File(file):
    def head(self, lines_2find=1):
        self.seek(0)                            #Rewind file
        return [self.next() for x in xrange(lines_2find)]

    def tail(self, lines_2find=1):  
        self.seek(0, 2)                         #go to end of file
        bytes_in_file = self.tell()             
        lines_found, total_bytes_scanned = 0, 0
        while (lines_2find+1 > lines_found and
               bytes_in_file > total_bytes_scanned): 
            byte_block = min(1024, bytes_in_file-total_bytes_scanned)
            self.seek(-(byte_block+total_bytes_scanned), 2)
            total_bytes_scanned += byte_block
            lines_found += self.read(1024).count('\n')
        self.seek(-total_bytes_scanned, 2)
        line_list = list(self.readlines())
        return line_list[-lines_2find:]

การใช้งาน:

f = File('path/to/file', 'r')
f.head(3)
f.tail(3)

วิธีที่ง่ายที่สุดสองวิธีในการทำเช่นนี้คือ:

1. ทำซ้ำในไฟล์บรรทัดต่อบรรทัดและbreakหลังNบรรทัด

2. ทำซ้ำในไฟล์ทีละบรรทัดโดยใช้next()วิธีการNครั้ง (นี่เป็นเพียงไวยากรณ์ที่แตกต่างกันสำหรับสิ่งที่คำตอบด้านบนทำ)

นี่คือรหัส:

# Method 1:
with open("fileName", "r") as f:
    counter = 0
    for line in f:
        print line
        counter += 1
        if counter == N: break

# Method 2:
with open("fileName", "r") as f:
    for i in xrange(N):
        line = f.next()
        print line

บรรทัดล่างคือตราบใดที่คุณไม่ใช้readlines()หรือenumerateรวมไฟล์ทั้งหมดเข้าไปในหน่วยความจำคุณก็มีตัวเลือกมากมาย

วิธีที่มั่นใจมากที่สุดด้วยตัวเอง:

LINE_COUNT = 3
print [s for (i, s) in enumerate(open('test.txt')) if i < LINE_COUNT]

วิธีแก้ไขตามรายการความเข้าใจ ฟังก์ชั่น open () รองรับส่วนต่อประสานการวนซ้ำ แจกแจง () ครอบคลุม open () และส่งกลับ tuples (ดัชนีรายการ) จากนั้นเราตรวจสอบว่าเราอยู่ในช่วงที่ยอมรับได้ (ถ้า i <LINE_COUNT) แล้วพิมพ์ผลลัพธ์

เพลิดเพลินไปกับงูหลาม ;)

สำหรับ 5 บรรทัดแรกเพียงทำ:

N=5
with open("data_file", "r") as file:
    for i in range(N):
       print file.next()

หากคุณต้องการสิ่งที่เห็นได้ชัด (โดยไม่ต้องค้นหาสิ่งที่เป็นความลับในคู่มือ) ทำงานโดยไม่ต้องนำเข้าและลอง / ยกเว้นและทำงานในช่วงที่เหมาะสมของ Python 2.x เวอร์ชั่น (2.2 ถึง 2.6):

def headn(file_name, n):
    """Like *x head -N command"""
    result = []
    nlines = 0
    assert n >= 1
    for line in open(file_name):
        result.append(line)
        nlines += 1
        if nlines >= n:
            break
    return result

if __name__ == "__main__":
    import sys
    rval = headn(sys.argv[1], int(sys.argv[2]))
    print rval
    print len(rval)

หากคุณมีไฟล์ที่ใหญ่มากและสมมติว่าคุณต้องการให้เอาต์พุตเป็นอาเรย์แบบนัฟฟี่การใช้ np.genfromtxt จะทำให้คอมพิวเตอร์ของคุณค้าง นี่เป็นประสบการณ์ที่ดีขึ้นมาก:

def load_big_file(fname,maxrows):
'''only works for well-formed text file of space-separated doubles'''

rows = []  # unknown number of lines, so use list

with open(fname) as f:
    j=0        
    for line in f:
        if j==maxrows:
            break
        else:
            line = [float(s) for s in line.split()]
            rows.append(np.array(line, dtype = np.double))
            j+=1
return np.vstack(rows)  # convert list of vectors to array

เริ่มต้นที่ Python 2.6 คุณสามารถใช้ประโยชน์จากฟังก์ชั่นที่ซับซ้อนมากขึ้นในส่วนพื้นฐานของ IO ดังนั้นคำตอบที่ได้รับคะแนนสูงสุดด้านบนสามารถเขียนใหม่เป็น:

    with open("datafile") as myfile:
       head = myfile.readlines(N)
    print head

(คุณไม่ต้องกังวลว่าไฟล์ของคุณจะมีน้อยกว่า N บรรทัดเนื่องจากไม่มีข้อยกเว้น StopIteration)

สิ่งนี้ใช้ได้สำหรับฉัน

f = open("history_export.csv", "r")
line= 5
for x in range(line):
    a = f.readline()
    print(a)

ใช้งานได้กับ Python 2 และ 3:

from itertools import islice

with open('/tmp/filename.txt') as inf:
    for line in islice(inf, N, N+M):
        print(line)

fname = input("Enter file name: ")
num_lines = 0

with open(fname, 'r') as f: #lines count
    for line in f:
        num_lines += 1

num_lines_input = int (input("Enter line numbers: "))

if num_lines_input <= num_lines:
    f = open(fname, "r")
    for x in range(num_lines_input):
        a = f.readline()
        print(a)

else:
    f = open(fname, "r")
    for x in range(num_lines_input):
        a = f.readline()
        print(a)
        print("Don't have", num_lines_input, " lines print as much as you can")


print("Total lines in the text",num_lines)

#!/usr/bin/python

import subprocess

p = subprocess.Popen(["tail", "-n 3", "passlist"], stdout=subprocess.PIPE)

output, err = p.communicate()

print  output

วิธีนี้ใช้ได้ผลสำหรับฉัน