Python ต่อไฟล์ข้อความ

ฉันมีรายชื่อ 20 ['file1.txt', 'file2.txt', ...]ชื่อไฟล์เช่น ฉันต้องการเขียนสคริปต์ Python เพื่อเชื่อมไฟล์เหล่านี้เป็นไฟล์ใหม่ ฉันสามารถเปิดแต่ละไฟล์โดยf = open(...)อ่านทีละบรรทัดโดยการโทรf.readline()และเขียนแต่ละบรรทัดลงในไฟล์ใหม่นั้น ดูเหมือนว่า "สง่างาม" สำหรับฉันโดยเฉพาะอย่างยิ่งส่วนที่ฉันต้องอ่าน // เขียนทีละบรรทัด

มีวิธี "หรูหรา" มากขึ้นในการทำเช่นนี้ใน Python หรือไม่?

สิ่งนี้ควรทำ

สำหรับไฟล์ขนาดใหญ่:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

สำหรับไฟล์ขนาดเล็ก:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

... และอีกหนึ่งที่น่าสนใจที่ฉันคิดว่า :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

น่าเศร้าที่วิธีสุดท้ายนี้เหลือตัวอธิบายไฟล์ที่เปิดอยู่สองสามตัวซึ่ง GC ควรจะดูแลอยู่ดี ฉันแค่คิดว่ามันน่าสนใจ

shutil.copyfileobjใช้

มันจะอ่านไฟล์อินพุตโดยอัตโนมัติโดยไฟล์ย่อยสำหรับคุณซึ่งมีประสิทธิภาพมากขึ้นและอ่านไฟล์อินพุตได้และจะทำงานแม้ว่าไฟล์อินพุตบางไฟล์จะใหญ่เกินไปที่จะใส่ในหน่วยความจำ:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

นั่นคือสิ่งที่ไฟล์อินพุตสำหรับ:

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

สำหรับกรณีการใช้งานนี้มันไม่ง่ายกว่าการวนซ้ำไฟล์ด้วยตนเอง แต่ในกรณีอื่น ๆ การมีตัววนซ้ำเดี่ยวที่วนซ้ำไฟล์ทั้งหมดราวกับว่ามันเป็นไฟล์เดียวมีประโยชน์มาก (นอกจากนี้ความจริงที่ว่าfileinputปิดไฟล์แต่ละไฟล์ทันทีที่เสร็จสิ้นหมายความว่าไม่จำเป็นต้องใช้withหรือcloseแต่ละไฟล์ แต่นั่นเป็นเพียงการประหยัดแบบบรรทัดเดียวไม่ใช่เรื่องใหญ่เลย)

มีคุณสมบัติที่ดีอื่น ๆfileinputเช่นความสามารถในการปรับเปลี่ยนไฟล์แบบแทนที่การกรองแต่ละบรรทัด

ตามที่ระบุไว้ในความคิดเห็นและพูดคุยกันในอีกโพสต์ , fileinputหลาม 2.7 จะไม่ทำงานตามที่ระบุ นี่คือการดัดแปลงเล็กน้อยเพื่อให้เป็นไปตามรหัส Python 2.7

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

ฉันไม่รู้เกี่ยวกับความสง่างาม แต่มันใช้งานได้:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

เกิดอะไรขึ้นกับคำสั่ง UNIX (เนื่องจากคุณไม่ได้ทำงานบน Windows):

ls | xargs cat | tee output.txt ทำงานได้อย่างไร (คุณสามารถโทรจาก python ด้วย subprocess ถ้าคุณต้องการ)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

มาตรฐานที่เรียบง่ายแสดงให้เห็นว่า shutil ทำงานได้ดีขึ้น

อีกทางเลือกหนึ่งสำหรับ @ inspectorG4dget คำตอบ (คำตอบที่ดีที่สุดถึงวันที่ 29-03-2016) ฉันทดสอบด้วย 3 ไฟล์ 436MB

@ วิธีแก้ปัญหา inspectorG4dget: 162 วินาที

ทางออกต่อไปนี้: 125 วินาที

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

แนวคิดคือการสร้างไฟล์แบตช์และดำเนินการโดยใช้ประโยชน์จาก "เทคโนโลยีที่ดีเก่า" มันกึ่งงูหลาม แต่ทำงานได้เร็วขึ้น ใช้งานได้กับ windows

หากไฟล์ไม่ใหญ่โต:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

หากไฟล์มีขนาดใหญ่เกินกว่าที่จะอ่านและเก็บไว้ใน RAM ได้อัลกอริทึมจะต้องแตกต่างกันเล็กน้อยในการอ่านแต่ละไฟล์ที่จะคัดลอกในลูปโดยกลุ่มของความยาวคงที่โดยใช้read(10000)ตัวอย่างเช่น

หากคุณมีไฟล์จำนวนมากในไดเรกทอรีglob2อาจเป็นตัวเลือกที่ดีกว่าในการสร้างรายชื่อไฟล์แทนที่จะเขียนด้วยมือ

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

ตรวจสอบวิธีการ. อ่าน () ของวัตถุไฟล์:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

คุณสามารถทำสิ่งที่ชอบ:

concat = ""
for file in files:
    concat += open(file).read()

หรือทาง ธ 'หรูหรา':

concat = ''.join([open(f).read() for f in files])

ซึ่งตามบทความนี้: http://www.skymind.com/~ocrow/python_string/ก็จะเร็วที่สุดเช่นกัน

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)