วิธีจัดการไฟล์ไบนารีหลายไฟล์ในไพ ธ อนอย่างถูกต้อง?

ฉันกำลังทำงานกับตัวดาวน์โหลดแบบมัลติเธรดด้วยความช่วยเหลือของโมดูล PycURL ฉันกำลังดาวน์โหลดบางส่วนของไฟล์และรวมเข้าด้วยกันในภายหลัง

ชิ้นส่วนจะถูกดาวน์โหลดแยกต่างหากจากหลายเธรดซึ่งจะถูกเขียนไปยังไฟล์ชั่วคราวในโหมดไบนารี แต่เมื่อฉันรวมเข้าไปในไฟล์เดียว (รวมอยู่ในลำดับที่ถูกต้อง) checksums ไม่ตรงกัน

สิ่งนี้จะเกิดขึ้นใน linux env เท่านั้น สคริปต์เดียวกันนี้ทำงานได้อย่างไม่มีที่ติใน Windows env

นี่คือรหัส (ส่วนหนึ่งของสคริปต์) ที่ผสานไฟล์:

with open(filename,'wb') as outfile:
    print('Merging temp files ...')
    for tmpfile in self.tempfile_arr:
        with open(tmpfile, 'rb') as infile:
            shutil.copyfileobj(infile, outfile)
    print('Done!')

ฉันลอง write()ใช้วิธีเช่นกัน แต่ผลลัพธ์ก็มีปัญหาเดียวกันและจะใช้หน่วยความจำจำนวนมากสำหรับไฟล์ขนาดใหญ่

หากฉันcatแบ่งไฟล์ส่วนต่าง ๆ เป็นไฟล์เดียวใน linux การตรวจสอบของไฟล์จะตรงกันปัญหาคือการรวมไฟล์ของงูใหญ่

แก้ไข:
นี่คือไฟล์และ checksums (sha256) ที่ฉันใช้ในการทำให้เกิดปัญหาซ้ำ:

• ไฟล์ต้นฉบับ
  • แฮช: 158575ed12e705a624c3134ffe3138987c64d6a7298c5a81794ccf6866efd488
• ไฟล์ถูกรวมโดยสคริปต์
  • แฮช: c3e5a0404da480f36d37b65053732abe6d19034f60c3004a908b88d459db7d87

• รวมไฟล์ด้วยตนเองโดยใช้ cat

  • แฮช: 158575ed12e705a624c3134ffe3138987c64d6a7298c5a81794ccf6866efd488

  • คำสั่งที่ใช้:

    for i in /tmp/pycurl_*_{0..7}; do cat $i >> manually_merged.tar.gz; done

• ไฟล์ส่วน - หมายเลขที่ส่วนท้ายจาก 0 ถึง 7

กรณีที่ทำซ้ำได้น้อยที่สุดจะสะดวก แต่ฉันสงสัยว่าบรรทัดใหม่สากลเป็นปัญหา: โดยค่าเริ่มต้นหากไฟล์ของคุณเป็นข้อความแบบ windows (มีการขึ้นบรรทัดใหม่\r\n) พวกเขาจะได้รับการแปลเป็นบรรทัดใหม่สไตล์ Unix ( \n) การอ่าน จากนั้นบรรทัดใหม่ของยูนิกซ์สไตล์นั้นจะถูกเขียนกลับไปที่ไฟล์เอาต์พุตแทนที่จะเป็นสไตล์ Windows ที่คุณคาดหวัง นั่นจะอธิบายความแตกต่างระหว่างไพ ธ อนและcat(ซึ่งไม่ต้องแปลอะไรเลย)

พยายามที่จะเรียกใช้ผ่านสคริปต์ของคุณnewline=''(สตริงว่างเปล่า) openไป