การอ่านไฟล์ไบนารีด้วย python

ฉันพบว่าไฟล์ไบนารีที่อ่านยากโดยเฉพาะด้วย Python คุณช่วยฉันหน่อยได้ไหม? ฉันต้องการอ่านไฟล์นี้ซึ่งใน Fortran 90 สามารถอ่านได้อย่างง่ายดายโดย

int*4 n_particles, n_groups
real*4 group_id(n_particles)
read (*) n_particles, n_groups
read (*) (group_id(j),j=1,n_particles)

โดยละเอียดรูปแบบไฟล์คือ:

Bytes 1-4 -- The integer 8.
Bytes 5-8 -- The number of particles, N.
Bytes 9-12 -- The number of groups.
Bytes 13-16 -- The integer 8.
Bytes 17-20 -- The integer 4*N.
Next many bytes -- The group ID numbers for all the particles.
Last 4 bytes -- The integer 4*N. 

ฉันจะอ่านสิ่งนี้ด้วย Python ได้อย่างไร ฉันลองทุกอย่างแล้วแต่มันไม่ได้ผล มีโอกาสไหมที่ฉันจะใช้โปรแกรม f90 ใน python อ่านไฟล์ไบนารีนี้แล้วบันทึกข้อมูลที่ฉันต้องใช้

อ่านเนื้อหาไฟล์ไบนารีดังนี้:

with open(fileName, mode='rb') as file: # b is important -> binary
    fileContent = file.read()

จากนั้น "แกะ" ข้อมูลไบนารีโดยใช้struct.unpack :

ไบต์เริ่มต้น: struct.unpack("iiiii", fileContent[:20])

เนื้อหา: ละเว้นไบต์ส่วนหัวและไบต์ต่อท้าย (= 24); ส่วนที่เหลือสร้างร่างกายเพื่อทราบจำนวนไบต์ในร่างกายให้หารจำนวนเต็มด้วย 4 ผลหารที่ได้รับจะคูณด้วยสตริง'i'เพื่อสร้างรูปแบบที่ถูกต้องสำหรับวิธีการแกะ:

struct.unpack("i" * ((len(fileContent) -24) // 4), fileContent[20:-4])

ไบต์ท้าย: struct.unpack("i", fileContent[-4:])

โดยทั่วไปแล้วผมอยากจะแนะนำให้คุณมองเข้าไปใช้งูใหญ่structโมดูลสำหรับการนี้ struct.unpack()มันเป็นมาตรฐานกับงูหลามและมันควรจะเป็นเรื่องง่ายในการแปลข้อกำหนดคำถามของคุณเป็นที่สตริงการจัดรูปแบบที่เหมาะสมสำหรับ

โปรดทราบว่าหากมีช่องว่างที่ "มองไม่เห็น" ระหว่าง / รอบ ๆ ฟิลด์คุณจะต้องคิดออกและรวมไว้ในการunpack()โทรมิฉะนั้นคุณจะอ่านบิตผิด

การอ่านเนื้อหาของไฟล์เพื่อให้มีบางสิ่งที่ต้องแกะเป็นเรื่องเล็กน้อย:

import struct

data = open("from_fortran.bin", "rb").read()

(eight, N) = struct.unpack("@II", data)

สิ่งนี้จะคลายสองฟิลด์แรกโดยสมมติว่าเริ่มต้นที่จุดเริ่มต้นของไฟล์ (ไม่มีช่องว่างภายในหรือข้อมูลที่ไม่เกี่ยวข้อง) และสมมติว่ามีลำดับไบต์ดั้งเดิม ( @สัญลักษณ์) Iในการจัดรูปแบบสตริงหมายความว่า "ไม่ได้ลงนามจำนวนเต็ม 32 บิต"

คุณสามารถใช้numpy.fromfileซึ่งสามารถอ่านข้อมูลจากทั้งข้อความและไฟล์ไบนารี ก่อนอื่นคุณต้องสร้างประเภทข้อมูลซึ่งแสดงถึงรูปแบบไฟล์ของคุณโดยใช้numpy.dtypeจากนั้นอ่านประเภทนี้จากไฟล์โดยใช้numpy.fromfile.

ในการอ่านไฟล์ไบนารีไปยังbytesวัตถุ:

from pathlib import Path
data = Path('/path/to/file').read_bytes()  # Python 3.5+

ในการสร้างintจากไบต์ 0-3 ของข้อมูล:

i = int.from_bytes(data[:4], byteorder='little', signed=False)

ในการคลายไฟล์หลายไฟล์intจากข้อมูล:

import struct
ints = struct.unpack('iiii', data[:16])

• pathlib
• int.from_bytes()
• struct

ฉันพบว่า Python ขาดเมื่อพูดถึงการอ่านและเขียนไฟล์ไบนารีดังนั้นฉันจึงเขียนโมดูลเล็ก ๆ (สำหรับ Python 3.6+)

ด้วยbinaryfileคุณจะทำสิ่งนี้ (ฉันเดาว่าเพราะฉันไม่รู้จัก Fortran):

import binaryfile

def particle_file(f):
    f.array('group_ids')  # Declare group_ids to be an array (so we can use it in a loop)
    f.skip(4)  # Bytes 1-4
    num_particles = f.count('num_particles', 'group_ids', 4)  # Bytes 5-8
    f.int('num_groups', 4)  # Bytes 9-12
    f.skip(8)  # Bytes 13-20
    for i in range(num_particles):
        f.struct('group_ids', '>f')  # 4 bytes x num_particles
    f.skip(4)

with open('myfile.bin', 'rb') as fh:
    result = binaryfile.read(fh, particle_file)
print(result)

ซึ่งให้ผลลัพธ์ดังนี้:

{
    'group_ids': [(1.0,), (0.0,), (2.0,), (0.0,), (1.0,)],
    '__skipped': [b'\x00\x00\x00\x08', b'\x00\x00\x00\x08\x00\x00\x00\x14', b'\x00\x00\x00\x14'],
    'num_particles': 5,
    'num_groups': 3
}

ฉันใช้การข้าม () เพื่อข้ามข้อมูลเพิ่มเติมที่ Fortran เพิ่ม แต่คุณอาจต้องการเพิ่มยูทิลิตี้เพื่อจัดการกับระเบียน Fortran อย่างถูกต้องแทน หากคุณเป็นเช่นนั้นคำขอดึงจะยินดีต้อนรับ

import pickle
f=open("filename.dat","rb")
try:
    while True:
        x=pickle.load(f)
        print x
except EOFError:
    pass
f.close()