แฮชไฟล์ใน Python

ฉันต้องการให้ python อ่าน EOF เพื่อที่ฉันจะได้รับแฮชที่เหมาะสมไม่ว่าจะเป็น sha1 หรือ md5 กรุณาช่วย. นี่คือสิ่งที่ฉันมีจนถึงตอนนี้:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

TL; DR ใช้บัฟเฟอร์เพื่อไม่ใช้หน่วยความจำมากมาย

เราได้รับการปมของปัญหาของคุณผมเชื่อว่าเมื่อเราพิจารณาผลกระทบความทรงจำของการทำงานกับไฟล์ที่มีขนาดใหญ่มาก เราไม่ต้องการให้เด็กเลวคนนี้ปั่น RAM 2 กิ๊กสำหรับไฟล์ขนาด 2 กิกะไบต์ดังที่pasztorpistiชี้ให้เห็นเราต้องจัดการกับไฟล์ที่ใหญ่กว่านั้นเป็นชิ้น ๆ !

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

สิ่งที่เราทำคือเรากำลังอัปเดตแฮชของเด็กไม่ดีในชิ้น 64kb ของเราที่เราไปพร้อมกับสำรวยประโยชน์ hashlib ของวิธีการอัพเดต วิธีนี้ทำให้เราใช้หน่วยความจำน้อยกว่า 2gb ที่จะแฮชผู้ชายทั้งหมดในคราวเดียว!

คุณสามารถทดสอบได้ด้วย:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

หวังว่าจะช่วยได้!

นอกจากนี้ทั้งหมดนี้มีรายละเอียดอยู่ในคำถามที่เชื่อมโยงทางด้านขวามือ: รับแฮช MD5 ของไฟล์ขนาดใหญ่ใน Python

ภาคผนวก!

โดยทั่วไปเมื่อเขียนหลามจะช่วยให้ได้รับเป็นนิสัยต่อไปนี้ห้าวหาญ-8 ตัวอย่างเช่นในตัวแปร python มักจะขีดล่างแยกออกจากกันไม่ใช่ camelCased แต่นั่นเป็นเพียงรูปแบบและไม่มีใครสนใจสิ่งเหล่านั้นจริงๆยกเว้นคนที่ต้องอ่านแบบแย่ ๆ ... ซึ่งอาจเป็นเพราะคุณอ่านรหัสนี้หลายปีต่อจากนี้

สำหรับการคำนวณค่าแฮชของไฟล์ที่ถูกต้องและมีประสิทธิภาพ (ใน Python 3):

• เปิดไฟล์ในโหมดไบนารี (เช่นเพิ่มลงในโหมดไฟล์'b') เพื่อหลีกเลี่ยงปัญหาการเข้ารหัสอักขระและการแปลงแบบสิ้นสุดบรรทัด
• อย่าอ่านไฟล์ทั้งหมดลงในหน่วยความจำเนื่องจากจะเป็นการสิ้นเปลืองหน่วยความจำ ให้อ่านตามลำดับทีละบล็อกและอัปเดตแฮชสำหรับแต่ละบล็อก
• กำจัดการบัฟเฟอร์สองครั้งกล่าวคืออย่าใช้บัฟเฟอร์ IO เนื่องจากเราใช้ขนาดบล็อกที่เหมาะสมที่สุดแล้ว
• ใช้readinto()เพื่อหลีกเลี่ยงการปั่นบัฟเฟอร์

ตัวอย่าง:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

ฉันจะเสนอเพียง:

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

คำตอบอื่น ๆ ทั้งหมดที่นี่ดูเหมือนจะซับซ้อนมากเกินไป Python กำลังบัฟเฟอร์อยู่แล้วเมื่ออ่าน (ในลักษณะที่เหมาะสมหรือคุณกำหนดค่าการบัฟเฟอร์นั้นหากคุณมีข้อมูลเพิ่มเติมเกี่ยวกับที่เก็บข้อมูลพื้นฐาน) ดังนั้นจึงเป็นการดีกว่าที่จะอ่านเป็นกลุ่มฟังก์ชันแฮชจะพบว่าเหมาะอย่างยิ่งซึ่งจะทำให้เร็วขึ้นหรือเพื่อให้ CPU น้อยลง คำนวณฟังก์ชันแฮช ดังนั้นแทนที่จะปิดการใช้งานบัฟเฟอร์และพยายามเลียนแบบด้วยตัวเองคุณใช้ Python บัฟเฟอร์และควบคุมสิ่งที่คุณควรควบคุม: สิ่งที่ผู้ใช้ข้อมูลของคุณพบว่ามีขนาดบล็อกแฮชในอุดมคติ

ฉันได้ตั้งโปรแกรมโมดูลที่สามารถแฮชไฟล์ขนาดใหญ่ด้วยอัลกอริทึมที่แตกต่างกันได้

pip3 install py_essentials

ใช้โมดูลดังนี้:

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

นี่คือ Python 3 โซลูชัน POSIX (ไม่ใช่ Windows!) ที่ใช้mmapในการแมปวัตถุลงในหน่วยความจำ

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

import hashlib
user = input("Enter ")
h = hashlib.md5(user.encode())
h2 = h.hexdigest()
with open("encrypted.txt","w") as e:
    print(h2,file=e)


with open("encrypted.txt","r") as e:
    p = e.readline().strip()
    print(p)