คำนวณการย่อยหลายรายการพร้อมกัน (md5, sha256) พร้อมกันไหม

ภายใต้สมมติฐานว่าดิสก์ I / O และ RAM ว่างเป็นคอขวด (ในขณะที่เวลาของ CPU ไม่ จำกัด ) เครื่องมือมีอยู่ที่สามารถคำนวณการย่อยข้อความได้หลายข้อความพร้อมกันหรือไม่?

ฉันสนใจเป็นพิเศษในการคำนวณการแยกย่อยของไฟล์ขนาดใหญ่ MD-5 และ SHA-256 (ขนาดเป็นกิกะไบต์) โดยเฉพาะอย่างยิ่งในแบบคู่ขนาน ฉันได้ลองopenssl dgst -sha256 -md5แล้ว แต่มันจะคำนวณแฮชโดยใช้อัลกอริทึมเดียวเท่านั้น

รหัสหลอกสำหรับพฤติกรรมที่คาดหวัง:

for each block:
    for each algorithm:
        hash_state[algorithm].update(block)
for each algorithm:
    print algorithm, hash_state[algorithm].final_hash()

ตรวจสอบpee(" tee standard input to pipes") moreutilsจาก นี่เป็นteeคำสั่งที่เทียบเท่ากับคำสั่งของมาร์โกแต่พิมพ์ได้ง่ายกว่าเล็กน้อย

$ echo foo | pee md5sum sha256sum
d3b07384d113edec49eaa6238ad5ff00  -
b5bb9d8014a0f9b1d61e21e796d78dccdf1352f23cd32812f4850b878ae4944c  -

$ pee md5sum sha256sum <foo.iso
f109ffd6612e36e0fc1597eda65e9cf0  -
469a38cb785f8d47a0f85f968feff0be1d6f9398e353496ff7aa9055725bc63e  -

คุณสามารถใช้การforวนซ้ำเพื่อวนไฟล์แต่ละไฟล์จากนั้นใช้tee ร่วมกับการทดแทนกระบวนการ

ตัวอย่าง:

for file in *.mkv; do
  tee < "$file" >(sha256sum) | md5sum
done

คุณสามารถใช้เครื่องตรวจสอบมากกว่าสองเครื่อง:

for file in *.mkv; do
  tee < "$file" >(sha256sum) >(sha384sum) | md5sum
done

สิ่งนี้มีข้อเสียที่ผู้ตรวจสอบไม่ทราบชื่อไฟล์เพราะจะถูกส่งเป็นอินพุตมาตรฐาน หากไม่เป็นที่ยอมรับคุณต้องปล่อยชื่อไฟล์ด้วยตนเอง ตัวอย่างที่สมบูรณ์:

for file in *.mkv; do
  echo "$file"
  tee < "$file" >(sha256sum) >(sha384sum) | md5sum
  echo
done > hashfilelist

เป็นเรื่องน่าเสียดายที่ยูทิลิตี้ openssl ไม่ยอมรับคำสั่งย่อยหลายคำสั่ง ฉันเดาว่าการใช้คำสั่งเดียวกันกับไฟล์หลาย ๆ ไฟล์เป็นรูปแบบการใช้งานทั่วไปที่มากขึ้น FWIW เวอร์ชันของยูทิลิตี openssl บนระบบของฉัน (Mepis 11) มีคำสั่งสำหรับ sha และ sha1 เท่านั้นไม่ใช่ตัวแปร sha อื่น ๆ แต่ฉันมีโปรแกรมที่เรียกว่า sha256sum เช่นเดียวกับ md5sum

นี่คือโปรแกรม Python แบบง่าย ๆ dual_hash.py ซึ่งเป็นสิ่งที่คุณต้องการ ขนาดบล็อก 64k ดูเหมือนจะเหมาะสมที่สุดสำหรับเครื่องของฉัน (Intel Pentium 4 2.00GHz พร้อม RAM 2G), YMMV สำหรับไฟล์ขนาดเล็กความเร็วของไฟล์นั้นจะเหมือนกับการรัน md5sum และ sha256sum อย่างต่อเนื่อง แต่สำหรับไฟล์ขนาดใหญ่มันเร็วกว่ามาก เช่นในไฟล์ขนาด 1967063040 ไบต์ (ดิสก์อิมเมจของ SD การ์ดเต็มไปด้วยไฟล์ MP3) md5sum + sha256sum ใช้เวลาประมาณ 1m44.9s, dual_hash.py ใช้เวลา 1m0.312s

dual_hash.py

#! /usr/bin/env python

''' Calculate MD5 and SHA-256 digests of a file simultaneously

    Written by PM 2Ring 2014.10.23
'''

import sys
import hashlib

def digests(fname, blocksize):
    md5 = hashlib.md5()
    sha = hashlib.sha256()
    with open(fname, 'rb') as f:
        while True:
            block = f.read(blocksize)
            if not block:
                break
            md5.update(block)
            sha.update(block)

    print("md5: %s" % md5.hexdigest())
    print("sha256: %s" % sha.hexdigest())

def main(*argv):
    blocksize = 1<<16 # 64kB
    if len(argv) < 2:
        print("No filename given!\n")
        print("Calculate md5 and sha-256 message digests of a file.")
        print("Usage:\npython %s filename [blocksize]\n" % sys.argv[0])
        print("Default blocksize=%d" % blocksize)
        return 1

    fname = argv[1]

    if len(argv) > 2:
        blocksize = int(sys.argv[2])

    print("Calculating MD5 and SHA-256 digests of %r using a blocksize of %d" % (fname, blocksize))
    digests(fname, blocksize)

if __name__ == '__main__':
    sys.exit(main(*sys.argv))

ฉันคิดว่า C / C ++ รุ่นของโปรแกรมนี้จะเป็นเล็ก ๆ น้อย ๆ ได้เร็วขึ้น แต่ไม่มากเนื่องจากส่วนใหญ่ของการทำงานจะถูกดำเนินการโดยโมดูล hashlib ซึ่งถูกเขียนใน C (หรือ C ++) และตามที่คุณระบุไว้ข้างต้นคอขวดสำหรับไฟล์ขนาดใหญ่คือความเร็ว IO

คุณสามารถใช้อะไรก็ได้เช่นGNU ขนาน :

echo "/path/to/file" | parallel 'md5sum {} & sha256sum {}'

หรือเพียงเรียกใช้หนึ่งในสองรายการในพื้นหลัง:

md5sum /path/to/file & sha256sum /path/to/file

หรือบันทึกผลลัพธ์ไปยังไฟล์ต่าง ๆ และรันหลายงานในเบื้องหลัง:

for file in *; do
    md5sum "$file" > "$file".md5 &
    sha256sum "$file" > "$file".sha &
done

ที่จะเปิดตัวmd5sumและsha256sumอินสแตนซ์มากเท่าที่คุณมีไฟล์และพวกเขาทั้งหมดจะทำงานในแบบคู่ขนาน, การบันทึกผลลัพธ์ของพวกเขาไปยังชื่อไฟล์ที่เกี่ยวข้อง แม้ว่าจะมีความระมัดระวัง แต่ก็อาจหนักขึ้นหากคุณมีไฟล์จำนวนมาก

ออกจาก curiousity ไม่ว่าจะเป็นสคริปต์แบบมัลติเธรดหลามจะช่วยลดเวลาทำงานผมสร้างนี้digest.pyสคริปต์ที่ใช้threading.Thread, threading.Queueและhashlibการคำนวณ hashes สำหรับหลายไฟล์

การใช้งาน Python แบบมัลติเธรดนั้นเร็วกว่าการใช้งานpeeกับ coreutils เล็กน้อย Java ในทางกลับกันคือ ... meh ผลลัพธ์มีอยู่ในข้อความยืนยันนี้ :

สำหรับการเปรียบเทียบสำหรับไฟล์ 2.3 GiB (min / avg / max / sd secs สำหรับ n = 10):

• pee sha256sum md5sum <ไฟล์: 16.5 / 16.9 /17.4/.305
• python3 digest.py -sha256 -md5 <ไฟล์: 13.7 / 15.0 /18.7/1.77
• python2 digest.py -sha256 -md5 <ไฟล์: 13.7 / 15.9 18.7 1.64
• jacksum -a sha256 + md5 -F '#CHECKSUM {i} #FILENAME': 32.7 / 37.1 /50/6.91

เอาต์พุตแฮชเข้ากันได้กับเอาต์พุตที่ผลิตโดย coreutils เนื่องจากความยาวขึ้นอยู่กับอัลกอริทึมการแปลงแป้นพิมพ์เครื่องมือนี้จึงไม่พิมพ์ การใช้งาน (สำหรับการเปรียบเทียบpeeถูกเพิ่มเข้าไปด้วย):

$ ./digest.py -sha256 -md5 digest.py
c217e5aa3c3f9cfaca0d40b1060f6233297a3a0d2728dd19f1de3b28454975f2  digest.py
b575edf6387888a68c93bf89291f611c  digest.py
$ ./digest.py -sha256 -md5 <digest.py
c217e5aa3c3f9cfaca0d40b1060f6233297a3a0d2728dd19f1de3b28454975f2  -
b575edf6387888a68c93bf89291f611c  -
$ pee sha256sum md5sum <digest.py
c217e5aa3c3f9cfaca0d40b1060f6233297a3a0d2728dd19f1de3b28454975f2  -
b575edf6387888a68c93bf89291f611c  -

Jacksum เป็นยูทิลิตี้อิสระที่ไม่เสียค่าใช้จ่ายและเป็นแพลตฟอร์มสำหรับการคำนวณและตรวจสอบ checksums, CRC และ hash (การย่อยข้อความ) รวมถึงการประทับเวลาของไฟล์ (คัดลอกมาจากหน้าคน jacksum )

เป็นไฟล์ขนาดใหญ่ที่รับรู้ได้สามารถประมวลผลขนาดไฟล์ได้สูงสุด 8 Exabytes (= 8,000,000,000 Gigabytes) เตรียมระบบปฏิบัติการของคุณตามลำดับระบบไฟล์ของคุณก็รับรู้ไฟล์ขนาดใหญ่เช่นกัน (คัดลอกมาจากhttp://www.jonelo.de/java/jacksum/ )

ตัวอย่างการใช้งาน:

jacksum -a md5+sha256 -F "#ALGONAME{i} (#FILENAME) = #CHECKSUM{i}" jacksum-testfile

ตัวอย่างผลลัพธ์:

md5 (jacksum-testfile) = d41d8cd98f00b204e9800998ecf8427e
sha256 (jacksum-testfile) = e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855

บน Ubuntu ให้รันคำสั่งapt-get install jacksumเพื่อรับค่า

หรือจะเลือกรหัสที่มาได้ที่

• http://www.jonelo.de/java/jacksum/#Download
• http://sourceforge.net/projects/jacksum/