ต้องมีวิธีทำง่ายๆแน่นอน!
ฉันได้ลองใช้แอปบรรทัดคำสั่งของ Linux sha1sumแล้วmd5sumแต่ดูเหมือนว่าจะสามารถคำนวณแฮชของไฟล์แต่ละไฟล์และแสดงรายการค่าแฮชได้หนึ่งรายการสำหรับแต่ละไฟล์
ฉันต้องการสร้างแฮชเดียวสำหรับเนื้อหาทั้งหมดของโฟลเดอร์ (ไม่ใช่แค่ชื่อไฟล์)
ฉันต้องการทำสิ่งที่ชอบ
sha1sum /folder/of/stuff > singlehashvalue
แก้ไข:เพื่อชี้แจงไฟล์ของฉันอยู่ในหลายระดับในแผนผังไดเรกทอรีไม่ใช่ทั้งหมดที่อยู่ในโฟลเดอร์รูทเดียวกัน
คำตอบ:
วิธีหนึ่งที่เป็นไปได้คือ:
เส้นทาง sha1sum / ถึง / โฟลเดอร์ / * | sha1sum
หากมีแผนผังไดเร็กทอรีทั้งหมดคุณน่าจะดีกว่าถ้าใช้ find และ xargs คำสั่งหนึ่งที่เป็นไปได้คือ
ค้นหา path / to / folder -type f -print0 | เรียง -z | xargs -0 sha1sum | sha1sum
และในที่สุดหากคุณต้องคำนึงถึงสิทธิ์และไดเรกทอรีว่าง:
(find path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum;
find path/to/folder \( -type f -o -type d \) -print0 | sort -z | \
xargs -0 stat -c '%n %a') \
| sha1sum
อาร์กิวเมนต์ที่statจะทำให้มันพิมพ์ชื่อของไฟล์ตามด้วยสิทธิ์ฐานแปด การค้นพบทั้งสองจะทำงานทีละรายการทำให้มี IO ดิสก์เพิ่มขึ้นเป็นสองเท่าครั้งแรกค้นหาชื่อไฟล์ทั้งหมดและตรวจสอบเนื้อหาส่วนที่สองค้นหาชื่อไฟล์และไดเรกทอรีทั้งหมดชื่อและโหมดการพิมพ์ รายการ "ชื่อไฟล์และเช็คซัม" ตามด้วย "ชื่อและไดเร็กทอรีพร้อมสิทธิ์" จะถูกตรวจสอบเพื่อให้มีการตรวจสอบขนาดเล็กลง
find ./folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum
/กับpath/to/folderบิต
แฮชบอล tar ของไดเร็กทอรี:
tar cvf - /path/to/folder | sha1sum
เขียนโค้ดด้วยตัวคุณเองเช่นoneliner ของ vatine :
find /path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum
git config --local core.fileMode falseก่อนตัดสินใจเพื่อหลีกเลี่ยงปัญหานี้ ฉันไม่รู้ว่ามีข้อแม้แบบนี้อีกหรือไม่
คุณทำได้ tar -c /path/to/folder | sha1sum
--mtime tar -c /path/to/folder --mtime="1970-01-01" | sha1sum
หากคุณต้องการตรวจสอบว่ามีอะไรเปลี่ยนแปลงในโฟลเดอร์หรือไม่ฉันขอแนะนำสิ่งนี้:
ls -alR --full-time /folder/of/stuff | sha1sum
มันจะให้แฮชของเอาต์พุต ls ซึ่งประกอบด้วยโฟลเดอร์โฟลเดอร์ย่อยไฟล์การประทับเวลาขนาดและสิทธิ์ เกือบทุกอย่างที่คุณต้องพิจารณาว่ามีอะไรเปลี่ยนแปลงหรือไม่
โปรดทราบว่าคำสั่งนี้จะไม่สร้างแฮชสำหรับแต่ละไฟล์ แต่นั่นคือเหตุผลว่าทำไมจึงควรเร็วกว่าการใช้ find
นี่คือสิ่งที่ฉันมีอยู่บนหัวของฉันใครก็ตามที่ใช้เวลาทำงานกับสิ่งนี้ในทางปฏิบัติจะได้จับ gotchas และกรณีมุมอื่น ๆ
นี่เป็นเครื่องมือที่มีน้ำหนักเบามากสำหรับหน่วยความจำซึ่งส่วนใหญ่อาจมีความหยาบรอบ ๆ ขอบ แต่ก็มีประโยชน์มาก
dtreetrawlใช้งานที่เป็นตัวอย่างและการส่งออกของ
Usage:
dtreetrawl [OPTION...] "/trawl/me" [path2,...]
Help Options:
-h, --help Show help options
Application Options:
-t, --terse Produce a terse output; parsable.
-j, --json Output as JSON
-d, --delim=: Character or string delimiter/separator for terse output(default ':')
-l, --max-level=N Do not traverse tree beyond N level(s)
--hash Enable hashing(default is MD5).
-c, --checksum=md5 Valid hashing algorithms: md5, sha1, sha256, sha512.
-R, --only-root-hash Output only the root hash. Blank line if --hash is not set
-N, --no-name-hash Exclude path name while calculating the root checksum
-F, --no-content-hash Do not hash the contents of the file
-s, --hash-symlink Include symbolic links' referent name while calculating the root checksum
-e, --hash-dirent Include hash of directory entries while calculating root checksum
ตัวอย่างผลลัพธ์ที่เป็นมิตรกับมนุษย์:
...
... //clipped
...
/home/lab/linux-4.14-rc8/CREDITS
Base name : CREDITS
Level : 1
Type : regular file
Referent name :
File size : 98443 bytes
I-node number : 290850
No. directory entries : 0
Permission (octal) : 0644
Link count : 1
Ownership : UID=0, GID=0
Preferred I/O block size : 4096 bytes
Blocks allocated : 200
Last status change : Tue, 21 Nov 17 21:28:18 +0530
Last file access : Thu, 28 Dec 17 00:53:27 +0530
Last file modification : Tue, 21 Nov 17 21:28:18 +0530
Hash : 9f0312d130016d103aa5fc9d16a2437e
Stats for /home/lab/linux-4.14-rc8:
Elapsed time : 1.305767 s
Start time : Sun, 07 Jan 18 03:42:39 +0530
Root hash : 434e93111ad6f9335bb4954bc8f4eca4
Hash type : md5
Depth : 8
Total,
size : 66850916 bytes
entries : 12484
directories : 763
regular files : 11715
symlinks : 6
block devices : 0
char devices : 0
sockets : 0
FIFOs/pipes : 0
หากคุณแค่ต้องการแฮชเนื้อหาของไฟล์โดยไม่สนใจชื่อไฟล์คุณก็สามารถใช้ได้
cat $FILES | md5sum
ตรวจสอบให้แน่ใจว่าคุณมีไฟล์ในลำดับเดียวกันเมื่อคำนวณแฮช:
cat $(echo $FILES | sort) | md5sum
แต่คุณไม่สามารถมีไดเร็กทอรีในรายการไฟล์ของคุณ
เครื่องมืออื่นในการบรรลุเป้าหมายนี้:
http://md5deep.sourceforge.net/
ตามที่เป็นเสียง: เช่น md5sum แต่ยังเรียกซ้ำพร้อมคุณสมบัติอื่น ๆ
หากนี่เป็น git repo และคุณต้องการละเว้นไฟล์ใด ๆ ใน.gitignoreคุณอาจต้องการใช้สิ่งนี้:
git ls-files <your_directory> | xargs sha256sum | cut -d" " -f1 | sha256sum | cut -d" " -f1
สิ่งนี้ใช้ได้ดีสำหรับฉัน
มีสคริปต์ python สำหรับสิ่งนั้น:
http://code.activestate.com/recipes/576973-getting-the-sha-1-or-md5-hash-of-a-directory/
หากคุณเปลี่ยนชื่อไฟล์โดยไม่เปลี่ยนลำดับตัวอักษรสคริปต์แฮชจะตรวจไม่พบ แต่ถ้าคุณเปลี่ยนลำดับของไฟล์หรือเนื้อหาของไฟล์ใด ๆ การเรียกใช้สคริปต์จะทำให้คุณมีแฮชที่แตกต่างจากเดิม
ฉันต้องตรวจสอบในไดเรกทอรีทั้งหมดสำหรับการเปลี่ยนแปลงไฟล์
แต่มีการยกเว้นการประทับเวลาการเป็นเจ้าของไดเรกทอรี
เป้าหมายคือการได้รับผลรวมที่เหมือนกันทุกที่หากไฟล์เหมือนกัน
รวมถึงโฮสต์ลงในเครื่องอื่น ๆ โดยไม่คำนึงถึงสิ่งใดก็ตามนอกจากไฟล์หรือการเปลี่ยนแปลงไฟล์เหล่านั้น
md5sum * | md5sum | cut -d' ' -f1
สร้างรายการแฮชตามไฟล์จากนั้นเชื่อมแฮชเหล่านั้นเข้าด้วยกัน
วิธีนี้เร็วกว่าวิธีน้ำมันดิน
เพื่อความเป็นส่วนตัวที่ดียิ่งขึ้นในแฮชของเราเราสามารถใช้sha512sumในสูตรเดียวกัน
sha512sum * | sha512sum | cut -d' ' -f1
แฮชยังเหมือนกันทุกที่โดยใช้sha512sumแต่ไม่มีวิธีใดที่ทราบวิธีย้อนกลับ
sha256sum /tmp/thd-agent/* | sortคือสิ่งที่ฉันกำลังพยายามเพื่อการสั่งซื้อที่เชื่อถือได้จากนั้นก็แฮ็กมัน
ls -r | sha256sumไง?
ลองทำในสองขั้นตอน:
ชอบมาก:
# for FILE in `find /folder/of/stuff -type f | sort`; do sha1sum $FILE >> hashes; done
# sha1sum hashes
หรือทำทั้งหมดในครั้งเดียว:
# cat `find /folder/of/stuff -type f | sort` | sha1sum
for F in 'find ...' ...ไม่ทำงานเมื่อคุณมีช่องว่างในชื่อ (ซึ่งคุณมักจะทำในปัจจุบัน)
ฉันจะไพพ์ผลลัพธ์สำหรับแต่ละไฟล์ผ่านsort(เพื่อป้องกันไม่ให้มีการเรียงลำดับไฟล์ใหม่เพื่อเปลี่ยนแฮช) md5sumหรือsha1sumแล้วแต่คุณจะเลือก
ฉันได้เขียนสคริปต์ Groovy เพื่อทำสิ่งนี้:
import java.security.MessageDigest
public static String generateDigest(File file, String digest, int paddedLength){
MessageDigest md = MessageDigest.getInstance(digest)
md.reset()
def files = []
def directories = []
if(file.isDirectory()){
file.eachFileRecurse(){sf ->
if(sf.isFile()){
files.add(sf)
}
else{
directories.add(file.toURI().relativize(sf.toURI()).toString())
}
}
}
else if(file.isFile()){
files.add(file)
}
files.sort({a, b -> return a.getAbsolutePath() <=> b.getAbsolutePath()})
directories.sort()
files.each(){f ->
println file.toURI().relativize(f.toURI()).toString()
f.withInputStream(){is ->
byte[] buffer = new byte[8192]
int read = 0
while((read = is.read(buffer)) > 0){
md.update(buffer, 0, read)
}
}
}
directories.each(){d ->
println d
md.update(d.getBytes())
}
byte[] digestBytes = md.digest()
BigInteger bigInt = new BigInteger(1, digestBytes)
return bigInt.toString(16).padLeft(paddedLength, '0')
}
println "\n${generateDigest(new File(args[0]), 'SHA-256', 64)}"
คุณสามารถปรับแต่งการใช้งานเพื่อหลีกเลี่ยงการพิมพ์แต่ละไฟล์เปลี่ยนการย่อยข้อความนำการแฮชไดเรกทอรีออก ฯลฯ ฉันได้ทดสอบกับข้อมูลการทดสอบ NIST แล้วและทำงานได้ตามที่คาดไว้ http://www.nsrl.nist.gov/testdata/
gary-macbook:Scripts garypaduana$ groovy dirHash.groovy /Users/garypaduana/.config
.DS_Store
configstore/bower-github.yml
configstore/insight-bower.json
configstore/update-notifier-bower.json
filezilla/filezilla.xml
filezilla/layout.xml
filezilla/lockfile
filezilla/queue.sqlite3
filezilla/recentservers.xml
filezilla/sitemanager.xml
gtk-2.0/gtkfilechooser.ini
a/
configstore/
filezilla/
gtk-2.0/
lftp/
menus/
menus/applications-merged/
79de5e583734ca40ff651a3d9a54d106b52e94f1f8c2cd7133ca3bbddc0c6758
คุณสามารถsha1sumสร้างรายการค่าแฮชจากนั้นsha1sumรายการนั้นอีกครั้งขึ้นอยู่กับว่าคุณต้องการทำอะไรให้สำเร็จ
นี่คือรูปแบบสั้น ๆ ที่เรียบง่ายใน Python 3 ที่ใช้งานได้ดีสำหรับไฟล์ขนาดเล็ก (เช่นซอร์สทรีหรือบางสิ่งบางอย่างโดยที่ไฟล์แต่ละไฟล์สามารถใส่ลงใน RAM ได้อย่างง่ายดาย) โดยไม่สนใจไดเร็กทอรีว่างตามแนวคิดจากโซลูชันอื่น ๆ :
import os, hashlib
def hash_for_directory(path, hashfunc=hashlib.sha1):
filenames = sorted(os.path.join(dp, fn) for dp, _, fns in os.walk(path) for fn in fns)
index = '\n'.join('{}={}'.format(os.path.relpath(fn, path), hashfunc(open(fn, 'rb').read()).hexdigest()) for fn in filenames)
return hashfunc(index.encode('utf-8')).hexdigest()
มันทำงานดังนี้:
คุณสามารถส่งผ่านฟังก์ชันแฮชอื่นเป็นพารามิเตอร์ที่สองได้หาก SHA-1 ไม่ใช่ถ้วยชาของคุณ
วิธีที่เร็วที่สุดในการทำยังคงเป็นน้ำมันดิน และด้วยพารามิเตอร์เพิ่มเติมหลายตัวเรายังสามารถกำจัดความแตกต่างที่เกิดจากข้อมูลเมตาได้
ในการใช้ tar สำหรับแฮช dir คุณต้องแน่ใจว่าคุณเรียงลำดับเส้นทางระหว่าง tar มิฉะนั้นจะแตกต่างกันเสมอ
tar -C <root-dir> -cf - --sort=name <dir> | sha256sum
หากคุณไม่สนใจเกี่ยวกับเวลาในการเข้าถึงหรือแก้ไขเวลาให้ใช้สิ่งที่ต้องการ--mtime='UTC 2019-01-01' ตรวจสอบให้แน่ใจว่าการประทับเวลาทั้งหมดเหมือนกัน
โดยปกติเราจำเป็นต้องเพิ่ม--group=0 --owner=0 --numeric-ownerเพื่อรวมข้อมูลเมตาของเจ้าของ
ใช้ --exclude=PATTERN