ฉันรู้โซลูชั่น 4 บรรทัดคำสั่งสำหรับ linux ตัวเลือกที่ฉันต้องการคือตัวสุดท้ายที่แสดงที่นี่rdfindเนื่องจากมีตัวเลือกทั้งหมดที่ใช้ได้
fdupes
- สิ่งนี้ดูเหมือนจะเป็นสิ่งที่แนะนำ / รู้จักมากที่สุด
- มันใช้ง่ายที่สุด แต่การดำเนินการเพียงอย่างเดียวคือการลบรายการที่ซ้ำกัน
- เพื่อให้แน่ใจว่าซ้ำกันจริง ๆ แล้วซ้ำกัน (ในขณะที่ไม่เรียกใช้ตลอดไป) การเปรียบเทียบระหว่างไฟล์จะถูกทำก่อนตามขนาดไฟล์จากนั้นทำการแฮช md5 จากนั้นเปรียบเทียบแบบไบต์ต่อไบต์
เอาต์พุตตัวอย่าง (พร้อมตัวเลือก "ขนาดแสดง", "เรียกซ้ำ"):
$ fdupes -Sr .
17 bytes each:
./Dir1/Some File
./Dir2/SomeFile
Hardlink
- ออกแบบมาเพื่อให้เป็นชื่อบ่งชี้แทนที่ไฟล์ที่พบด้วยการเชื่อมโยง
- มี
--dry-runตัวเลือก
- ไม่ได้ระบุว่าเนื้อหาถูกเปรียบเทียบอย่างไร แต่ต่างจากตัวเลือกอื่น ๆ ทั้งหมดโดยคำนึงถึงโหมดไฟล์บัญชีเจ้าของและเวลาที่แก้ไข
เอาต์พุตตัวอย่าง (โปรดสังเกตว่าไฟล์สองไฟล์ของฉันมีเวลาแก้ไขแตกต่างกันเล็กน้อยอย่างไรดังนั้นในการรันครั้งที่สองฉันบอกให้ไม่สนใจ)
$ stat Dir*/* | grep Modify
Modify: 2015-09-06 23:51:38.784637949 -0500
Modify: 2015-09-06 23:51:47.488638188 -0500
$ hardlink --dry-run -v .
Mode: dry-run
Files: 5
Linked: 0 files
Compared: 0 files
Saved: 0 bytes
Duration: 0.00 seconds
$ hardlink --dry-run -v -t .
[DryRun] Linking ./Dir2/SomeFile to ./Dir1/Some File (-17 bytes)
Mode: dry-run
Files: 5
Linked: 1 files
Compared: 1 files
Saved: 17 bytes
Duration: 0.00 seconds
ดัฟฟ์
- สร้างขึ้นเพื่อค้นหาไฟล์ที่ผู้ใช้ดำเนินการ ไม่มีการดำเนินการ
- การเปรียบเทียบจะทำตามขนาดไฟล์จากนั้นแฮช sha1
- แฮชสามารถเปลี่ยนเป็น sha256, sha384 หรือ sha512
- แฮชสามารถปิดใช้งานเพื่อทำการเปรียบเทียบแบบเป็นไบต์ต่อไบต์
เอาต์พุตตัวอย่าง (พร้อมตัวเลือก "เรียกซ้ำ"):
$ duff -r .
2 files in cluster 1 (17 bytes, digest 34e744e5268c613316756c679143890df3675cbb)
./Dir2/SomeFile
./Dir1/Some File
rdfind
- ตัวเลือกมีรูปแบบที่ผิดปกติ (หมายถึงเลียนแบบ
find?)
- ตัวเลือกหลายตัวเลือกสำหรับการดำเนินการกับไฟล์ที่ซ้ำกัน (ลบทำ symlink ทำฮาร์ดลิงก์)
- มีโหมดเรียกใช้แบบแห้ง
- การเปรียบเทียบจะทำตามขนาดไฟล์จากนั้นไบต์แรกจากนั้นไบต์สุดท้ายแล้วจากนั้น md5 (ค่าเริ่มต้น) หรือ sha1
- การจัดอันดับไฟล์ที่พบทำให้สามารถคาดเดาได้ว่าไฟล์ใดที่ถือว่าเป็นไฟล์ดั้งเดิม
ตัวอย่างผลลัพธ์:
$ rdfind -dryrun true -makehardlinks true .
(DRYRUN MODE) Now scanning ".", found 5 files.
(DRYRUN MODE) Now have 5 files in total.
(DRYRUN MODE) Removed 0 files due to nonunique device and inode.
(DRYRUN MODE) Now removing files with zero size from list...removed 0 files
(DRYRUN MODE) Total size is 13341 bytes or 13 kib
(DRYRUN MODE) Now sorting on size:removed 3 files due to unique sizes from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on md5 checksum:removed 0 files from list.2 files left.
(DRYRUN MODE) It seems like you have 2 files that are not unique
(DRYRUN MODE) Totally, 17 b can be reduced.
(DRYRUN MODE) Now making results file results.txt
(DRYRUN MODE) Now making hard links.
hardlink ./Dir1/Some File to ./Dir2/SomeFile
Making 1 links.
$ cat results.txt
# Automatically generated
# duptype id depth size device inode priority name
DUPTYPE_FIRST_OCCURRENCE 1 1 17 2055 24916405 1 ./Dir2/SomeFile
DUPTYPE_WITHIN_SAME_TREE -1 1 17 2055 24916406 1 ./Dir1/Some File
# end of file
