คำสั่ง uniq ทำงานไม่ถูกต้องหรือไม่

ดังนั้นฉันจะตรวจสอบmd5แฮชของไฟล์ของฉันด้วยสิ่งนี้เป็นผลลัพธ์ของฉัน:

657cf4512a77bf47c39a0482be8e41e0  ./dupes2.txt
657cf4512a77bf47c39a0482be8e41e0  ./dupes.txt
8d60a927ce0f411ec94ac26a4785f749  ./derpina.txt
15f63928b8a1d5337137c38b5d66eed3  ./foo.txt
8d60a927ce0f411ec94ac26a4785f749  ./derp.txt

อย่างไรก็ตามหลังจากวิ่งfind . -type f -exec md5sum '{}' ';' | uniq -w 33ไปหาแฮชที่เป็นเอกลักษณ์ฉันได้รับสิ่งนี้:

657cf4512a77bf47c39a0482be8e41e0  ./dupes2.txt
8d60a927ce0f411ec94ac26a4785f749  ./derpina.txt
15f63928b8a1d5337137c38b5d66eed3  ./foo.txt
8d60a927ce0f411ec94ac26a4785f749  ./derp.txt

จากความเข้าใจของฉันมีเพียงหนึ่งอย่างใดอย่างหนึ่งderpina.txtหรือderp.txtควรจะปรากฏขึ้นเนื่องจากแฮชของพวกเขาเหมือนกัน ฉันพลาดอะไรไปรึเปล่า? ใครสามารถบอกฉันได้ว่าทำไมมันถึงออกมาเป็นแบบนี้?

คุณต้องใช้sortก่อนuniq:

find . -type f -exec md5sum {} ';' | sort | uniq -w 33

uniqลบบรรทัดที่ทำซ้ำเท่านั้น มันไม่ได้เรียงลำดับบรรทัดที่ค้นหาการทำซ้ำ sortทำส่วนนั้น

เอกสารนี้มีไว้ในman uniq:

หมายเหตุ: 'uniq' ตรวจไม่พบบรรทัดที่ซ้ำกันยกเว้นว่าอยู่ติดกัน คุณอาจต้องการเรียงลำดับอินพุตก่อนหรือใช้sort -u' withoutuniq '

อินพุตสำหรับuniqจำเป็นต้องเรียงลำดับ ดังนั้นสำหรับกรณีตัวอย่าง

find . -type f -exec md5sum '{}' ';' | sort | uniq -w 33

จะทำงาน. -w( --check-chars=N) ทำให้เส้นที่เป็นเอกลักษณ์เฉพาะที่เกี่ยวกับคอลัมน์แรก; ตัวเลือกนี้ใช้ได้กับกรณีนี้ แต่ความเป็นไปได้ที่จะระบุส่วนที่เกี่ยวข้องของบรรทัดuniqนั้นมี จำกัด ตัวอย่างเช่นไม่มีตัวเลือกในการระบุการทำงานในบางคอลัมน์ 3 และ 5 โดยไม่สนใจคอลัมน์ 4

คำสั่งsortมีตัวเลือกสำหรับบรรทัดเอาต์พุตที่ไม่ซ้ำกันและบรรทัดนั้นไม่ซ้ำกันเกี่ยวกับคีย์ที่ใช้สำหรับการเรียงลำดับ ซึ่งหมายความว่าเราสามารถใช้ประโยชน์จากซินแท็กซ์คีย์ที่มีประสิทธิภาพของsortการกำหนดเกี่ยวกับส่วนที่บรรทัดควรจะ uniq

ตัวอย่างเช่น

find . -type f -exec md5sum '{}' ';' | sort -k 1,1 -u

ให้ผลลัพธ์เดียวกัน แต่sortส่วนนั้นยืดหยุ่นกว่าสำหรับการใช้งานอื่น ๆ

หรือคุณสามารถติดตั้ง killdupes โปรแกรมของฉันที่จะทำลายทุกไฟล์ที่ซ้ำกันมี!

https://github.com/batchmcnulty/killdupes

:-)