คำถามติดแท็ก deduplication

ฉันกำลังมองหาวิธีง่ายๆ (คำสั่งหรือชุดคำสั่งอาจเกี่ยวข้องกับfind) เพื่อค้นหาไฟล์ที่ซ้ำกันในสองไดเรกทอรีและแทนที่ไฟล์ในหนึ่งไดเรกทอรีด้วย hardlinks ของไฟล์ในไดเรกทอรีอื่น นี่คือสถานการณ์: นี่คือเซิร์ฟเวอร์ไฟล์ที่หลาย ๆ คนเก็บไฟล์เสียงไว้ผู้ใช้แต่ละคนจะมีโฟลเดอร์ของตัวเอง บางครั้งหลายคนมีสำเนาของไฟล์เสียงเดียวกันแน่นอน ตอนนี้สิ่งเหล่านี้ซ้ำซ้อน ฉันต้องการทำให้เป็นฮาร์ดลิงก์เพื่อประหยัดพื้นที่ฮาร์ดไดรฟ์

136 files  hard-link  deduplication  duplicate-files 

ฉันไม่มีประสบการณ์กับ btrfs แต่โฆษณาเพื่อให้สามารถยกเลิกการทำซ้ำไฟล์ได้ ในใบสมัครของฉันฉันจะต้องทำซ้ำแผนผังไดเรกทอรีทั้งหมด จากสิ่งที่ฉันได้เรียนรู้ btrfs ทำซ้ำเฉพาะในบางโพสต์สแกนไม่ใช่ทันที แม้กระทั่งการใช้cpก็ไม่ได้ทำให้เกิดการซ้ำซ้อน (อย่างน้อยก็dfแสดงการใช้งานดิสก์ที่เพิ่มขึ้นในขนาดของไฟล์ที่คัดลอก) ฉันสามารถหลีกเลี่ยงการย้ายข้อมูลไปด้วยกันและบอกbtrfsให้ทำซ้ำไฟล์ที่ตำแหน่งอื่นได้โดยตรงโดยการโคลนข้อมูลเมตา ในสาระสำคัญคล้ายกับฮาร์ดลิงก์ แต่มีเมตาดาต้าอิสระ (สิทธิ์, mod. ครั้ง, ... )

14 cp  file-copy  btrfs  deduplication 

กำลังมองหาเครื่องมือการขจัดข้อมูลซ้ำซ้อนบน Linux มีมากมายให้ดูเช่นหน้าวิกินี้ สคริปต์ทั้งหมดจะทำการตรวจจับเพียงอย่างเดียวพิมพ์ชื่อไฟล์ซ้ำหรือลบไฟล์ที่ซ้ำกันออกโดยเชื่อมโยงไปยังสำเนาเดียว ด้วยการเพิ่มขึ้นของ btrfs จะมีตัวเลือกอื่น: การสร้างสำเนา (คัดลอกเมื่อเขียน) ของไฟล์ (เช่นcp reflink=always) ฉันไม่พบเครื่องมือใด ๆ ที่ทำสิ่งนี้มีใครรู้บ้างเกี่ยวกับเครื่องมือที่ทำสิ่งนี้

9 btrfs  deduplication