จะทำข้อมูลซ้ำซ้อน 40TB อย่างไร

ฉันได้สืบทอดคลัสเตอร์การวิจัยที่มี ~ 40TB ของข้อมูลในระบบไฟล์ทั้งสาม ข้อมูลนั้นยืดเยื้อมาเกือบ 15 ปีและมีแนวโน้มที่จะเกิดการซ้ำซ้อนได้มากเนื่องจากนักวิจัยคัดลอกข้อมูลของแต่ละคนด้วยเหตุผลที่แตกต่างกัน

ฉันรู้เกี่ยวกับเครื่องมือกำจัดความผิดพลาดเช่น fdupes และ rmlint ฉันพยายามหาชุดที่ทำงานบนชุดข้อมูลขนาดใหญ่เช่นนั้น ฉันไม่สนใจว่าจะใช้เวลาหลายสัปดาห์ (หรืออาจเป็นเดือน) ในการรวบรวมข้อมูลทั้งหมด - ฉันอาจจะเร่งความเร็วเพื่อให้ง่ายต่อระบบไฟล์ แต่ฉันต้องการค้นหาเครื่องมือที่มีประสิทธิภาพสูงสุดกับ RAM หรือสามารถเก็บข้อมูลตัวกลางทั้งหมดที่ต้องการในไฟล์มากกว่า RAM ฉันสมมติว่า RAM ของฉัน (64GB) จะหมดลงหากฉันรวบรวมข้อมูลทั้งหมดนี้เป็นชุดเดียว

ฉันกำลังทดลองกับ fdupes บนต้นไม้ 900GB เป็น 25% ของวิธีการผ่านและการใช้ RAM ได้คืบคลานช้าตลอดเวลาตอนนี้มันอยู่ที่ 700MB

หรือมีวิธีที่จะนำกระบวนการไปใช้แรมที่ดิสก์แมปดังนั้นจึงมีให้ใช้มากขึ้นและไม่ใช้ RAM ระบบหรือไม่

ฉันใช้ CentOS 6

หรือมีวิธีที่จะนำกระบวนการไปใช้แรมที่ดิสก์แมปดังนั้นจึงมีให้ใช้มากขึ้นและไม่ใช้ RAM ระบบหรือไม่

ใช่มันเรียกว่า swap drive คุณอาจมีอยู่แล้ว หากคุณกังวลว่า RAM จะหมดการเพิ่มที่นี่เป็นจุดเริ่มต้นที่ดี มันทำงานโดยอัตโนมัติ แต่ไม่จำเป็นต้องทำอะไรเป็นพิเศษ

ฉันจะไม่กังวลเกี่ยวกับ fdupes ลองใช้มันควรจะทำงานได้โดยไม่มีปัญหา

การค้นหารายการที่ซ้ำกันตามแฮชคีย์ทำงานได้ดีและรวดเร็วมาก

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate

เขียนแอปด่วนเพื่อเดินต้นไม้ไม่ว่าจะเป็นการกด (hash, mtime) => filepath ในพจนานุกรมหรือทำเครื่องหมายไฟล์เพื่อลบหากมีรายการอยู่แล้ว แฮชจะเป็น MD5 ที่ถูกคำนวณเหนือ N ไบต์แรก คุณอาจทำสองรอบที่แตกต่างกันโดยมีแฮชเหนือ N ขนาดเล็กและอีกอันที่มีแฮชเหนือ N ขนาดใหญ่

คุณสามารถทำสิ่งนี้ได้ใน Python น้อยกว่ายี่สิบหรือสามสิบบรรทัด (โดยใช้ os.walk ())