คำถามติดแท็ก deduplication

การลบข้อมูลซ้ำซ้อนคือการค้นหาและลบไฟล์ที่ซ้ำกัน

15
ไฟล์และโฟลเดอร์ตัวค้นหาใดที่ซ้ำกันมีอยู่สำหรับ Windows [ปิด]
ฉันต้องการแอพตัวค้นหาไฟล์ / กำจัดที่ซ้ำกันฟรีที่มีความสามารถในการค้นหาไฟล์ / โฟลเดอร์ที่ซ้ำกันตามชื่อและ / หรือขนาดและเพื่อลบหนึ่งในรายการที่ซ้ำกัน
5
วิธีแทนที่ไฟล์ที่ซ้ำกันทั้งหมดด้วยฮาร์ดลิงก์?
ฉันมีสองโฟลเดอร์ที่มีไฟล์ต่าง ๆ ไฟล์บางไฟล์จากโฟลเดอร์แรกมีสำเนาถูกต้องในโฟลเดอร์ที่สอง ฉันต้องการแทนที่สิ่งเหล่านั้นด้วยฮาร์ดลิงก์ ฉันจะทำสิ่งนั้นได้อย่างไร
3
จะทำข้อมูลซ้ำซ้อน 40TB อย่างไร
ฉันได้สืบทอดคลัสเตอร์การวิจัยที่มี ~ 40TB ของข้อมูลในระบบไฟล์ทั้งสาม ข้อมูลนั้นยืดเยื้อมาเกือบ 15 ปีและมีแนวโน้มที่จะเกิดการซ้ำซ้อนได้มากเนื่องจากนักวิจัยคัดลอกข้อมูลของแต่ละคนด้วยเหตุผลที่แตกต่างกัน ฉันรู้เกี่ยวกับเครื่องมือกำจัดความผิดพลาดเช่น fdupes และ rmlint ฉันพยายามหาชุดที่ทำงานบนชุดข้อมูลขนาดใหญ่เช่นนั้น ฉันไม่สนใจว่าจะใช้เวลาหลายสัปดาห์ (หรืออาจเป็นเดือน) ในการรวบรวมข้อมูลทั้งหมด - ฉันอาจจะเร่งความเร็วเพื่อให้ง่ายต่อระบบไฟล์ แต่ฉันต้องการค้นหาเครื่องมือที่มีประสิทธิภาพสูงสุดกับ RAM หรือสามารถเก็บข้อมูลตัวกลางทั้งหมดที่ต้องการในไฟล์มากกว่า RAM ฉันสมมติว่า RAM ของฉัน (64GB) จะหมดลงหากฉันรวบรวมข้อมูลทั้งหมดนี้เป็นชุดเดียว ฉันกำลังทดลองกับ fdupes บนต้นไม้ 900GB เป็น 25% ของวิธีการผ่านและการใช้ RAM ได้คืบคลานช้าตลอดเวลาตอนนี้มันอยู่ที่ 700MB หรือมีวิธีที่จะนำกระบวนการไปใช้แรมที่ดิสก์แมปดังนั้นจึงมีให้ใช้มากขึ้นและไม่ใช้ RAM ระบบหรือไม่ ฉันใช้ CentOS 6
6
วิธีที่ดีที่สุดในการลบไฟล์ภาพที่ซ้ำกันออกจากคอมพิวเตอร์ของคุณคืออะไร?
ฉันมีไฟล์รูปภาพที่ซ้ำกันจำนวนมากในคอมพิวเตอร์ Windows ของฉันในโฟลเดอร์ย่อยที่แตกต่างกันและมีชื่อไฟล์ต่างกัน โปรแกรม Python script หรือ freeware ใดที่คุณแนะนำให้ลบรายการที่ซ้ำกันออก (ฉันได้อ่านคำถามที่คล้ายกันนี้แต่ผู้โพสต์มีการถามเกี่ยวกับการทำสำเนาภาพด้วยขนาดไฟล์ที่แตกต่างกันเหมืองของฉันซ้ำซ้อนกับชื่อไฟล์ที่แตกต่างกัน)
3
มีโปรแกรมบีบอัดหรือโปรแกรมจัดเก็บถาวรสำหรับ Windows ที่ใช้การขจัดข้อมูลซ้ำซ้อนหรือไม่ [ปิด]
ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นหัวข้อสำหรับผู้ใช้ขั้นสูง ปิดให้บริการใน3 ปีที่ผ่านมา ฉันกำลังมองหาโปรแกรมผู้จัดทำที่สามารถทำการลดความซ้ำซ้อน (dedupe) ในไฟล์ที่ถูกเก็บถาวรได้ เมื่อทำการคลายไฟล์เก็บถาวรซอฟต์แวร์จะลบไฟล์ใด ๆ ที่ถูกลบระหว่างกระบวนการบีบอัด จนถึงตอนนี้ฉันได้พบ: http://www.exdupe.com/ http://archiver.reasonables.com/ ใครรู้เรื่องอื่น ๆ บ้าง? นี่อาจจะเป็นส่วนเสริมที่ดีเลิศสำหรับ 7-zip
4
วิธีลบแถวที่ซ้ำกันโดยยึดตามคอลัมน์บางคอลัมน์
ฉันมีแผ่นงาน Excel ที่มีแถวที่ซ้ำกัน ฉันต้องการลบแถวหากคอลัมน์ ACDEF เหมือนกัน (ข้าม B ในขณะคำนวณซ้ำ แต่ลบออกขณะลบแถว) ในขณะนี้มันจะไม่สนใจ B ในขณะที่การเปรียบเทียบและการลบ
7
วิธีการทำซ้ำไฟล์
ฉันต้องการสำรองและเก็บไฟล์ไว้ในเครื่องหลายเครื่อง น่าเสียดายที่ไฟล์เหล่านี้มีไฟล์ขนาดใหญ่บางไฟล์ซึ่งเป็นไฟล์เดียวกัน แต่จัดเก็บต่างกันในเครื่องที่แตกต่างกัน ตัวอย่างเช่นอาจมีภาพถ่ายสองสามร้อยภาพที่ถูกคัดลอกจากคอมพิวเตอร์เครื่องหนึ่งไปยังอีกเครื่องหนึ่งเป็นการสำรองข้อมูลแบบเฉพาะกิจ ตอนนี้ฉันต้องการสร้างที่เก็บไฟล์ทั่วไปฉันไม่ต้องการสำเนาภาพถ่ายเดียวกันหลายชุด หากฉันคัดลอกไฟล์ทั้งหมดเหล่านี้ไปยังไดเรกทอรีเดียวมีเครื่องมือที่สามารถผ่านและจดจำไฟล์ที่ซ้ำกันและให้รายการหรือลบหนึ่งในรายการที่ซ้ำกันได้หรือไม่
5
ค้นหา mp3 ซ้ำฟรี [ปิด]
ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นหัวข้อสำหรับผู้ใช้ขั้นสูง ปิดให้บริการใน5 ปีที่ผ่านมา บางครั้งฉันใช้เครื่องมือค้นหาไฟล์ซ้ำสำหรับ mp3 โดยการวิเคราะห์เนื้อหาโชคไม่ดีที่ฟรีและแชร์แวร์มีข้อ จำกัด มากมาย มี freeware หรือ OSS ใดบ้างในการตรวจจับและลบเพลงที่ซ้ำกัน
3
ฉันจะมีสองไฟล์ที่มีชื่อเดียวกันในไดเร็กทอรีเมื่อเมาต์ด้วย NFS ได้อย่างไร?
ฉันมีการทดสอบแอปพลิเคชัน C ++ ที่สร้าง 10,000 ไฟล์ในไดเรกทอรีที่เมาท์ NFS แต่การทดสอบของฉันล้มเหลวเมื่อเร็ว ๆ นี้เนื่องจากไฟล์หนึ่งปรากฏสองครั้งด้วยชื่อเดียวกันในไดเรกทอรีนั้นและอีก 10,000 ไฟล์ทั้งหมด สิ่งนี้สามารถเห็นได้บน Linux Centos v4 หรือ v5 โดยที่ไดเร็กทอรีนั้นถูกเมาท์ NFS แต่ไม่ใช่บนเครื่องโฮสต์ที่ดิสก์อยู่ เป็นไปได้ยังไงที่จะมีสองไฟล์ที่มีชื่อเดียวกันในไดเรกทอรีเดียวกัน? [centos4x32 destination] ls -al ./testfile03373 -rwx------ 1 user root 3373 Sep 3 03:23 ./testfile03373* [centos4x32 destination] ls -al ./testfile03373* -rwx------ 1 user root 3373 Sep 3 03:23 ./testfile03373* …
3
ค้นหาไฟล์ที่ใกล้เคียงกันในโฟลเดอร์
ฉันมีโฟลเดอร์ที่เต็มไปด้วยไฟล์ที่มีจำนวนไฟล์ซ้ำกัน น่าเสียดายที่ในหลายกรณีรุ่นหนึ่งเป็นรุ่นที่อัปเดตแล้วอีกรุ่นหนึ่งดังนั้นการจับคู่แบบไบท์โดยตรงจึงไม่พบความซ้ำซ้อน (ฉันเคยดู คำถามนี้ แต่สิ่งที่ฉันได้ดูจากรายการดูเหมือนจะทำการเปรียบเทียบแบบไบต์เท่านั้น ... ) มีแอพพลิเคชั่นที่ใช้งานซ้ำซ้อน (Windows) ที่สามารถจับคู่ความเหมือนกันและชี้ผู้ใช้ไปยังไฟล์ที่เป็นปัญหาเพื่อการตรวจสอบหรือไม่? ฟรีแวร์ดีทดลองใช้ฟรีเป็นที่ยอมรับ แม้กระทั่งรายการความคล้ายคลึงกันเพื่อบอกให้ฉันดูว่าที่ไหนจะได้ผล แก้ไข: ขออภัยฉันควรจะกล่าวถึง; ไฟล์เหล่านี้เป็นไฟล์แบบข้อความเป็นหลักโดยเฉพาะ DOC, PPT และ PDF สิ่งที่น่าจะมีการเปลี่ยนแปลงมากที่สุดคือเนื้อหา แต่การจัดรูปแบบอาจแตกต่างกันเช่นกัน แม้เพียงแค่หยิบขึ้นมาเกี่ยวกับการเปลี่ยนแปลงข้อความอาจจะเป็นประโยชน์แม้ว่า ...
2
สแกนไฟล์ซ้ำ
ฉันมีเครือข่ายเก็บข้อมูล 15TB และตอนนี้ฉันเหลือประมาณ 2.5TB (เนื่องจากมีการทำซ้ำจำนวนมาก) ฉันได้ลองสแกนเนอร์หลายตัว แต่ฉันประสบความสำเร็จเพียงเล็กน้อยในที่สุดพวกเขาก็พังเพราะข้อมูลจำนวนมหาศาล มีโปรแกรมใด ๆ ที่คุณรู้หรือไม่ว่าจะสามารถรองรับการโหลดขนาดใหญ่เหล่านี้ได้ ฉันไม่สนใจเกี่ยวกับแพลตฟอร์มที่รันอยู่ ขอขอบคุณ.
0
การทำสำเนาข้อมูลในสายคุ้มค่าหรือไม่เมื่อสำรองข้อมูลช่างภาพ
ฉันสร้างไฟล์ภาพ RAW พร้อมไฟล์ JPEG จำนวนเล็กน้อยที่ได้รับจากผู้เชี่ยวชาญ RAW JPEG ที่สร้างขึ้นครั้งเดียวนั้นแก้ไขได้ยากมาก แต่เมื่อพวกเขาถูกบีบอัดไฟล์ทั้งหมดจะเปลี่ยนไป เมื่อแก้ไขภาพ RAW ฉันใช้ซอฟต์แวร์ที่ทำให้การเปลี่ยนแปลงแบบไม่ทำลาย ไฟล์ตัวอย่างและไฟล์เมตา (XMP <40KB) ถูกสร้างขึ้นร่วมกับแคตตาล็อกที่ติดตามการเปลี่ยนแปลงร่วมกัน ฉันจัดการการสำรองข้อมูลตัวอย่างและแคตาล็อกไฟล์ในระบบแยกต่างหากดังนั้นสำหรับคำถามนี้ฉันกังวลเฉพาะกับ RAWs, XMPs และ JPEG เท่านั้น ฉันต้องการสำรองไฟล์ RAW, JPEG และ XMP ทั้งหมดนอกสถานที่ผ่านการเชื่อมต่อ WAN โดยอ้างอิงจากไฟล์ใหม่และไฟล์ที่ถูกแก้ไขบนระบบไฟล์ที่ถูกสแกนเพื่อทำการเปลี่ยนแปลงวันละครั้ง การทำสำเนาซ้ำดูเหมือนว่าจะทำงานได้โดยการอ่านบางส่วนของไฟล์และสร้างแฮชที่อ่อนแอเพื่อเปรียบเทียบกับส่วนอื่น ๆ ของไฟล์ หากพบว่าแฮชเหมือนกับแฮชที่แข็งแกร่งกว่าจะถูกสร้างขึ้นและส่วนจะถูกเปรียบเทียบอีกครั้ง หากบางส่วนยังคงสร้างแฮชเดียวกันส่วนที่สองจะไม่ถูกอัปโหลด ระบบสำรองจะชี้ส่วนที่ซ้ำกันของไฟล์ไปที่สำเนาสำรองก่อนหน้านี้ คำถามของฉันคือ ... หากไฟล์ RAW ไม่เปลี่ยนแปลงและ ... JPEG จะไม่ค่อยเปลี่ยนแปลงและ ... ไฟล์ XMP อาจมีการเปลี่ยนแปลงบางส่วนของไฟล์และ ... ความต้องการ …
2
วิธีการเปิดใช้งานการคัดลอกข้อมูลในไคลเอนต์ Windows 8.1
ฉันจะเปิดใช้งาน Data Deduplication ในไคลเอนต์ Windows 8.1 x64 ได้อย่างไร http://weikingteh.wordpress.com/2013/01/15/how-to-enable-data-deduplication-in-windows-8/ ลิงค์ด้านบนกล่าวถึงสิ่งเดียวกันสำหรับไคลเอนต์ Windows 8 อย่างไรก็ตามฉันจำเป็นต้องรู้วิธีระบุแพ็คเกจสำหรับระบบปฏิบัติการ Win8.1
1
ขนาดไฟล์อัตราต่อรองจะเท่ากันหากคุณทำโฟโต้ช็อปภาพ?
ลุงของฉันเป็นช่างภาพที่มีรูปถ่ายมากมาย เขาจัดเก็บข้อมูลสำรอง (ซ้ำ) ของฮาร์ดไดรฟ์ภายนอกที่หลากหลาย 90% ของข้อมูลสำรองทั้งหมดเหมือนกัน แต่บางรายการมีการแก้ไขบางอย่างเช่นไฟล์ที่เพิ่มเข้ามาหรือรูปภาพที่มีรูปถ่าย ตอนนี้ฉันได้รับ NAS พร้อมการติดตั้ง RAID และ NAS นอกสถานที่สำหรับการสำรองข้อมูลเพิ่มเติมของเครื่องหลักเพื่อจัดเก็บข้อมูลทั้งหมดของเขาไว้ในอุปกรณ์เดียว เขาขอให้ฉันทำสำเนาสำรองซ้ำทั้งหมดและเก็บเฉพาะเวอร์ชันล่าสุดเท่านั้นลบสำเนาทั้งหมด มีแอปพลิเคชั่นอยู่สองสามตัว (แน่นอนแนะนำหนึ่งอันถ้าคุณรู้จัก (Mac / Windows) เพื่อระบุภาพที่คัดลอกเมื่อขนาดไฟล์และชื่อไฟล์เท่ากัน แต่ฉันสงสัยว่า .. TL; DR อัตราต่อรองของรูปภาพคืออะไรเพื่อให้มีขนาดไฟล์เท่ากันเมื่อมีการถ่ายภาพ? // อีกวิธีหนึ่ง: วิธีที่ดีที่สุดในการระบุความซ้ำซ้อนของภาพคืออะไร ในกรณีที่วิธีการทำงานก่อนหน้าของฉัน (ชื่อไฟล์ / ขนาด) ไม่ใช่วิธีที่ดีที่สุด ฉันมีข้อสันนิษฐานว่าหากอัตราต่อรองต่ำมาก (<1%) ฉันสามารถค้นหาและทำลายและเก็บ 1 ในทุกไฟล์ที่ทั้งชื่อไฟล์และขนาดไฟล์เท่ากัน
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.