ไฟล์และโฟลเดอร์ตัวค้นหาใดที่ซ้ำกันมีอยู่สำหรับ Windows [ปิด]


57

ฉันต้องการแอพตัวค้นหาไฟล์ / กำจัดที่ซ้ำกันฟรีที่มีความสามารถในการค้นหาไฟล์ / โฟลเดอร์ที่ซ้ำกันตามชื่อและ / หรือขนาดและเพื่อลบหนึ่งในรายการที่ซ้ำกัน


เป็นไปได้ที่จะทำเช่นนี้โดยใช้เชลล์สคริปต์ BASH: superuser.com/questions/386199/…
Anderson Green

คำตอบ:


9

มีตัวค้นหาไฟล์ซ้ำนี้บางครั้ง แต่ตอนนี้มันมีเฉพาะในเว็บไซต์รองเช่นการอ้างอิง Softpediaนี้

เว็บไซต์ Wareseeker แสดงการอ้างอิงที่ถูกต้องhttp://dff.nazrashid.com/ซึ่งไม่ได้อยู่ใกล้ ๆ ฉันจะระมัดระวังในการดึงไฟล์ที่เรียกใช้งานได้จากไซต์ดังกล่าว

มันสามารถทำการค้นหารายการที่ซ้ำกันในหลายไดเรกทอรีต้นไม้ตาม

  • เนื้อหา (ฉันคิดว่ามันเป็น md5 ที่ตรงกัน)
  • ขนาด
  • ชื่อ
  • ชื่อและขนาด
  • เนื้อหาและชื่อ

และมันช่วยให้คุณกรองการค้นหาของคุณด้วยขนาดไฟล์ขั้นต่ำและสูงสุด (เพิ่มความเร็วในการค้นหาเมื่อคุณรู้ขอบเขต)

ซอฟต์แวร์ที่มีความคิดอย่างมาก ไม่ทราบว่ามีบางอย่างที่รวดเร็วและให้ความสำคัญกับเรื่องเหล่านี้ฟรีหรือไม่


ความคิดเห็นอ้างถึงเครื่องมือ Sourceforge ที่คล้ายกันที่เรียกว่าDoubles


2
จริงๆแล้วมันมีอยู่ใน SourceForge ที่นี่: doubles.sourceforge.net
BinaryMisfit

3
ฉันขอแนะนำให้นำลิงก์ Wareseaker ออกได้ไหม ฉันคิดว่าเราต้องระวังเมื่ออ้างถึงไซต์ Warez โดยทั่วไป
BinaryMisfit

Diagoผมเห็นด้วยกับคุณ ฉันพยายามค้นหาเครื่องมือ DupeFinder และหาไม่เจอ doublesเครื่องมือที่มีลักษณะคล้ายกัน แต่ไม่เหมือนกันมัน
nik

1
สำหรับสิ่งที่คุ้มค่าฉันพบเว็บไซต์ (หน้าแรกอย่างน้อย) ในเครื่อง Wayback: wayback.archive.org/web/20070115135708/http://dff.nazrashid.comพร้อมลิงค์ดาวน์โหลดอื่น: wayback.archive.org /web/20061207062803/http://dff.nazrashid.com/…
seanf

25

ฉันลองใช้ตัวค้นหาไฟล์ซ้ำกันหลายสิบตัว (ฉันยังมีไฟล์ตัวติดตั้ง / ไฟล์ ZIP อยู่ประมาณ 20 อันในนั้น) ฉันใช้ CloneMaster 2.19 ครั้งหนึ่งเพราะมันเป็นสิ่งที่ดีที่สุดที่ฉันสามารถหาได้แม้ว่ามันจะไม่สมบูรณ์แบบก็ตาม (ฉันต้องการที่สามารถตรวจจับ MP3 ที่ซ้ำกันด้วยเนื้อหาเสียงโดยไม่สนใจแท็ก) พวกเขาทุกคนมีปัญหาที่ทำให้ฉันผิดหวังมากพอที่ฉันตัดสินใจที่จะเขียนของตัวเองและจัดทำรายการคุณลักษณะที่ฉันต้องการ DFF

และจากนั้นผมพบว่าAllDup เป็นครั้งแรกและครั้งเดียวเท่านั้นที่ทำให้ฉันละทิ้งโครงการ (ในทางเทคนิคแล้วเหมืองไม่ได้ถูกทิ้งร้างอย่างสมบูรณ์มันไม่ได้ทำงานต่อเนื่องจากฉันไม่จำเป็นต้องเขียนอีกต่อไปเพราะ AllDup ทำทุกอย่างที่ฉันต้องการ) อย่างไรก็ตาม AllDup ค้นหาไฟล์ที่ซ้ำกัน แต่ต่างจากไฟล์อื่น ๆ มันใช้เทคนิคและเทคนิคมากมายที่ฉันจะใช้ใน DFF ของฉันเอง ด้วยเหตุนี้มันจึงเร็วมาก : ตัวอย่างเช่นสามารถสแกน> ขนาด 250,000 จาก 1B-5GB ใน ~ 30 นาที (ฉันได้ทำไว้ในระบบของฉันหลายครั้ง)

คุณสมบัติที่ยอดเยี่ยมอีกประการหนึ่ง (และหายากบางประการ) ของ AllDup คืออย่างที่ฉันบอกว่ามันสามารถสแกนหา MP3 ซ้ำโดยข้อมูลเสียงจริงของพวกเขาในขณะที่ไม่สนใจแท็กดังนั้น MP3 สองตัวที่เหมือนกัน แต่มีแท็กที่แตกต่างกัน ถูกตรวจพบว่าซ้ำซ้อน (มันสามารถตรวจจับได้แม้เมื่อฉันริพเพลงสองเพลงที่เหมือนกันจากซีดีสองแผ่นที่แตกต่างกัน - ด้วยแท็กที่แตกต่างกัน) แน่นอนว่ามันสามารถตรวจจับเพลงสองชุดตามปัจจัยอื่น ๆ นอกเหนือจากเนื้อหาไบต์ต่อไบต์เช่นชื่อไฟล์วันที่ ฯลฯ

คุณสมบัติที่ยอดเยี่ยมอื่น ๆ ของ AllDup รวมถึงความสามารถในการกรอง (รวมหรือแยก) ตามชื่อไฟล์และ / หรือชื่อโฟลเดอร์และ / หรือขนาดไฟล์ หน้าจอผลลัพธ์ยังมีความหลากหลายมากพร้อมตัวเลือกในการเลือกไฟล์ตามวันที่, เส้นทาง, ชื่อ, สิ่งนี้, อื่น ๆ ... นอกจากนี้ยังมีความหลากหลายในสิ่งที่ต้องทำกับการทำซ้ำที่ตรวจพบ

Michael Thummerer ก็เปิดกว้างมาก ฉันได้รายงานข้อผิดพลาดและคุณสมบัติที่แนะนำให้เขาหลายครั้งซึ่งเขาพูดอย่างรวดเร็วมาก (จนถึงจุดที่เขาบอกให้ฉันดาวน์โหลดและทดลองใช้เบต้าพร้อมกับการอัปเดตในอีเมลถัดไปในวันเดียวกัน)

โอ้และได้ฟรี

HTH


ลิงก์ไม่ทำงาน
Joseph

ขอบคุณสำหรับการแจ้งเตือน ฉันเดาว่าฉันต้องพิมพ์ URL ด้วยตนเองและพยายามใช้ GTLD
Synetech

ไม่สิ่งที่เกิดขึ้นคือการแก้ไขอัตโนมัติของ Chrome กลับรายการ 'e' และ 'd' (เหมือนเมื่อฉันพยายามพิมพ์dr ) Grrr (ได้รับการแก้ไขแล้วสำหรับการบันทึก)
Synetech

ฉันยังใช้หลายอย่างและนี่คือสิ่งที่ฉันตัดสิน อินเทอร์เฟซเป็น clunky เล็กน้อย แต่มีตัวเลือกที่มีประโยชน์มากมาย
endolith

คุณลองเวอร์ชั่น 3 แล้วหรือยัง มันขายค่อนข้างสวย
Synetech

14

Duplicate Cleanerเร็วมากและมีความเป็นไปได้สูงในการกรองผลลัพธ์


มันดูดีนะ มันเป็นฟรีแวร์ทำงานใน Windows 7 มีวิธีการกรองที่หลากหลายและสนับสนุนการสร้างฮาร์ดไดรฟ์ NTFS แทนการลบ
endolith

1
ไม่สามารถจัดการกับชื่อไฟล์ Unicode ได้ใช่ไหม
endolith

1
มันจัดการกับโฟลเดอร์ที่ซ้ำกันหรือไม่
Anderson Green

1
จริงๆแล้วมันจัดการกับโฟลเดอร์ที่ซ้ำกัน นี่เป็นโปรแกรมแรกที่ฉันพบ (จนถึง) ที่สามารถระบุโฟลเดอร์ที่ซ้ำกันรวมถึงไฟล์ที่ซ้ำกัน
Anderson Green

รุ่น Pro จัดการกับไฟล์ภาพที่หมุนได้ ที่ดี! ในที่สุดฉันก็สามารถจัดเรียงรูปถ่าย iOS ของฉันจากการสำรองข้อมูลอัตโนมัติของ Dropbox
JcMaco

8

Clonespy http://www.clonespy.com

ฉันพบว่าสิ่งนี้มีประโยชน์มากและมีประโยชน์มากกว่า doublekiller คุณลักษณะที่ดีเป็นพิเศษคือคุณสมบัติ "กลุ่ม" ซึ่งคุณสามารถเปรียบเทียบกลุ่มของไดเรกทอรีหนึ่งกลุ่มกับกลุ่มของไดเรกทอรีอื่นขณะที่ไม่สนใจกลุ่มที่ซ้ำกันภายในกลุ่ม

ตัวอย่างเช่นคู่ของฉันชอบเก็บไฟล์ภาพที่ซ้ำกันในขณะที่ทำงานกับรูปภาพ ฉันต้องการดูว่าฉันมีสำเนาของไฟล์เหล่านั้นในไดเรกทอรีของฉันหรือไม่

พูล 1 - ไดเรกทอรีบ้านของพันธมิตรสระว่ายน้ำ 2 - ไดเรกทอรีบ้านของฉัน

พบรายการที่ซ้ำกันเท่านั้นหากไฟล์มีทั้งในไดเรกทอรีของฉันและไดเรกทอรีของพันธมิตรของฉัน ไฟล์ที่ซ้ำกันในไดเรกทอรีของพันธมิตรของฉันจะถูกละเว้น


คุณสามารถใช้ CloneSpy เพื่อค้นหาไฟล์ที่ซ้ำกันทั้งหมด (หรือโฟลเดอร์ที่ซ้ำกัน) ในไดเรกทอรีเฉพาะได้หรือไม่?
Anderson Green

@AndersonGreen ใช่สำหรับไฟล์ที่ซ้ำกัน
FelipeAls

นี่คือการค้นหาล่อเดียวที่ฉันได้เจอที่ช่วยให้คุณทำข้ามเปรียบเทียบของไฟล์เดียว (ให้คุณวางไว้ในตำแหน่งโฟลเดอร์ที่เพียงพอ) หรือโครงสร้างโฟลเดอร์กับอีกโครงสร้างโฟลเดอร์ (หรือชุดของโฟลเดอร์ หรือโครงสร้างต้นไม้) เครื่องมืออื่น ๆ ทั้งหมดที่ฉันได้ลองตลอดหลายปีที่ผ่านมาไม่ผ่านจุดนี้! นี่เป็นสิ่งเดียวที่ทำถูกต้อง
Samir

ฉันมักจะพบว่าตัวเองอยู่ในสถานการณ์ที่ฉันรู้ว่าฉันกำลังมองหาไฟล์ที่มีสำเนาซ้ำอยู่ที่อื่น แต่ฉันจำไม่ได้ว่าเก็บสำเนาอื่นไว้ที่ใด เสียงที่คุ้นเคย? หรือฉันรู้ว่าไฟล์นั้นเป็นสำเนาของไฟล์อื่นและฉันก็รู้ตำแหน่งของสำเนาอื่นนั้น แต่ฉันต้องเปรียบเทียบกับมันเพื่อดูว่าไฟล์ไหนเป็นไฟล์ที่ฉันต้องการเก็บไว้ ฉันอาจมีสำเนาสองหรือสามชุดหรือรุ่นอื่นในสถานที่ที่สองนั้น นี่คือจุดแตกหักที่ความแตกต่างระหว่างเครื่องมือ diff และเครื่องมือล่อลวงกลายเป็นหมอก
Samir

การเปรียบเทียบพูลกับพูลเป็นเพียงนักฆ่า! นี่คือข้อได้เปรียบที่สำคัญกว่าเครื่องมืออื่น ๆ เท่าที่เครื่องมือดิฟและเครื่องมือดักจับไปแล้วฉันยังไม่พบเครื่องมือที่ปลอมทั้งสองเป็นซอฟต์แวร์เดียว ฉันคิดว่า Beyond Compare เข้ามาใกล้แล้ว แต่ก็ยังห่างออกไปอีกหนึ่งไมล์ มันมีศักยภาพและเป็นเครื่องมือ diff ที่ดีที่สุดที่ฉันเคยใช้
Samir

7

ฉันมีไฟล์แบตช์ต่อไปนี้วางอยู่รอบ ๆ ในบางครั้ง:

@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
    FOR %%j IN (!FILELIST!) DO (
        IF %%~zi EQU %%~zj (
            fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
        )
    )
    SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF

คุณสามารถเรียกใช้ด้วย/rอาร์กิวเมนต์เพื่อเรียกใช้ซ้ำผ่านแผนผังไดเรกทอรี


1
วิธีแก้ปัญหาเกินบรรยายที่น่ากลัว!
JBRWilkinson

Downvoter: มันจะช่วยได้ถ้าคุณบอกว่าทำไมสิ่งนี้ถึงไม่เป็นประโยชน์ในความคิดของคุณ
Joey

คำเตือนเล็ก ๆ ที่ซ้อนกันสำหรับลูปใน Windows บางครั้งส่งผลให้ลูปด้านนอกอยู่เงียบ ๆ ถูกสิ้นสุดลงก่อนกำหนดในโครงสร้างไดเรกทอรีขนาดใหญ่ ฉันโชคดีมากที่มีวงรอบด้านนอกcallแยกแบทช์ไฟล์ที่มีลูปด้านใน
mikewse

4

Total Commanderมีเครื่องมือค้นหาไฟล์ที่ซ้ำซ้อน น่าเสียดายที่มันไม่ฟรี

ตามที่ระบุไว้ในนิกมี Duplicate File Finder ซึ่งเป็นโอเพ่นซอร์สและข้ามแพลตฟอร์ม มันมีอยู่ที่ SourceForge ที่นี่



3

Winmerge http://winmerge.org/

เปรียบเทียบไดเร็กตอรี่ที่คล้ายกันมาก, ระหว่างโฟลเดอร์ "Documents" กับข้อมูลสำรอง "โฟลเดอร์", "Copy of Documents" คุณสร้างหลายสัปดาห์ก่อน "ในกรณี"

คุณสามารถคิดได้ว่าไฟล์ใดยังคงเหมือนเดิมไฟล์ใดเป็นไฟล์ล่าสุด (หรือเก่าที่สุดหากคุณพบปัญหา) และไฟล์ใดมีอยู่ในที่เดียวเท่านั้น จากนั้นคุณสามารถ "รวม" ไดเรกทอรีและลบรายการที่ซ้ำกัน


คุณสามารถใช้ WinMerge เพื่อรับรายการไฟล์และโฟลเดอร์ที่ซ้ำกันภายในไดเรกทอรีหนึ่งได้หรือไม่?
Anderson Green



1

ผมเคยใช้เสมอโปรแกรมเก่าหารายการที่ซ้ำกันแต่ตอนนี้ที่ Geocities ถูกฆ่าตายออกผมคิดว่ามันไม่ได้อยู่อีกต่อไปดังนั้นนี่คือสำเนาของแฟ้ม

มันจะแสดงไฟล์ในกลุ่มที่ง่ายต่อการดูแยกจากสี มันจะเตือนคุณหากคุณทำเครื่องหมายว่าสำเนาทั้งหมดของไฟล์สำหรับการลบสามารถทำให้เป็นอัตโนมัติสามารถเลือกอัตโนมัติทุกไฟล์ในไดเรกทอรี (ฉันใช้มันมาก) สามารถลบไดเรกทอรีที่ว่างเปล่าหลังจากการลบเป็นต้น ระวังลิงค์ถ้าคุณใช้ในไวน์ มันจะลบสำเนาทั้งหมดของไฟล์โดยไม่ทราบว่าเป็นลิงก์


ฉันเปลี่ยนเป็น AllDup แล้ว
endolith

1

ฉันได้พบYet Another Duplicate File Remover แล้วจะน่ากลัว มันค่อนข้างใหม่และใช้งานง่ายมาก ฉันใช้มันเพื่อเปรียบเทียบกว่า 50,000 ไฟล์จากโครงการกู้คืนฮาร์ดไดรฟ์เพื่อให้สามารถจัดการกับไฟล์จำนวนมาก


1

ทางออกที่ดีที่สุดผมทดสอบบน Windows เป็นที่กล่าวมาแล้วAlldup อุปกรณ์ประกอบฉากเพื่อ Synetech inc สำหรับการแบ่งปัน เครื่องมือฟรีแวร์ที่ยอดเยี่ยมและเป็นมืออาชีพมาก

ในการโพสต์ฉันให้บริการโซลูชั่นทุบตีทดสอบที่จะทำงานภายใต้ Cygwin, Linux และ OS X (หรืออะไรก็ตามที่ใช้เชลล์เหมือนทุบตี)

ค้นหาไฟล์ที่ซ้ำกันโดยใช้ฟรีแวร์และเครื่องมือโอเพนซอร์ส


2
AllDup สามารถสร้างรายการโฟลเดอร์ที่ซ้ำกันแทนไฟล์ที่ซ้ำกันได้หรือไม่?
Anderson Green

ไม่ว่าฉันจะรู้
Kyle

1

ยูทิลิตี้อื่น:

http://yurichev.com/ddff.html

* Comparison to other duplicate finding utilities:

+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
  We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.

- Win32 only
- Command-line only

1

ค้นหาไฟล์ซ้ำอย่างรวดเร็ว:

  • ฟรีโดยสิ้นเชิง
  • สามารถระบุรายการที่ซ้ำไม่ว่าพวกเขาจะอยู่ที่ไหนในโครงสร้างไดเรกทอรี / โฟลเดอร์
  • Windows UI ใช้งานง่าย
  • สามารถสร้างรายงานในรูปแบบ XML
  • สามารถย้ายรายการที่ซ้ำไปยังถังรีไซเคิลหรือโฟลเดอร์รากอื่นที่เก็บโครงสร้างโฟลเดอร์ดั้งเดิมไว้เช่นหากไฟล์ที่ซ้ำกันอยู่ภายในโฟลเดอร์ภายในโฟลเดอร์อื่นเส้นทางนี้จะถูกเก็บไว้เส้นทางนี้จะยังคงอยู่: ไฟล์จะยังคงอยู่ภายในโฟลเดอร์ภายในโฟลเดอร์และ โครงสร้างนี้จะถูกย้ายไปยังโฟลเดอร์ที่ผู้ใช้เลือก - ไม่ว่าจะเป็นถังขยะรีไซเคิลหรือโฟลเดอร์ที่ผู้ใช้ระบุ
  • อัลกอริทึมการเปรียบเทียบแบบไบนารีที่รวดเร็วรวมถึงการตรวจสอบชื่อไฟล์และขนาด

http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder-About.htm


คุณช่วยอธิบายจุดที่ 2 และ 5 ได้ไหม
Milind R

อัปเดต @MilindR โปรดแจ้งให้เราทราบหากมีส่วนช่วย
therobyouknow

ขอบคุณ .. ฉันยังไม่ได้จุดที่ 2 แต่ .. ควรหาไฟล์ซ้ำทุกที่ใช่มั้ย
Milind R

ใช่ถูกต้อง. ตัวอย่างเช่นพิจารณา 2 ไฟล์ที่มีเนื้อหาเหมือนกันทุกประการ ไฟล์ 1 อยู่ในพา ธ / โฟลเดอร์ 1 / โฟลเดอร์ 2 / ไฟล์ 1 และไฟล์ 2 อยู่ในพา ธ / โฟลเดอร์ 3 / โฟลเดอร์ 4 / โฟลเดอร์ 5 / file2 - ตัวค้นหาไฟล์ที่ซ้ำกันอย่างรวดเร็วจะค้นหาทั้งสองสิ่งนี้และรายงานให้เหมือนกันและผู้ใช้สามารถเลือกได้ ต้องการลบ
therobyouknow

อ่าใช่แล้วมันเป็นคำอธิบายที่ชัดเจน แม้ว่าฉันคิดว่ามักจะได้รับอนุญาตเมื่อพิจารณาจากโปรแกรมที่กำลังมองหาไฟล์ที่ซ้ำกัน
Milind R
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.