ฉันกำลังมองหาวิธีง่ายๆ (คำสั่งหรือชุดคำสั่งอาจเกี่ยวข้องกับfind) เพื่อค้นหาไฟล์ที่ซ้ำกันในสองไดเรกทอรีและแทนที่ไฟล์ในหนึ่งไดเรกทอรีด้วย hardlinks ของไฟล์ในไดเรกทอรีอื่น

นี่คือสถานการณ์: นี่คือเซิร์ฟเวอร์ไฟล์ที่หลาย ๆ คนเก็บไฟล์เสียงไว้ผู้ใช้แต่ละคนจะมีโฟลเดอร์ของตัวเอง บางครั้งหลายคนมีสำเนาของไฟล์เสียงเดียวกันแน่นอน ตอนนี้สิ่งเหล่านี้ซ้ำซ้อน ฉันต้องการทำให้เป็นฮาร์ดลิงก์เพื่อประหยัดพื้นที่ฮาร์ดไดรฟ์

มีสคริปต์ Perl ที่http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.plซึ่งทำสิ่งที่คุณต้องการ:

สำรวจไดเรกทอรีทั้งหมดที่ตั้งชื่อบนบรรทัดคำสั่งคำนวณ MD5 checksums และค้นหาไฟล์ที่มี MD5 เหมือนกัน หากมีค่าเท่ากันให้ทำการเปรียบเทียบจริงถ้ามันเท่ากันจริง ๆ ให้แทนที่ไฟล์ที่สองของสองไฟล์ด้วยฮาร์ดลิงก์ไปยังไฟล์แรก

rdfindทำสิ่งที่คุณขออย่างแน่นอน (และในลำดับjohny ทำไมรายการ) ทำให้เป็นไปได้ที่จะลบรายการที่ซ้ำกันแทนที่ด้วยลิงก์อ่อนหรือฮาร์ดลิงก์ เมื่อรวมกับsymlinksคุณยังสามารถสร้าง symlink ได้ทั้งแบบสัมบูรณ์หรือแบบสัมพัทธ์ คุณสามารถเลือกอัลกอริทึม checksum (md5 หรือ sha1)

เนื่องจากมีการรวบรวมมันจะเร็วกว่าโซลูชันที่ใช้สคริปต์มากที่สุด: timeในโฟลเดอร์ 15 GiB ที่มี 2600 ไฟล์บน Mac Mini ของฉันตั้งแต่ปี 2009 ส่งคืนสิ่งนี้

9.99s user 3.61s system 66% cpu 20.543 total

(ใช้ md5)

มีให้ในเครื่องจัดการแพ็คเกจส่วนใหญ่ (เช่น MacPorts สำหรับ Mac OS X)

ใช้fdupesเครื่องมือ:

fdupes -r /path/to/folderแสดงรายการที่ซ้ำกันในไดเรกทอรี (-r ทำให้เป็นแบบเรียกซ้ำ) ผลลัพธ์มีลักษณะดังนี้:

filename1
filename2

filename3
filename4
filename5

ด้วยชื่อไฟล์ 1 และชื่อไฟล์ 2 เหมือนกันและชื่อไฟล์ 3, ชื่อไฟล์ 4 และชื่อไฟล์ 5 ก็เหมือนกัน

ฉันใช้hardlinkจากhttp://jak-linux.org/projects/hardlink/

นี่เป็นหนึ่งในฟังก์ชั่นที่จัดทำโดย "fslint" - http://en.flossmanuals.net/FSlint/Introduction

คลิกปุ่ม "ผสาน":

เนื่องจากเป้าหมายหลักของคุณคือการประหยัดพื้นที่ดิสก์จึงมีวิธีแก้ไขปัญหาอื่น: การทำซ้ำ (และอาจบีบอัด) ในระดับระบบไฟล์ เมื่อเทียบกับโซลูชันฮาร์ดลิงก์ไม่มีปัญหาในการเชื่อมต่อไฟล์อื่น ๆ โดยไม่ได้ตั้งใจ

ZFS มีการลบข้อมูลซ้ำ (ระดับบล็อกไม่ใช่ระดับไฟล์) ตั้งแต่พูลเวอร์ชัน 23 และการบีบอัดมานานแล้ว หากคุณใช้ linux คุณอาจลองใช้zfs-fuseหรือถ้าคุณใช้ BSD มันก็รองรับอย่างเป็นทางการ

ในลินุกซ์ยุคใหม่ทุกวันนี้มีhttps://github.com/g2p/bedupซึ่งซ้ำซ้อนกับระบบไฟล์ btrfs แต่ 1) โดยไม่มีการสแกนมากเกินไป 2) ไฟล์สามารถแยกออกได้อย่างง่ายดายอีกครั้งในภายหลัง

หากต้องการค้นหาไฟล์ที่ซ้ำกันคุณสามารถใช้ดัฟฟ์

Duff เป็นยูทิลิตีบรรทัดคำสั่ง Unix เพื่อค้นหารายการที่ซ้ำกันอย่างรวดเร็วในชุดไฟล์ที่กำหนด

เพียงแค่เรียกใช้:

duff -r target-folder

ในการสร้างฮาร์ดลิงก์ไปยังไฟล์เหล่านั้นโดยอัตโนมัติคุณจะต้องวิเคราะห์เอาต์พุตของดัฟฟ์ด้วยbashหรือภาษาสคริปต์อื่น ๆ

aptitude show hardlink

คำอธิบาย: ฮาร์ดลิงก์หลายชุดของไฟล์เดียวกันฮาร์ดลิงก์เป็นเครื่องมือที่ตรวจจับไฟล์เดียวกันหลายชุดและแทนที่ด้วยฮาร์ดลิงก์

แนวคิดนี้นำมาจากhttp://code.google.com/p/hardlinkpy/แต่รหัสนั้นเขียนขึ้นมาจากศูนย์และอนุญาตภายใต้ใบอนุญาต MIT หน้าแรก: http://jak-linux.org/projects/hardlink/

ฉันใช้เครื่องมือเชื่อมโยงหลายตัวสำหรับ Linux ที่กล่าวถึงที่นี่ ฉันก็ติดอยู่กับ ext4 fs บน Ubuntu และได้ใช้cp -lและ-sสำหรับฮาร์ด / ซอฟต์ลิงก์ แต่เมื่อเร็ว ๆ นี้สังเกตเห็นสำเนาที่มีน้ำหนักเบาในหน้า man cpซึ่งจะหมายถึงการสำรองพื้นที่ดิสก์ที่ซ้ำซ้อนจนกว่าฝ่ายใดฝ่ายหนึ่งจะได้รับการแก้ไข:

   --reflink[=WHEN]
          control clone/CoW copies. See below

       When  --reflink[=always]  is specified, perform a lightweight copy, where the 
data blocks are copied only when modified.  If this is not possible the
       copy fails, or if --reflink=auto is specified, fall back to a standard copy.

ดูเหมือนว่าฉันการตรวจสอบชื่อไฟล์ก่อนสามารถเร่งสิ่งต่าง ๆ หากสองไฟล์ไม่มีชื่อไฟล์เดียวกันในหลาย ๆ กรณีฉันจะไม่พิจารณาว่าเป็นไฟล์ซ้ำ ดูเหมือนว่าวิธีที่เร็วที่สุดคือการเปรียบเทียบตามลำดับ:

• ชื่อไฟล์
• ขนาด
• md5 checksum
• เนื้อหาไบต์

ทำวิธีการใด ๆ ทำเช่นนี้? ดูduff, fdupes, rmlint, fslintฯลฯ

วิธีการต่อไปนี้ได้รับการโหวตสูงสุดในcommandlinefu.com : ค้นหาไฟล์ที่ซ้ำกัน (ขึ้นอยู่กับขนาดก่อนจากนั้นแฮช MD5)

สามารถเพิ่มการเปรียบเทียบชื่อไฟล์เป็นขั้นตอนแรกขนาดเป็นขั้นตอนที่สองได้หรือไม่?

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

เนื่องจากฉันไม่ใช่แฟนของ Perl นี่เป็นเวอร์ชั่นทุบตี:

#!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done

สิ่งนี้จะค้นหาไฟล์ทั้งหมดที่มีการตรวจสอบเดียวกัน (ไม่ว่าจะเป็นไฟล์เล็กใหญ่หรือฮาร์ดลิงก์อยู่แล้ว) และทำการลิงก์ไฟล์ด้วยกัน

สิ่งนี้สามารถปรับให้เหมาะสมอย่างมากสำหรับการรันซ้ำ ๆ ด้วยการค้นหาค่าสถานะเพิ่มเติม (เช่นขนาด) และแคชไฟล์ (ดังนั้นคุณไม่ต้องทำการตรวจสอบซ้ำทุกครั้ง) หากใครสนใจรุ่นที่ฉลาดกว่านี้ฉันสามารถโพสต์ได้

หมายเหตุ: ดังที่ได้กล่าวไว้ก่อนหน้าฮาร์ดลิงก์จะทำงานตราบใดที่ไฟล์ไม่จำเป็นต้องมีการดัดแปลงหรือถูกย้ายข้ามระบบไฟล์

ฉันสร้างสคริปต์ Perl ที่ทำสิ่งที่คล้ายกับสิ่งที่คุณพูดถึง:

http://pastebin.com/U7mFHZU7

โดยพื้นฐานแล้วมันเพียงแค่สำรวจไดเรกทอรีคำนวณ SHA1sum ของไฟล์ที่อยู่ในไฟล์ hashing และเชื่อมโยงเข้าด้วยกัน มีประโยชน์หลายครั้งหลายครั้ง

หากคุณต้องการแทนที่รายการที่ซ้ำกันโดยฮาร์ดลิงก์บน mac หรือระบบที่ใช้ UNIX คุณสามารถลอง SmartDupe http://sourceforge.net/projects/smartdupe/ กำลังพัฒนามัน

applicatios FSLint ( http://www.pixelbeat.org/fslint/ ) สามารถค้นหาไฟล์ที่เท่าเทียมกันทั้งหมดในโฟลเดอร์ใด ๆ (ตามเนื้อหา) และสร้างฮาร์ดลิงก์ ให้มันลอง!

Jorge Sampaio

jdupes ได้รับการกล่าวถึงในความคิดเห็น แต่สมควรได้รับคำตอบของตัวเองเนื่องจากมันอาจจะมีอยู่ในการกระจายส่วนใหญ่และทำงานได้อย่างรวดเร็ว (เพียงแค่ปล่อย 2.7 GB ของพาร์ติชัน 158 กิกะไบต์ 98% เต็ม (ไดรฟ์ SSD) 98% ในเวลาประมาณหนึ่งนาที):

jdupes -rL /foo/bar

หากคุณทำฮาร์ดลิงก์ให้ใส่ใจสิทธิในไฟล์นั้น ประกาศเจ้าของกลุ่มโหมดคุณลักษณะเพิ่มเติมเวลาและ ACL (หากคุณใช้สิ่งนี้) จะถูกเก็บไว้ใน INODE ชื่อไฟล์เท่านั้นจะแตกต่างกันเพราะสิ่งนี้จะถูกเก็บไว้ในโครงสร้างไดเรกทอรีและจุดอื่น ๆ ไปยังคุณสมบัติ INODE สาเหตุนี้ชื่อไฟล์ทั้งหมดที่เชื่อมโยงกับ inode เดียวกันจะมีสิทธิ์การเข้าถึงเหมือนกัน คุณควรป้องกันการแก้ไขไฟล์นั้นเพราะผู้ใช้คนใดสามารถทำให้ไฟล์เสียหายได้ มันง่าย ก็เพียงพอแล้วผู้ใช้คนอื่น ๆ ใส่ไฟล์อื่นในชื่อเดียวกัน หมายเลขไอโหนดจะถูกบันทึกและเนื้อหาไฟล์ต้นฉบับจะถูกทำลาย (แทนที่) สำหรับชื่อฮาร์ดลิงก์ทั้งหมด

วิธีที่ดีกว่าคือการลดความซ้ำซ้อนของชั้นระบบไฟล์ คุณสามารถใช้ BTRFS (ครั้งล่าสุดเป็นที่นิยมมาก), OCFS หรือเช่นนี้ ดูที่หน้า: https://en.wikipedia.org/wiki/Comparison_of_file_systems พิเศษที่ตารางคุณสมบัติและการคัดลอกข้อมูลคอลัมน์ คุณสามารถคลิกและจัดเรียง :)

ดูที่ระบบไฟล์ ZFS เป็นพิเศษ สิ่งนี้มีให้เป็น FUSE แต่ด้วยวิธีนี้มันช้ามาก หากคุณต้องการการสนับสนุนพื้นเมืองดูที่หน้าhttp://zfsonlinux.org/ จากนั้นคุณจะต้องแก้ไขเคอร์เนลและติดตั้งเครื่องมือ zfs สำหรับการจัดการต่อไป ฉันไม่เข้าใจทำไมลินุกซ์ไม่สนับสนุนในฐานะที่เป็นไดรเวอร์มันเป็นวิธีสำหรับระบบปฏิบัติการ / เมล็ดอื่น ๆ

ระบบไฟล์รองรับการขจัดข้อมูลซ้ำซ้อนได้ 2 วิธี, ไฟล์ซ้ำซ้อนหรือบล็อก ZFS รองรับการบล็อก ซึ่งหมายความว่าเนื้อหาเดียวกันที่ซ้ำกันในไฟล์เดียวกันสามารถทำซ้ำได้ วิธีอื่นคือเวลาที่ข้อมูลซ้ำซ้อนซึ่งสามารถออนไลน์ (zfs) หรือออฟไลน์ (btrfs)

ข้อสังเกตการขจัดข้อมูลซ้ำซ้อนจะใช้ RAM นี่คือสาเหตุที่การเขียนไฟล์ไปยังโวลุ่ม ZFS ที่ติดตั้งด้วย FUSE ทำให้ประสิทธิภาพการทำงานช้าลงอย่างมาก อธิบายไว้ในเอกสารประกอบ แต่คุณสามารถตั้งค่าเปิด / ปิดการลดความซ้ำซ้อนของข้อมูลออนไลน์ได้ หากคุณเห็นข้อมูลใด ๆ ที่ควรจะซ้ำซ้อนคุณเพียงแค่ตั้งค่าการขจัดความซ้ำซ้อนบนเขียนไฟล์ใหม่เป็นชั่วคราวและสุดท้ายแทนที่ หลังจากนี้คุณสามารถปิดการขจัดข้อมูลซ้ำซ้อนและเรียกคืนประสิทธิภาพการทำงานเต็มรูปแบบ แน่นอนคุณสามารถเพิ่มการจัดเก็บดิสก์แคชใด ๆ นี่อาจเป็นดิสก์หมุนเร็วหรือดิสก์ SSD แน่นอนว่านี่อาจเป็นดิสก์ขนาดเล็กมาก ในการทำงานจริงนี่คือการแทนที่สำหรับ RAM :)

ภายใต้ linux คุณควรดูแล ZFS เพราะไม่ใช่ทุกอย่างเท่าที่ควรจะเป็นพิเศษเมื่อคุณจัดการระบบไฟล์ทำ snapshot ฯลฯ แต่ถ้าคุณกำหนดค่าและไม่เปลี่ยนมันจะทำงานได้อย่างถูกต้อง วิธีอื่นคุณควรเปลี่ยน linux เป็น opensolaris รองรับ ZFS เป็นอย่างดี :) สิ่งที่ดีมากกับ ZFS คือมันทำงานได้ทั้งในระบบไฟล์และตัวจัดการ volumen คล้ายกับ LVM คุณไม่จำเป็นต้องใช้เมื่อคุณใช้ ZFS ดูเอกสารหากคุณต้องการทราบข้อมูลเพิ่มเติม

สังเกตเห็นความแตกต่างระหว่าง ZFS และ BTRFS ZFS มีอายุมากกว่าและโตกว่า แต่น่าเสียดายที่อยู่ภายใต้ Solaris และ OpenSolaris เท่านั้น BTRFS อายุน้อยกว่า แต่ครั้งสุดท้ายได้รับการสนับสนุนที่ดีมาก ฉันแนะนำเคอร์เนลใหม่ ZFS มีการขจัดข้อมูลซ้ำซ้อนแบบออนไลน์ซึ่งทำให้การเขียนช้าลงเนื่องจากทั้งหมดถูกคำนวณทางออนไลน์ BTRFS รองรับการขจัดความซ้ำซ้อนแบบออฟไลน์ จากนั้นสิ่งนี้จะบันทึกประสิทธิภาพการทำงาน แต่เมื่อโฮสต์ไม่มีสิ่งใดให้ทำคุณจะเรียกใช้เครื่องมือเป็นระยะเพื่อทำการขจัดข้อมูลซ้ำซ้อน และ BTRFS นั้นถูกสร้างขึ้นภายใต้ลินุกซ์ บางทีนี่อาจเป็น FS ที่ดีกว่าสำหรับคุณ :)

ลิงก์ถาวรอาจไม่ใช่แนวคิดที่ดีที่สุด หากผู้ใช้รายหนึ่งทำการเปลี่ยนแปลงไฟล์จะมีผลกับทั้งคู่ อย่างไรก็ตามการลบฮาร์ดลิงก์ไม่ได้เป็นการลบทั้งสองไฟล์ นอกจากนี้ฉันไม่แน่ใจว่าหากฮาร์ดลิงก์ใช้พื้นที่ในปริมาณเท่ากัน (บนฮาร์ดดิสก์ไม่ใช่ระบบปฏิบัติการ) เป็นไฟล์เดียวกันหลายสำเนา ตาม Windows (พร้อมกับ Link Shell Extension) พวกเขาทำ ได้รับนั่นคือ Windows ไม่ใช่ Unix ...

โซลูชันของฉันคือการสร้างไฟล์ "ทั่วไป" ในโฟลเดอร์ที่ซ่อนอยู่และแทนที่รายการที่ซ้ำกันจริงด้วยลิงก์สัญลักษณ์ ... จากนั้นลิงก์สัญลักษณ์จะถูกฝังด้วยเมทาดาทาหรือสตรีมไฟล์สำรองที่บันทึกเฉพาะทั้งสอง "ไฟล์" จะแตกต่างจากกันเช่นถ้าคนคนหนึ่งต้องการเปลี่ยนชื่อไฟล์หรือเพิ่มปกอัลบั้มที่กำหนดเองหรือสิ่งอื่นเช่นนั้น มันอาจมีประโยชน์นอกแอพพลิเคชั่นฐานข้อมูลเช่นการติดตั้งเกมหรือซอฟต์แวร์เดียวกันหลายเวอร์ชันและทดสอบด้วยตนเองโดยมีความแตกต่างน้อยที่สุด

วิธีที่ง่ายที่สุดคือใช้โปรแกรมพิเศษ dupeGuru

ตามที่เอกสารระบุไว้

ตัวเลือกการลบ

ตัวเลือกเหล่านี้มีผลต่อการลบที่ซ้ำกัน ส่วนใหญ่คุณไม่จำเป็นต้องเปิดใช้งานใด ๆ

ลิงก์ไฟล์ที่ถูกลบ:

ไฟล์ที่ถูกลบจะถูกแทนที่ด้วยลิงค์ไปยังไฟล์อ้างอิง คุณสามารถเลือกที่จะแทนที่ด้วย symlink หรือ hardlink ... symlink เป็นทางลัดไปยังเส้นทางของไฟล์ หากไฟล์ต้นฉบับถูกลบหรือย้ายลิงก์จะเสียหาย ฮาร์ดลิงก์คือลิงก์ไปยังไฟล์นั้น ลิงก์นั้นดีเท่ากับไฟล์ "ของจริง" เฉพาะเมื่อลบลิงก์ทั้งหมดไปยังไฟล์เท่านั้นไฟล์นั้นจะถูกลบทิ้ง

บน OSX และ Linux ฟีเจอร์นี้ได้รับการรองรับอย่างสมบูรณ์ แต่ภายใต้ Windows มันซับซ้อนเล็กน้อย Windows XP ไม่รองรับ แต่ Vista ขึ้นไปรองรับ อย่างไรก็ตามสำหรับคุณสมบัติในการทำงาน dupeGuru ต้องทำงานด้วยสิทธิ์ระดับผู้ดูแลระบบ