วิธีที่เร็วที่สุดที่จะบอกได้ว่าสองไฟล์มีเนื้อหาเหมือนกันใน Unix / Linux หรือไม่?

ฉันมีเชลล์สคริปต์ที่ฉันต้องตรวจสอบว่าไฟล์สองไฟล์มีข้อมูลเดียวกันหรือไม่ ฉันทำสิ่งนี้เพื่อไฟล์จำนวนมากและในสคริปต์ของฉันdiffดูเหมือนว่าคำสั่งจะเป็นคอขวดของประสิทธิภาพ

นี่คือบรรทัด:

diff -q $dst $new > /dev/null

if ($status) then ...

มีวิธีที่เร็วกว่าในการเปรียบเทียบไฟล์บางทีอัลกอริทึมแบบกำหนดเองแทนที่จะเป็นค่าเริ่มต้นdiffหรือไม่

ฉันเชื่อว่าcmpจะหยุดที่แตกต่างไบต์แรก:

cmp --silent $old $new || echo "files are different"

ฉันชอบ @Alex Howansky ใช้ 'cmp --silent' สำหรับสิ่งนี้แล้ว แต่ฉันต้องการการตอบสนองทั้งบวกและลบดังนั้นฉันจึงใช้:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

ฉันสามารถเรียกใช้สิ่งนี้ใน terminal หรือด้วย ssh เพื่อตรวจสอบไฟล์กับไฟล์คงที่

ทำไมคุณไม่ได้รับแฮชของเนื้อหาไฟล์ทั้งสอง

ลองใช้สคริปต์นี้เรียกใช้ตัวอย่างเช่น script.sh แล้วเรียกใช้ดังนี้: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

เนื่องจากฉันดูดและมีคะแนนชื่อเสียงไม่เพียงพอฉันจึงไม่สามารถเพิ่มชิ้นอาหารอันโอชะนี้เป็นความคิดเห็นได้

แต่ถ้าคุณจะใช้cmpคำสั่ง (และไม่ต้องการ / ต้องการให้ละเอียด) คุณก็สามารถคว้าสถานะทางออก ตามcmpหน้าคน:

ถ้าไฟล์ '-' หรือหายไปอ่านอินพุตมาตรฐาน สถานะการออกคือ 0 ถ้าอินพุตเหมือนกัน 1 ถ้าต่างกัน 2 ถ้ามีปัญหา

ดังนั้นคุณสามารถทำสิ่งที่ชอบ:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

สำหรับไฟล์ที่ไม่แตกต่างกันวิธีการใด ๆ จะต้องมีการอ่านทั้งไฟล์โดยสิ้นเชิงแม้ว่าการอ่านจะเคยผ่านมาแล้ว

ไม่มีทางเลือกอื่น ดังนั้นการสร้างแฮชหรือเช็คซัมในบางช่วงเวลาจำเป็นต้องอ่านไฟล์ทั้งหมด ไฟล์ขนาดใหญ่ต้องใช้เวลา

การดึงข้อมูลเมตาของไฟล์เร็วกว่าการอ่านไฟล์ขนาดใหญ่

ดังนั้นมีเมทาดาทาไฟล์ใดบ้างที่คุณสามารถใช้เพื่อสร้างว่าไฟล์ต่างกันหรือไม่? ขนาดไฟล์? หรือแม้กระทั่งผลลัพธ์ของคำสั่ง file ที่เพิ่งอ่านส่วนเล็ก ๆ ของไฟล์?

ตัวอย่างรหัสขนาดไฟล์:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

หากไฟล์มีขนาดเท่ากันแสดงว่าคุณติดอยู่กับการอ่านไฟล์แบบเต็ม

ลองใช้คำสั่ง cksum ด้วย:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

คำสั่ง cksum จะส่งออกจำนวนไบต์ของไฟล์ ดู 'man cksum'

ทำการทดสอบบางอย่างกับ Raspberry Pi 3B + (ฉันใช้ระบบไฟล์ซ้อนทับและจำเป็นต้องซิงค์เป็นระยะ) ฉันทำการเปรียบเทียบตัวเองสำหรับ diff -q และ cmp -s; โปรดทราบว่านี่เป็นบันทึกจากภายใน / dev / shm ดังนั้นความเร็วในการเข้าถึงดิสก์จึงไม่ใช่ปัญหา:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

ฉันวิ่งไปสองสามครั้ง cmp -s มีเวลาสั้นลงเล็กน้อยในกล่องทดสอบที่ฉันใช้ ดังนั้นหากคุณต้องการใช้ cmp -s เพื่อทำสิ่งต่าง ๆ ระหว่างสองไฟล์ ....

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"