ฉันเพิ่งทดลองเล็ก ๆ น้อย ๆ ที่ฉันสร้างไฟล์เก็บถาวร tar พร้อมไฟล์ที่ซ้ำกันเพื่อดูว่ามันจะถูกบีบอัดไปยังความกลัวของฉันหรือไม่! รายละเอียดติดตาม (ผลการเยื้องเพื่อความสุขในการอ่าน):

$ dd if=/dev/urandom bs=1M count=1 of=a
  1+0 records in
  1+0 records out
  1048576 bytes (1.0 MB) copied, 0.114354 s, 9.2 MB/s
$ cp a b
$ ln a c
$ ll
  total 3072
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 a
  -rw-r--r-- 1 guido guido 1048576 Sep 24 15:51 b
  -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 c
$ tar -c * -f test.tar
$ ls -l test.tar 
  -rw-r--r-- 1 guido guido 2109440 Sep 24 15:51 test.tar
$ gzip test.tar 
$ ls -l test.tar.gz 
  -rw-r--r-- 1 guido guido 2097921 Sep 24 15:51 test.tar.gz
$ 

ก่อนอื่นฉันสร้างไฟล์สุ่ม 1MiB (a) จากนั้นฉันก็คัดลอกไปยังไฟล์ b และเชื่อมโยงไปยัง c เมื่อสร้าง tarball นั้น tar นั้นรับรู้ถึงฮาร์ดลิงก์เนื่องจากทาร์บอลเป็นเพียง ~ 2MiB และไม่ใช่ ~ 3Mib

ตอนนี้ฉันคาดว่า gzip จะลดขนาดของ tarball เป็น ~ 1MiB เนื่องจาก a และ b ซ้ำกันและควรมี 1MiB ของข้อมูลอย่างต่อเนื่องซ้ำใน tarball แต่สิ่งนี้ไม่ได้เกิดขึ้น

ทำไมนี้ และฉันจะอัด tarball ได้อย่างมีประสิทธิภาพในกรณีเหล่านี้ได้อย่างไร?

Gzip gzip ขึ้นอยู่กับอัลกอริทึม DEFLATE ซึ่งเป็นการรวมกันของการเข้ารหัส LZ77 และ Huffman มันเป็นอัลกอริธึมการบีบอัดข้อมูลแบบไม่สูญเสียที่ทำงานโดยการแปลงกระแสข้อมูลให้เป็นสัญลักษณ์ที่ถูกบีบอัดโดยใช้พจนานุกรมที่สร้างขึ้นทันทีและดูซ้ำซ้อน แต่ไม่สามารถค้นหารายการที่ซ้ำกันที่คั่นด้วยมากกว่า 32K การคาดหวังว่าจะพบจุดที่ซ้ำกัน 1MB นั้นไม่เหมือนจริง

นิโคลแฮมิลตันได้อย่างถูกต้องบันทึกว่าgzipจะไม่พบข้อมูลที่ซ้ำกันไกลเนื่องจากขนาดพจนานุกรมขนาดเล็ก

bzip2 คล้ายกันเนื่องจากมี จำกัด หน่วยความจำ 900 KB

ให้ลอง:

อัลกอริทึม LZMA / LZMA2 ( xz, 7z)

อัลกอริทึม LZMA อยู่ในตระกูลเดียวกับ Deflate แต่ใช้ขนาดพจนานุกรมที่ใหญ่กว่ามาก (ปรับแต่งได้ค่าเริ่มต้นคือ 384 MB) xzยูทิลิตี้ซึ่งควรจะติดตั้งโดยเริ่มต้นในที่สุด distros ลินุกซ์ที่ผ่านมาจะคล้ายกับgzipและการใช้ LZMA

เนื่องจาก LZMA ตรวจจับความซ้ำซ้อนในระยะยาวมันจะสามารถทำซ้ำข้อมูลของคุณได้ที่นี่ อย่างไรก็ตามมันช้ากว่า Gzip

ตัวเลือกอื่นคือ 7-zip ( 7zในp7zipแพ็คเกจ) ซึ่งเป็นผู้จัดเก็บ (แทนที่จะเป็น single-stream compressor) ที่ใช้ LZMA เป็นค่าเริ่มต้น (เขียนโดยผู้เขียน LZMA) Archiver 7-zip รันการลดความซ้ำซ้อนของตัวเองที่ระดับไฟล์ (ดูไฟล์ที่มีนามสกุลเดียวกัน) เมื่อจัดเก็บใน.7zรูปแบบ ซึ่งหมายความว่าหากคุณต้องการแทนที่tarด้วย7zคุณจะได้รับไฟล์ซ้ำกันซ้ำซ้อน อย่างไรก็ตาม 7z ไม่ได้เก็บรักษาบันทึกเวลาของ nanosecond สิทธิ์หรือ xattrs ดังนั้นจึงอาจไม่เหมาะกับความต้องการของคุณ

lrzip

lrzipเป็นคอมเพรสเซอร์ที่ประมวลผลข้อมูลล่วงหน้าเพื่อลบความซ้ำซ้อนทางไกลก่อนส่งไปยังอัลกอริทึมทั่วไปเช่น Gzip / Deflate, bzip2, lzop หรือ LZMA สำหรับข้อมูลตัวอย่างที่คุณให้ไว้ที่นี่ไม่จำเป็น มันมีประโยชน์สำหรับเมื่อข้อมูลอินพุตมีขนาดใหญ่กว่าสิ่งที่สามารถใส่ในหน่วยความจำ

สำหรับข้อมูลประเภทนี้ (ชิ้นส่วนที่ไม่สามารถบีบอัดได้ซ้ำ) คุณควรใช้การlzopบีบอัด (เร็วมาก) ด้วยlrzipเนื่องจากไม่มีประโยชน์ในการพยายามบีบอัดข้อมูลแบบสุ่มอย่างสมบูรณ์เมื่อมันซ้ำซ้อน

Bup และ Obnam

เนื่องจากคุณแท็กคำถามสำรองถ้าเป้าหมายของคุณที่นี่คือการสำรองข้อมูลให้พิจารณาการใช้โปรแกรมสำรองข้อมูล deduplicating เช่นBupหรือObnam

ในกรณีที่มีการสำรองข้อมูลอาจมีไฟล์ขนาดเล็กชุดใหญ่เคล็ดลับอย่างหนึ่งที่อาจใช้งานได้สำหรับคุณคือจัดเรียงไฟล์ใน tar ตามนามสกุล:

find archive_dir -type f | rev | sort | rev | tar czf my_archive.tar.gz -I -

gzipจะไม่พบข้อมูลที่ซ้ำกันแม้จะxzมีพจนานุกรมขนาดใหญ่ก็ตาม สิ่งที่คุณสามารถทำได้คือใช้mksquashfs- สิ่งนี้จะช่วยประหยัดพื้นที่ในการทำซ้ำ

ผลการทดสอบอย่างรวดเร็วบางอย่างที่มีxzและmksquashfsมีไฟล์ไบนารีสุ่มสามไฟล์ (64MB) ซึ่งมีสองไฟล์เหมือนกัน:

ติดตั้ง:

mkdir test
cd test
dd if=/dev/urandom of=test1.bin count=64k bs=1k
dd if=/dev/urandom of=test2.bin count=64k bs=1k
cp test{2,3}.bin
cd ..

Squashfs:

mksquashfs test/ test.squash
> test.squash - 129M

XZ:

XZ_OPT='-v --memlimit-compress=6G --memlimit-decompress=512M --lzma2=preset=9e,dict=512M --extreme -T4 ' tar -cJvf test.tar.xz test/
> test.tar.xz - 193M

ในระบบของฉันให้lzma test.tarผลลัพธ์เป็นไฟล์ test.tar.lzma 106'3175 ไบต์ (1.1M)

ในฐานะที่เป็นนอกเหนือไปจาก 'คำตอบของหอยทากกล:

แม้ xz (หรือ lzma) จะไม่พบข้อมูลซ้ำหากขนาดไฟล์ของไฟล์เดี่ยวที่ไม่ได้บีบอัด (หรือแม่นยำยิ่งขึ้นระยะทางระหว่างรายการที่ซ้ำกัน) เกินขนาดพจนานุกรม xz (หรือ lzma) แม้ในการตั้งค่าสูงสุด-9eจะจองเพียง 64MB สำหรับสิ่งนี้

โชคดีที่คุณสามารถระบุขนาด dictonary ของคุณเองด้วยตัวเลือก--lzma2=dict=256MB ( --lzma1=dict=256MBอนุญาตเฉพาะเมื่อใช้ lzma alias กับคำสั่ง)

น่าเสียดายที่เมื่อแทนที่การตั้งค่าด้วยโซ่บีบอัดแบบกำหนดเองเช่นที่ระบุในตัวอย่างด้านบนค่าเริ่มต้นสำหรับพารามิเตอร์อื่น ๆ ทั้งหมดจะไม่ถูกตั้งค่าในระดับเดียวกับ -9e ดังนั้นความหนาแน่นของการบีบอัดจึงไม่สูงสำหรับไฟล์เดียว

gzip ที่ไม่มีสวิตช์บรรทัดคำสั่งใช้อัลกอริธึมที่เป็นไปได้ต่ำที่สุดสำหรับการบีบอัด

ลองใช้:

gzip -9 test.tar

คุณควรได้ผลลัพธ์ที่ดีกว่า