เป็นไปได้ไหมที่จะบีบอัดไฟล์ที่มีขนาดใหญ่มาก (~ 30 GB) โดยใช้ gzip? ถ้าเป็นเช่นนั้นฉันควรใช้คำสั่งสวิตช์และตัวเลือกใด
หรือมีโปรแกรมอื่น (โดยเฉพาะอย่างยิ่งหนึ่งที่มีอยู่ทั่วไปในการแจกแจง Ubuntu) ที่ฉันสามารถใช้ในการบีบอัด / zip ไฟล์ที่มีขนาดใหญ่มาก? คุณมีประสบการณ์เกี่ยวกับสิ่งนี้หรือไม่?
คำตอบ:
AFAIK ไม่มีการ จำกัด ขนาดgzip- อย่างน้อย 30GB แน่นอนคุณต้องการพื้นที่สำหรับไฟล์ซิปบนดิสก์ของคุณทั้งสองเวอร์ชันจะมีพร้อมกันในขณะที่บีบอัด
bzip2 บีบอัดไฟล์ (ไม่เพียงไฟล์ใหญ่ :-) ดีกว่า แต่บางครั้งก็ช้ากว่า
pbzipเช่นกัน - ที่จะใช้ CPU-core มากกว่าหนึ่งตัว gzipแต่ยังคงเป็นวิธีที่ช้ากว่า
pbzip2
หากคุณต้องการอัตราการอัดวิดีโอที่ดีคุณสามารถลอง lzma มันเร็วกว่าและมีประสิทธิภาพมากกว่า bzip2 และอาจเร็วกว่า gzip (ฉันไม่รู้อย่างนั้น)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmaเลิกใช้แล้วในxzตอนนี้ อัลกอรึทึมเดียวกันมีรูปแบบไฟล์ที่แตกต่างกันบ้าง (ปรับปรุงบ้าง) รอบตัว LZMA ช้ากว่า gzip แต่ที่ความเร็วสูงสุดมันยังคงบีบอัดได้ดีในสิ่งที่ซ้ำซ้อนสูงเช่นข้อมูล JSON ( xz -0)
หากคุณใช้งานเกินขีด จำกัด ให้จัดเรียงใหม่ แทน:
gzip file
ทำ:
gzip < file > file.gz
ทำงานได้ดี
รูปแบบ gzip เป็นโมดูลัสของขนาดอินพุต 2 ^ 32 ดังนั้น
--listตัวเลือกรายงานขนาดที่ไม่บีบอัดและอัตราส่วนการบีบอัดที่ไม่ถูกต้องสำหรับไฟล์ที่ไม่บีบอัด 4 GB และใหญ่กว่า
ดังนั้นเวลาbzip2(v1.0.2 ขึ้นไป) xzหรือ
XZ ตั้งค่าการบีบอัดที่ต่ำที่สุดอาจชนะ gzip สำหรับความเร็วและการบีบอัด
pxz -9ve - <in >out.xzและคุณจะอบไก่บนพีซีของคุณ แต่ผลลัพธ์จะอยู่ที่ประมาณ 60% ของผลลัพธ์ gzip คุณต้องการประมาณ 7 GB สำหรับสิ่งนั้น