การแปลงไฟล์ gzip เป็น bzip2 อย่างมีประสิทธิภาพ

ฉันมีไฟล์ gzip มากมายที่ฉันต้องแปลงเป็น bzip2 ทุก ๆ คราวแล้ว ขณะนี้ฉันใช้เชลล์สคริปต์เพียงแค่ 'gunzip ของแต่ละไฟล์แล้ว' bzip2 ของมัน แม้ว่างานนี้จะใช้เวลามากของเวลาที่จะเสร็จสมบูรณ์

เป็นไปได้ไหมที่จะทำให้กระบวนการนี้มีประสิทธิภาพมากขึ้น? ฉันพร้อมที่จะดำน้ำและมองหาซอร์สโค้ดของ gunzip และ bzip2 หากจำเป็น แต่ฉันแค่ต้องการให้แน่ใจว่าได้ผลตอบแทน มีความหวังในการปรับปรุงประสิทธิภาพของกระบวนการหรือไม่?

คำถามนี้ถูกถามมานานแล้วเมื่อpbzip2ไม่พร้อมใช้งานหรือไม่สามารถบีบอัดจาก stdin ได้ แต่ตอนนี้คุณสามารถขนานขั้นตอนทั้งการบีบอัดและบีบอัดโดยใช้ขนานและpbzip2 (แทนbzip2 ):

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

ซึ่งเร็วกว่าการใช้bzip2มาก

แทนที่จะ gunzip ในขั้นตอนเดียวและอีก bzip2 ในอีกฉันสงสัยว่ามันอาจจะมีประสิทธิภาพมากขึ้นในการใช้ท่อ สิ่งที่ต้องการgunzip --to-stdout foo.gz | bzip2 > foo.bz2

ฉันกำลังคิดกับซีพียูสองตัวหรือมากกว่านี้จะเร็วขึ้นแน่นอน แต่บางทีอาจมีแกนเดียวเท่านั้น ฉันยอมรับอย่างน่าละอายที่จะไม่ลองทำสิ่งนี้

GNU parallel ( http://www.gnu.org/software/parallel ) อาจเป็นตัวเลือกหากคุณมีหลายคอร์ (หรือหลายเครื่อง):

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

อ่านหน้ากวดวิชา / คนสำหรับรายละเอียดและตัวเลือก

สิ่งที่คุณกำลังทำคือทางออกที่ดีที่สุดของคุณ ไม่มีเครื่องมือการแปลงและการพยายาม bzip2 ไฟล์ gzipped ที่แล้วไม่ได้เป็นตัวเลือกจริงๆเพราะมันมักจะมีผลกระทบที่ไม่พึงประสงค์ เนื่องจากอัลกอริทึมนั้นแตกต่างกันการแปลงจึงเกี่ยวข้องกับการดึงข้อมูลต้นฉบับโดยไม่คำนึงถึง เว้นแต่ว่าการ gzipping นั้นเป็นขั้นตอนหนึ่งในกระบวนการ bzip2 ซึ่งมันก็ไม่น่าเสียดาย

บางครั้งฉันต้องทำสิ่งเดียวกันกับไฟล์บันทึก ฉันเริ่มด้วยไฟล์ * .gz ที่เล็กที่สุดก่อน ( ls -rS), gunzip จากนั้น bzip2 แยกกันทีละไฟล์ ฉันไม่ทราบว่าเป็นไปได้หรือไม่ที่จะส่งเอาต์พุต gunzip โดยตรงไปยังอินพุต bzip2 คำสั่ง bzip2 นั้นช้ากว่าการบีบอัดมากกว่า gunzip ที่กำลังคลายการบีบอัดซึ่งอาจใช้หน่วยความจำและพื้นที่สว็อปบนโฮสต์

ยินดีต้อนรับการปรับปรุงหรือข้อเสนอแนะ นี่คือหนึ่งซับของฉัน:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

หากคุณมีมากกว่าสองสามข้อให้ดูบทความ LJ ด้วยเชลล์สคริปต์ที่ดี

http://linuxgazette.net/123/bechtel.html

7zip ทำให้การบีบอัดดีขึ้นและมีหลายเธรด

เพิ่งต้องทำสิ่งนี้ไม่กี่นาทีที่ผ่านมา:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

ที่ไหนrezipจะถูกกำหนดเป็น:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

คุณสามารถสร้างหลายเธรดได้โดยใช้-Pตัวเลือกด้วยxargsแต่ต้องระวังด้วย (เริ่มต้นต่ำ!)