คำถามติดแท็ก gzip

เป็นไปได้ไหมที่จะบีบอัดไฟล์ที่มีขนาดใหญ่มาก (~ 30 GB) โดยใช้ gzip? ถ้าเป็นเช่นนั้นฉันควรใช้คำสั่งสวิตช์และตัวเลือกใด หรือมีโปรแกรมอื่น (โดยเฉพาะอย่างยิ่งหนึ่งที่มีอยู่ทั่วไปในการแจกแจง Ubuntu) ที่ฉันสามารถใช้ในการบีบอัด / zip ไฟล์ที่มีขนาดใหญ่มาก? คุณมีประสบการณ์เกี่ยวกับสิ่งนี้หรือไม่?

17 filesystems  files  compression  gzip 

ฉันพยายามที่จะทำบันทึกนับในไฟล์ 7.6 GB gzip ฉันพบวิธีการเล็กน้อยโดยใช้zcatคำสั่ง $ zcat T.csv.gz | wc -l 423668947 วิธีนี้ใช้งานได้ แต่ใช้เวลานานเกินไป (มากกว่า 10 นาทีในการนับ) ฉันลองวิธีอื่นอีกสองสามอย่างเช่น $ sed -n '$=' T.csv.gz 28173811 $ perl -lne 'END { print $. }' < T.csv.gz 28173811 $ awk 'END {print NR}' T.csv.gz 28173811 ทั้งสามคำสั่งเหล่านี้กำลังดำเนินการอย่างรวดเร็ว แต่ให้นับไม่ถูกต้องของ 28173811 ฉันจะนับจำนวนเร็กคอร์ดในเวลาน้อยที่สุดได้อย่างไร

16 shell  gzip 

เป็นไปได้หรือไม่ที่จะเร่งความเร็ว gzipหรือไม่ที่จะกระบวนการ ? ฉันกำลังใช้ mysqldump "$database_name" | gzip > $BACKUP_DIR/$database_name.sql.gz เพื่อสำรองฐานข้อมูลลงในไดเรกทอรี $BACKUP_DIR . manpage พูดว่า: - # - fast - best ควบคุมความเร็วของการบีบอัดโดยใช้ตัวเลขที่ระบุ # โดยที่ -1 หรือ - fast บ่งบอกถึงวิธีการบีบอัดที่เร็วที่สุด (บีบอัดน้อยกว่า) และ -9 หรือ --best ระบุวิธีบีบอัดที่ช้าที่สุด ( การบีบอัดที่ดีที่สุด) ระดับการบีบอัดเริ่มต้นคือ -6 (นั่นคือเอนเอียงไปสู่การบีบอัดสูงที่ค่าใช้จ่ายความเร็ว) การใช้จะมีประสิทธิภาพแค่ไหน--fast? นี่เป็นการลดการใช้ CPU อย่างมีประสิทธิภาพบนคอมพิวเตอร์ที่ทันสมัยหรือไม่? ผลการทดสอบของฉัน ฉันไม่ได้สังเกตการเร่งความเร็ว: 7 นาที 47 วินาที …

15 backup  compression  gzip 

สมมติว่าฉันมีไฟล์ tar-ball ที่ถูกบีบอัด gzip tarArchive.tgz (+100 ไฟล์รวมเป็น + 5gb) อะไรจะเป็นวิธีที่เร็วที่สุดในการลบรายการทั้งหมดที่ตรงกับรูปแบบชื่อไฟล์ที่กำหนดเช่นคำนำหน้า * .jpg จากนั้นเก็บซากไว้ใน gzip: ed tar-ball อีกครั้ง การแทนที่ที่เก็บถาวรเก่าหรือการสร้างที่เก็บใหม่นั้นไม่มีความสำคัญใด ๆ ที่เร็วที่สุด

14 tar  gzip 

ฉันต้องการสร้างไฟล์ gzipped ที่เก็บชื่อไฟล์ดั้งเดิมไว้ ตัวอย่างเช่น gzipping "example.txt" ควรส่งออกไฟล์ gzipped ชื่อ "example.txt" แทนที่จะเป็น "example.txt.gz" เป็นไปได้ไหมที่จะทำสิ่งนี้อย่างงดงามด้วยคำสั่งเดียว (ไม่ทำตามมาmv)?

14 gzip 

เมื่อฉันทำ: # gzip -c foo > foo1.gz # gzip < foo > foo2.gz ทำไมไม่foo2.gzจบลงด้วยการที่มีขนาดเล็กกว่าขนาดfoo1.gz?

13 gzip 

ฉันต้องการสร้าง tarball ของไดเรกทอรีที่กำหนด อย่างไรก็ตามฉันต้องตรวจสอบให้แน่ใจว่ามีไฟล์ที่ซ่อนอยู่ด้วย (เช่นที่ขึ้นต้นด้วย.) คำสั่งต่อไปนี้จะพิจารณาไฟล์ที่ซ่อนอยู่โดยอัตโนมัติหรือไม่ tar -cvzf packed.tar.gz mydir ถ้าไม่ฉันจะแน่ใจได้อย่างไรว่าฉันรวมไฟล์ที่ซ่อนอยู่ด้วย

13 directory  tar  gzip 

ฉันใช้ wget เพื่อดาวน์โหลดหน้า html คงที่ เครื่องมือตรวจสอบ W3C บอกฉันว่าหน้านั้นเข้ารหัสใน UTF-8 แต่เมื่อฉันแมวไฟล์หลังจากดาวน์โหลดฉันได้รับพวงของไบนารีไร้สาระ ฉันใช้ Ubuntu และฉันคิดว่าการเข้ารหัสเริ่มต้นคือ UTF-8 นั่นคือสิ่งที่ไฟล์ภาษาของฉันดูเหมือนว่าจะพูด เหตุใดสิ่งนี้จึงเกิดขึ้นและฉันจะแก้ไขได้อย่างไร Content-Encoding: gzipนอกจากนี้ดูเหมือนว่า บางทีนี่อาจจะทำให้ต่าง นี่คือคำขอที่เรียบง่าย: wget https://www.example.com/page.html ฉันก็ลองทำเช่นนี้: wget https://www.example.com/page.html -q -O - | iconv -f utf-16 -t utf-8 > output.html ซึ่งส่งคืน: iconv: illegal input sequence at position 40 cat'ing ไฟล์คืนค่าไบนารีที่มีลักษณะดังนี้: l�?חu�`�q"�:)s��dġ__��~i��6n)T�$H�#���QJ ผลลัพธ์ของxxd output.html | …

12 wget  character-encoding  gzip  http 

ฉันใช้ rsync เพื่อสำรองพื้นที่เก็บข้อมูลที่มีไฟล์ gz จำนวนมากรวมถึงไฟล์ใหม่จำนวนมากในแต่ละวัน การสำรองข้อมูล rsync จะดำเนินการช้ากว่าที่ควรจะเป็นเพราะไฟล์ gz เหล่านี้ไม่ได้สร้างขึ้นด้วยตัวเลือก --rsyncable ของ gzip (ซึ่งทำให้ไฟล์ gz นั้นเป็นมิตรต่อ rsync มากขึ้นโดยไม่เพิ่มขนาดหรือส่งผลต่อความเข้ากันได้) และฉันไม่สามารถแก้ไขปัญหาได้ในขณะที่สร้างเพราะไฟล์ถูกสร้างโดยสคริปต์ python (rdiff-backup) ซึ่งใช้โมดูล gzip ของ python และสิ่งนี้ไม่สนับสนุนเทียบเท่ากับ gzip's --rsyncable ดังนั้นก่อนที่จะรัน rsync ฉันสามารถระบุไฟล์ gz ใหม่ใด ๆ ในแหล่งข้อมูล (เช่นใหม่นับตั้งแต่มีการเรียกใช้ rsync ครั้งล่าสุด) ตอนนี้ฉันต้องการ 're-gzip' ไฟล์เหล่านี้เพื่อให้พวกเขา gzipped ในรูปแบบ rsyncable จากนั้นฉันสามารถเรียกใช้ rsync จากแหล่งที่ได้รับการปรับปรุง ฉันคิดว่านี่หมายถึงการเรียกใช้แต่ละไฟล์ผ่าน gunzip และ …

12 rsync  gzip 

ฉันรันคำสั่ง: tar -cf myArchive.tar myDirectory/ gzip myArchive.tar จากนั้นฉันก็คัดลอกไฟล์ไปยังสื่อที่ไม่น่าเชื่อถือจำนวนมากและหลังจากนั้นฉันก็แกะมันออกโดยใช้: tar -xzf myArchive.tar.gz ความจริงที่ว่าฉันบีบอัด tar-ball จะรับประกันความสมบูรณ์หรืออย่างน้อยก็ CRC ของเนื้อหาที่ไม่ได้แตกออกมาหรือไม่?

12 tar  gzip  checksum  integrity 

ฉันต้องสร้างไฟล์เก็บถาวรด้วยคำสั่ง gzip (ไม่ใช่ tar - มันจำเป็น) และไฟล์เก็บถาวรควรมีไฟล์จากไดเรกทอรีอื่น - ตัวอย่างเช่น / etc ฉันพยายามใช้คำสั่ง gzip myetc.gz /etc แต่มันไม่ทำงาน

12 gzip  archive 

คือgzipอะตอม? จะเกิดอะไรขึ้นถ้าฉันหยุดgzipกระบวนการในขณะที่อยู่ระหว่างการบีบอัดไฟล์ หากไม่ใช่อะตอมลีและถ้าฉันกด Ctrl + C บนgzip *.txtกระบวนการอยู่แล้วฉันจะกลับมาทำงานอย่างปลอดภัยได้อย่างไร? (ฉันไม่เพียงแค่อยากรู้อยากเห็นเกี่ยวกับวิธีการทำงานต่อ แต่ยังเกี่ยวกับว่าgzipอะตอมเป็นพิเศษหรือไม่)

11 command-line  gzip 

ทันใดนั้นฉันก็จำเป็นต้องกู้คืนtar.gzไฟล์เก่าแต่ทันทีที่ฉันดำเนินการ: tar -zxvf filename.tar.gz ฉันได้รับสิ่งนี้: gzip: stdin: invalid compressed data--format violated tar: Child returned status 1 tar: Error is not recoverable: exiting now

11 tar  data-recovery  gzip  corruption 

ฉันพยายามประหยัดพื้นที่ในขณะที่ทำการสำรองข้อมูล "โง่" เพียงแค่ทิ้งข้อมูลลงในไฟล์ข้อความ สคริปต์สำรองของฉันทำงานทุกวันและมีลักษณะดังนี้: สร้างไดเรกทอรีชื่อหลังจากวันที่สำรองข้อมูล "$name"การถ่ายโอนข้อมูลข้อมูลบางอย่างลงในแฟ้มข้อความ ถ้าแฟ้มถูกต้อง gzip gzip "$name"มัน มิฉะนั้น, rm "$name". ตอนนี้ฉันต้องการเพิ่มขั้นตอนเพิ่มเติมเพื่อลบไฟล์หากมีข้อมูลเดียวกันในวันก่อน (และสร้าง symlink หรือ hardlink) ตอนแรกฉันคิดว่าจะใช้md5sum "$name"แต่สิ่งนี้ไม่ได้ผลเพราะฉันยังเก็บชื่อไฟล์และวันที่สร้าง ไม่gzipได้มีตัวเลือกที่จะเปรียบเทียบสองไฟล์ gzipped และบอกฉันว่าพวกเขามีค่าเท่ากันหรือไม่? หากgzipไม่มีตัวเลือกดังกล่าวจะมีวิธีอื่นในการบรรลุเป้าหมายของฉันหรือไม่

11 gzip  file-comparison 

ฉันมีไฟล์เก็บถาวร gzip ที่มีข้อมูลต่อท้าย ถ้าฉันแกะมันโดยใช้gzip -dมันบอกฉันว่า: " decompression OK, trailing garbage ละเว้น " (เหมือนกับการไปgzip -tซึ่งสามารถใช้เป็นวิธีการตรวจสอบว่ามีข้อมูลดังกล่าว) ตอนนี้ฉันอยากทำความรู้จักกับขยะนี้ แต่ก็แปลกพอที่ฉันจะไม่สามารถแยกมันออกมาได้ gzip -l --verboseบอกฉันว่าขนาด "บีบอัด" ของไฟล์เก็บถาวรคือขนาดของไฟล์ (เช่นกับข้อมูลต่อท้าย) นั่นผิดและไม่เป็นประโยชน์ fileฉันก็ไม่ได้รับความช่วยเหลือฉันจะทำอย่างไรดี?

10 gzip  file-format