วิธีที่เร็วที่สุดในการจัดการขนาดไฟล์ที่ไม่บีบอัดของ GZIPPED ขนาดใหญ่

เมื่อไฟล์ถูก gzipped จะมีวิธีสอบถามอย่างรวดเร็วเพื่อบอกว่าขนาดไฟล์ที่ไม่บีบอัดคืออะไร (โดยไม่ต้องคลายการบีบอัด) โดยเฉพาะอย่างยิ่งในกรณีที่ไฟล์ที่ไม่มีการบีบอัด> 4GB

ตาม RFC https://tools.ietf.org/html/rfc1952#page-5คุณสามารถสอบถาม 4 ไบต์สุดท้ายของไฟล์ได้ แต่หากไฟล์ที่ไม่มีการบีบอัดเป็น> 4GB ค่าจะแสดงถึงuncompressed value modulo 2^32

ค่านี้สามารถเรียกคืนได้ด้วยการเรียกใช้gunzip -l foo.gzอย่างไรก็ตามคอลัมน์ "ไม่มีการบีบอัด" จะมีuncompressed value modulo 2^32อีกครั้งซึ่งน่าจะเป็นเพราะมันอ่านส่วนท้ายตามที่อธิบายไว้ข้างต้น

ฉันแค่สงสัยว่ามีวิธีการรับขนาดไฟล์ที่ไม่บีบอัดโดยไม่ต้องแตกไฟล์ก่อนซึ่งจะเป็นประโยชน์อย่างยิ่งในกรณีที่ไฟล์ gzipped มีข้อมูล 50GB + และใช้เวลาสักครู่ในการคลายบีบอัดโดยใช้วิธีการเช่น gzcat foo.gz | wc -c

แก้ไข:ข้อ จำกัด 4GB ได้รับการยอมรับอย่างเปิดเผยในmanหน้าของgzipยูทิลิตี้ที่มาพร้อมกับ OSX ( Apple gzip 242)

  BUGS
    According to RFC 1952, the recorded file size is stored in a 32-bit
    integer, therefore, it can not represent files larger than 4GB. This
    limitation also applies to -l option of gzip utility.

ฉันเชื่อว่าวิธีที่เร็วที่สุดคือการแก้ไขgzipเพื่อให้การทดสอบในโหมด verbose ส่งผลให้จำนวนไบต์แตกออกมา ในระบบของฉันฉันได้รับไฟล์ 7761108684- ไบต์

% time gzip -tv test.gz
test.gz:     OK (7761108684 bytes)
gzip -tv test.gz  44.19s user 0.79s system 100% cpu 44.919 total

% time zcat test.gz| wc -c
7761108684
zcat test.gz  45.51s user 1.54s system 100% cpu 46.987 total
wc -c  0.09s user 1.46s system 3% cpu 46.987 total

ในการแก้ไข gzip (1.6 มีให้บริการใน Debian) แพตช์จะเป็นดังนี้:

--- a/gzip.c
+++ b/gzip.c
@@ -61,6 +61,7 @@
 #include <stdbool.h>
 #include <sys/stat.h>
 #include <errno.h>
+#include <inttypes.h>

 #include "closein.h"
 #include "tailor.h"
@@ -694,7 +695,7 @@

     if (verbose) {
         if (test) {
-            fprintf(stderr, " OK\n");
+            fprintf(stderr, " OK (%jd bytes)\n", (intmax_t) bytes_out);

         } else if (!decompress) {
             display_ratio(bytes_in-(bytes_out-header_bytes), bytes_in, stderr);
@@ -901,7 +902,7 @@
     /* Display statistics */
     if(verbose) {
         if (test) {
-            fprintf(stderr, " OK");
+            fprintf(stderr, " OK (%jd bytes)", (intmax_t) bytes_out);
         } else if (decompress) {
             display_ratio(bytes_out-(bytes_in-header_bytes), bytes_out,stderr);
         } else {

หากคุณต้องการขนาดของไฟล์บีบอัดหรือชุดของไฟล์ที่ทางออกที่ดีที่สุดของคุณคือการใช้งานtar -zหรือtar -jแทนที่จะgzipเป็นtarมีขนาดไฟล์บีบอัด ใช้lesspipeเพื่อดูรายการไฟล์:

aptitude install lesspipe
lesspipe <compressed file> | less

หากlessมีการกำหนดค่าให้ใช้lesspipe:

less <compressed file>

แค่จำไว้ว่ามันอาจใช้เวลานานมาก อย่างไรก็ตามระบบของคุณยังคงตอบสนองซึ่งช่วยให้คุณฆ่ากระบวนการคลายการบีบอัด

อีกวิธีหนึ่งคือการบันทึกอัตราส่วนการบีบอัดและการสืบค้นที่ [text] ไฟล์แทน:

gzip --verbose file 2>&1 | tee file.gz.log
file:    64.5% -- replaced with file.gz

มันต้องมีการคำนวณเพื่อหาขนาดไฟล์จริง

คุณสามารถทำเช่นเดียวกันกับtarซึ่งในความเป็นจริงสิ่งที่ฉันทำกับการสำรองข้อมูลขนาดใหญ่เพราะมันป้องกันไม่ให้ทำงานผ่านกระบวนการคลายการบีบอัดทั้งหมดเพื่อให้ได้ขนาดหรือชื่อไฟล์เท่านั้น

เกี่ยวกับอะไร

gzip -l file.gz|tail -n1|awk '{print $2}'

numfmt --to=iec $(gzip -l file.gz|tail -n1|awk '{print $2}')

gunzip -c $file | wc -c

การดำเนินการนี้จะใช้เวลานาน แต่จะให้ขนาดสุดท้ายเป็นไบต์