ฉันพยายามที่จะทำบันทึกนับในไฟล์ 7.6 GB gzip ฉันพบวิธีการเล็กน้อยโดยใช้zcatคำสั่ง

$ zcat T.csv.gz | wc -l
423668947

วิธีนี้ใช้งานได้ แต่ใช้เวลานานเกินไป (มากกว่า 10 นาทีในการนับ) ฉันลองวิธีอื่นอีกสองสามอย่างเช่น

$ sed -n '$=' T.csv.gz
28173811
$ perl -lne 'END { print $. }' < T.csv.gz
28173811
$ awk 'END {print NR}' T.csv.gz
28173811

ทั้งสามคำสั่งเหล่านี้กำลังดำเนินการอย่างรวดเร็ว แต่ให้นับไม่ถูกต้องของ 28173811

ฉันจะนับจำนวนเร็กคอร์ดในเวลาน้อยที่สุดได้อย่างไร

sed, perlและawkคำสั่งที่คุณพูดถึงอาจจะถูกต้อง แต่พวกเขาทั้งหมดอ่านบีบอัดข้อมูลและตัวอักษรนับบรรทัดใหม่ในการที่ อักขระขึ้นบรรทัดใหม่เหล่านี้ไม่มีส่วนเกี่ยวข้องกับอักขระขึ้นบรรทัดใหม่ในข้อมูลที่ไม่บีบอัด

หากต้องการนับจำนวนบรรทัดในข้อมูลที่ไม่มีการบีบอัดจะไม่มีวิธีแก้ไขการบีบอัด วิธีการของคุณกับzcatเป็นแนวทางที่ถูกต้องและเนื่องจากข้อมูลที่มีขนาดใหญ่เช่นนั้นก็จะใช้เวลาในการยกเลิกการบีบอัดมัน

ยูทิลิตี้ส่วนใหญ่ที่เกี่ยวข้องกับการgzipบีบอัดและการคลายการบีบอัดมักจะใช้รูทีนไลบรารีที่แบ่งใช้แบบเดียวกันเพื่อทำเช่นนั้น วิธีเดียวที่จะเพิ่มความเร็วได้ก็คือการค้นหาการนำไปใช้ของรูทีนzlibที่เร็วกว่าค่าเริ่มต้นและสร้างใหม่เช่นzcatใช้

ใช้ unpigz

คำตอบของ Kusalananda นั้นถูกต้องคุณจะต้องคลายการบีบอัดไฟล์ทั้งหมดเพื่อสแกนเนื้อหา /bin/gunzipทำสิ่งนี้ให้เร็วที่สุดเท่าที่จะทำได้บนแกนเดียว Pigzเป็นการใช้งานแบบขนานgzipซึ่งสามารถใช้หลายคอร์ได้

น่าเศร้าที่การบีบอัดตัวเองของไฟล์ gzip ปกติไม่สามารถ parallelized แต่pigzไม่ให้รุ่นปรับปรุงของgunzip, unpigzที่ทำงานที่เกี่ยวข้องเช่นการอ่านการเขียนและการ Checksumming ในหัวข้อที่แยกต่างหาก ในการวัดประสิทธิภาพอย่างรวดเร็วunpigzเกือบสองเท่าgunzipของ core i5 ของฉัน

ติดตั้งpigzกับผู้จัดการแพคเกจที่คุณชื่นชอบและใช้unpigzแทนgunzipหรือแทนunpigz -c zcatดังนั้นคำสั่งของคุณจะกลายเป็น:

$ unpigz -c T.csv.gz | wc -l

ทั้งหมดนี้ถือว่าคอขวดคือ CPU ไม่ใช่ดิสก์แน่นอน

ปัญหาของท่อทั้งหมดคือคุณต้องเพิ่มงานเป็นสองเท่า ไม่ว่าการบีบอัดข้อมูลจะรวดเร็วแค่ไหนข้อมูลก็ยังต้องถูกปิดใช้งานไปยังกระบวนการอื่น

Perl มีPerlIO :: gzipซึ่งให้คุณอ่านสตรีม gzipped โดยตรง ดังนั้นจึงอาจมีข้อได้เปรียบแม้ว่าความเร็วในการบีบอัดอาจไม่ตรงกับunpigz:

#!/usr/bin/env perl

use strict;
use warnings;

use autouse Carp => 'croak';
use PerlIO::gzip;

@ARGV or croak "Need filename\n";

open my $in, '<:gzip', $ARGV[0]
    or croak "Failed to open '$ARGV[0]': $!";

1 while <$in>;

print "$.\n";

close $in or croak "Failed to close '$ARGV[0]': $!";

ฉันลองกับไฟล์ที่บีบอัด 13 MB gzip (คลายการบีบอัดถึง 1.4 GB) บนMacBook Pro รุ่นเก่าที่มี RAM 16 GBและThinkPad T400 รุ่นเก่าที่มี RAM 8 GBพร้อมไฟล์ในแคชอยู่แล้ว สำหรับ Mac สคริปต์ Perl นั้นเร็วกว่าการใช้ท่ออย่างมีนัยสำคัญ (5 วินาทีเทียบกับ 22 วินาที) แต่สำหรับ ArchLinux มันหายไปเป็น unpigz:

$ time -p ./gzlc.pl spy.gz 
1154737
จริง 4.49
ผู้ใช้ 4.47
sys 0.01

กับ

$ time -p unpigz -c spy.gz | ห้องสุขา -l
1154737
จริง 3.68
ผู้ใช้ 4.10
sys 1.46

และ

$ time -p zcat spy.gz | ห้องสุขา -l
1154737
จริง 6.41
ผู้ใช้ 6.08
sys 0.86

เห็นได้ชัดว่าการใช้unpigz -c file.gz | wc -lเป็นผู้ชนะที่นี่ทั้งในแง่ของความเร็ว และบรรทัดคำสั่งง่าย ๆ นั้นแน่นอนว่าการเขียนโปรแกรมนั้นสั้น

คำตอบ Kusalananda เป็นส่วนใหญ่ที่ถูกต้อง ในการนับจำนวนบรรทัดคุณต้องค้นหาบรรทัดใหม่ อย่างไรก็ตามเป็นไปได้ในทางทฤษฎีในการค้นหาบรรทัดใหม่โดยไม่คลายการบีบอัดไฟล์อย่างสมบูรณ์

gzip ใช้การบีบอัด DEFLATE DEFLATE เป็นการรวมกันของการเข้ารหัส LZ77 และ Huffman อาจมีวิธีการคิดออกเพียงโหนดสัญลักษณ์ Huffman สำหรับการขึ้นบรรทัดใหม่และละเว้นส่วนที่เหลือ มีวิธีหนึ่งในการค้นหาบรรทัดใหม่ที่เข้ารหัสโดยใช้ L277 เก็บจำนวนไบต์และไม่สนใจทุกสิ่ง

ดังนั้น IMHO จึงมีความเป็นไปได้ในทางทฤษฎีในการหาวิธีแก้ปัญหาที่มีประสิทธิภาพมากกว่า unpigz หรือ zgrep ที่ถูกกล่าวว่ามันไม่ปฏิบัติ (เว้นแต่มีคนทำไปแล้ว)

สามารถทำได้โดยใช้ zgrepกับ-cธงและ$พารามิเตอร์

ในกรณีนี้ -c สั่งให้ออกจำนวนบรรทัดที่ตรงกันและ regex $ ตรงกับจุดสิ้นสุดของบรรทัดเพื่อให้ตรงกับทุกบรรทัดหรือไฟล์

zgrep -c $ T.csv.gz 

ตามที่แสดงความคิดเห็นโดย @ StéphaneChazelas - zgrepเป็นเพียงสคริปต์รอบตัวzcatและgrepควรให้ประสิทธิภาพที่คล้ายคลึงกับข้อเสนอแนะดั้งเดิมของzcat | wc -l

อย่างที่คุณเห็นคำตอบส่วนใหญ่พยายามปรับให้เหมาะสมที่สุด: จำนวนของสวิทช์บริบทและ IO ระหว่างกระบวนการ เหตุผลก็คือนี่เป็นสิ่งเดียวที่คุณสามารถเพิ่มประสิทธิภาพที่นี่ได้อย่างง่ายดาย

ตอนนี้ปัญหาคือความต้องการทรัพยากรของมันใกล้เคียงกับความต้องการทรัพยากรของการบีบอัด นี่คือเหตุผลที่การเพิ่มประสิทธิภาพจะไม่ทำให้เร็วขึ้นจริงๆ

หากสามารถเร่งความเร็วได้จริงจะเป็นอัลกอริทึม un-gzip (เช่นการคลายการบีบอัด) ซึ่งจะทำให้การผลิตจริงของสตรีมข้อมูลที่ถูกบีบอัด ค่อนข้างจะคำนวณเฉพาะจำนวนการขึ้นบรรทัดใหม่ในการสตรีมแตกจากการบีบอัดหนึ่ง มันยากที่จะต้องมีความรู้ลึกเกี่ยวกับอัลกอริทึมของ gzip (การรวมกันของอัลกอริทึมการบีบอัดLZWและHuffman ) มีความเป็นไปได้ค่อนข้างมากที่อัลกอริทึมไม่สามารถปรับเวลาการบีบอัดให้เหมาะสมกับการลดน้ำหนักอย่างมีนัยสำคัญซึ่งเราเพียงแค่ต้องรู้ว่าการนับบรรทัดใหม่ แม้ว่ามันจะเป็นไปได้โดยพื้นฐานแล้วไลบรารีการบีบอัด gzip ใหม่ควรได้รับการพัฒนา (มันไม่มีอยู่จนกระทั่งรู้)

คำตอบที่เป็นจริงสำหรับคำถามของคุณคือไม่คุณไม่สามารถทำให้เร็วขึ้นอย่างมีนัยสำคัญ

บางทีคุณอาจใช้การบีบอัด gzip แบบขนานบางอย่างถ้ามันมีอยู่ มันสามารถใช้หลายคอร์ซีพียูสำหรับการบีบอัด หากไม่มีอยู่ก็อาจพัฒนาได้ค่อนข้างง่าย

สำหรับxzนั้นมีคอมเพรสเซอร์แบบขนาน (pxz) อยู่