ย้อนกลับ grepping

สมมติว่าฉันมีไฟล์ข้อความขนาดใหญ่จริงๆ (ประมาณ 10.000.000 บรรทัด) ฉันต้องการgrepมันจากตอนท้ายและบันทึกผลลัพธ์ลงในไฟล์ วิธีที่มีประสิทธิภาพที่สุดในการทำงานให้สำเร็จคืออะไร?

โซลูชัน tac / grep

tac file | grep whatever

หรือมีประสิทธิภาพมากกว่านี้เล็กน้อย:

grep whatever < <(tac file)

เวลาที่มีไฟล์ 500MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

โซลูชั่นsed / grep :

sed '1!G;h;$!d' | grep whatever

เวลาที่มีไฟล์ 500MB: ยกเลิกหลังจาก 10+ นาที

awk / grepโซลูชัน:

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

เวลาที่มีไฟล์ 500MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

perl / grepโซลูชัน:

perl -e 'print reverse <>' file | grep whatever

เวลาที่มีไฟล์ 500MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

วิธีนี้อาจช่วย:

tac file_name | grep -e expression

คนนี้ออกจากทันทีที่พบคู่แรก:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

ต่อไปนี้จะให้ 5 บรรทัดก่อนและหลังการแข่งขันสองครั้งแรก:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

จำไว้ว่าอย่าใช้-i(ไม่คำนึงถึงขนาดตัวพิมพ์) เว้นแต่คุณจะต้องทำเช่นนั้นเพราะจะทำให้ grep ทำงานช้าลง

หากคุณทราบสตริงที่แน่นอนที่คุณต้องการให้พิจารณาfgrep(สตริงคงที่)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

หากไฟล์มีขนาดใหญ่มากไม่สามารถใส่ในหน่วยความจำฉันจะใช้PerlกับโมดูลFile :: ReadBackwardsจากCPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

แล้ว:

$ ./reverse-grep.pl pattern file