ฉันจะ grep ซ้ำผ่านไฟล์. gz ได้อย่างไร

ฉันใช้สคริปต์เพื่อดาวน์โหลดข้อความ gmail ของฉันที่บีบอัดไฟล์. eml แบบ raw เป็นไฟล์. gz เป็นประจำ สคริปต์สร้างโฟลเดอร์สำหรับแต่ละวันจากนั้นบีบอัดทุกข้อความเป็นไฟล์ของตัวเอง

ฉันต้องการค้นหาวิธีผ่าน "เก็บถาวร" นี้เพื่อค้นหา

Grep เพียงอย่างเดียวดูเหมือนจะไม่ทำเช่นนั้น ฉันยังลอง SearchMonkey

หากคุณต้องการ grep ซ้ำในไฟล์. eml.gz ทั้งหมดในไดเรกทอรีปัจจุบันคุณสามารถใช้:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

คุณต้องหลบหนีก่อน*เพื่อที่เชลล์จะไม่ตีความมัน -print0บอกให้ find พิมพ์ตัวอักษร null หลังจากพบไฟล์แต่ละไฟล์; xargs -0อ่านจากอินพุตมาตรฐานและรันคำสั่งหลังจากนั้นสำหรับแต่ละไฟล์ zgrepทำงานเหมือนgrepแต่คลายการบีบอัดไฟล์ก่อน

zgrepมีจำนวนมากของความสับสนที่นี่เป็นเพราะมีไม่ได้เป็นเพียงหนึ่ง ฉันมีสองรุ่นในระบบของฉันzgrepจากgzipและจากzgrep อดีตเป็นเพียงสคริปต์เสื้อคลุมที่เรียกร้องzutils gzip -cdfqไม่รองรับ-r, --recursiveสวิตช์ ¹
หลังเป็นc++โปรแกรมและสนับสนุน-r, --recursiveตัวเลือก
การทำงานzgrep --version | head -n 1จะเปิดเผยว่าหนึ่ง (ถ้ามี) ของพวกเขาคือค่าเริ่มต้น:

zgrep (gzip) 1.6

เป็นสคริปต์ wrapper

zgrep (zutils) 1.3

เป็นcppปฏิบัติการ
หากคุณมีหลังคุณสามารถเรียกใช้:

zgrep 'pattern' -r --format=gz /path/to/dir

อย่างไรก็ตามตามที่แนะนำfind+ zgrepจะทำงานได้ดีเท่า ๆ กันกับเวอร์ชันใดเวอร์ชันหนึ่งzgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

หากzgrepระบบของคุณหายไป (ไม่น่าเป็นไปได้สูง) คุณสามารถลองใช้:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

แต่มีข้อเสียที่สำคัญคือคุณจะไม่ทราบว่าการจับคู่อยู่ที่ไหนเพราะไม่มีชื่อไฟล์ที่ต่อท้ายบรรทัดที่ตรงกัน

^{1: เพราะมันจะเป็นปัญหา}

agเป็นรุ่นที่ grepมีคุณสมบัติพิเศษบางอย่างที่ดี

• มีตัวเลือก -z สำหรับไฟล์บีบอัด
• มีคุณสมบัติ ack หลายอย่าง
• มันเร็ว

ดังนั้น:

ag -r -z your-pattern-goes-here   folder

หากไม่ได้ติดตั้ง

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

การเรียกซ้ำเพียงอย่างเดียวนั้นง่าย:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

อย่างไรก็ตามสำหรับไฟล์บีบอัดที่คุณต้องการ:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory ควรเป็นไดเรกทอรีหลักที่มีไดเรกทอรีย่อยสำหรับแต่ละวัน

zgrepเป็นคำตอบที่ชัดเจน แต่น่าเสียดายที่มันไม่สนับสนุนการ-rตั้งค่าสถานะ จากman zgrep:

ตัวเลือก grep เหล่านี้จะทำให้ zgrep ยกเลิกด้วยรหัสข้อผิดพลาด: (- [d rR zZ ] | --di * | --exc * | --inc * | --rec * | --nu *)

หากระบบของคุณมี zgrep คุณก็สามารถทำได้

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

หากระบบของคุณไม่มี zgrep คุณสามารถใช้คำสั่งfindเพื่อรัน zcat และ grep สำหรับแต่ละไฟล์ดังนี้:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "string" ./*/*.eml.gz

xzgrep เป็นอนุพันธ์ของ zgrep utils (less / bin / xzgrep)

จากหน้า Man:

xzgrep เรียกใช้ grep (1) ในไฟล์ซึ่งอาจไม่บีบอัดหรือบีบอัดด้วย xz (1), lzma (1), gzip (1), bzip2 (1), หรือ lzop (1) ตัวเลือกทั้งหมดที่ระบุจะถูกส่งโดยตรงไปยัง grep (1)

-l พิมพ์ชื่อไฟล์ที่ตรงกัน

-R สำหรับการเรียกซ้ำจะไม่ทำงานตามที่กำหนดไว้เป็นพิเศษในสคริปต์ แต่เปลือกที่เรียบง่ายนั้นควรอยู่กับเรา

./*/*.eml.gz

จากเส้นทางสัมพัทธ์ที่. /today/sample.eml.gz จับคู่กับอินสแตนซ์ทั้งหมดที่อยู่ต่ำกว่าตำแหน่งสัมพัทธ์ของเราหนึ่งระดับในเชลล์ซึ่งลงท้ายด้วย ".eml.gz"