Grep จำนวนมากของรูปแบบจากไฟล์ขนาดใหญ่

ฉันมีไฟล์ที่เติบโตประมาณ 200,000 บรรทัดต่อวันและมันถูกสร้างขึ้นด้วยบล็อกสามบรรทัดเช่น:

1358726575123       # key
    Joseph Muller   # name
    carpenter       # job
9973834728345
    Andres Smith
    student
7836472098652
    Mariah Anthony
    dentist

ตอนนี้ผมมีไฟล์อื่นจากที่ผมดึงประมาณ 10,000 1358726575123รูปแบบที่สำคัญเช่น จากนั้นฉันเรียกใช้forลูปที่มีรูปแบบเหล่านี้และต้องตรวจสอบกับไฟล์แรก หากไฟล์ไม่มีรูปแบบดังกล่าวฉันบันทึกรูปแบบในไฟล์ที่สามเพื่อการประมวลผลเพิ่มเติม:

for number in $(grep -o '[0-9]\{12\}' file2); do  # finds about 10.000 keys
     if ! grep -q ^$number$ file1; then           # file1 is a huge file
         printf "$number\n" >>file3               # we'll process file3 later
     fi
done

รหัสตัวอย่าง greps ไฟล์ขนาดใหญ่ 10,000 ครั้งและผมทำงานเกี่ยวกับวงนี้นาทีละครั้งในช่วงตลอดทั้งวัน

เนื่องจากไฟล์ขนาดใหญ่ยังคงเติบโตฉันจะทำอย่างไรเพื่อให้ทั้งหมดนี้เร็วขึ้นและประหยัด CPU บ้าง ฉันสงสัยว่าการเรียงลำดับไฟล์ตามคีย์ (ถ้าเป็นเช่นนั้นได้อย่างไร) หรือการใช้ db แทนที่จะเป็นข้อความธรรมดาจะช่วยได้ ...

คำตอบนี้ขึ้นอยู่กับawkคำตอบที่โพสต์โดยpotong ..
มันเร็วเป็นสองเท่าของcommวิธี (ในระบบของฉัน), สำหรับ6 ล้านบรรทัดเดียวกันในไฟล์หลักและ10,000คีย์ ... (ปรับปรุงตอนนี้ให้ใช้ FNR, NR)

แม้ว่าawkจะเร็วกว่าระบบปัจจุบันของคุณและจะช่วยให้คุณและคอมพิวเตอร์ของคุณมีพื้นที่สำหรับการหายใจโปรดทราบว่าเมื่อการประมวลผลข้อมูลมีความเข้มข้นตามที่คุณอธิบายไว้คุณจะได้รับผลลัพธ์โดยรวมที่ดีที่สุดโดยเปลี่ยนเป็นฐานข้อมูลเฉพาะ เช่น. SQlite, MySQL ...

awk '{ if (/^[^0-9]/) { next }              # Skip lines which do not hold key values
       if (FNR==NR) { main[$0]=1 }          # Process keys from file "mainfile"
       else if (main[$0]==0) { keys[$0]=1 } # Process keys from file "keys"
     } END { for(key in keys) print key }' \
       "mainfile" "keys" >"keys.not-in-main"

# For 6 million lines in "mainfile" and 10 thousand keys in "keys"

# The awk  method
# time:
#   real    0m14.495s
#   user    0m14.457s
#   sys     0m0.044s

# The comm  method
# time:
#   real    0m27.976s
#   user    0m28.046s
#   sys     0m0.104s

แน่นอนปัญหาคือคุณรัน grep ในไฟล์ขนาดใหญ่ 10,000 ครั้ง คุณควรอ่านทั้งสองไฟล์เพียงครั้งเดียว หากคุณต้องการอยู่นอกภาษาสคริปต์คุณสามารถทำได้ด้วยวิธีนี้:

1. แยกตัวเลขทั้งหมดจากไฟล์ 1 และเรียงลำดับ
2. แยกตัวเลขทั้งหมดจากไฟล์ 2 และจัดเรียง
3. เรียกใช้commบนรายการที่เรียงลำดับเพื่อรับสิ่งที่อยู่ในรายการที่สองเท่านั้น

บางสิ่งเช่นนี้

$ grep -o '^[0-9]\{12\}$' file1 | sort -u -o file1.sorted
$ grep -o  '[0-9]\{12\}'  file2 | sort -u -o file2.sorted
$ comm -13 file1.sorted file2.sorted > file3

man commดู

หากคุณสามารถตัดทอนไฟล์ขนาดใหญ่ทุกวัน (เช่นไฟล์บันทึก) คุณสามารถเก็บแคชของตัวเลขที่เรียงและไม่จำเป็นต้องแยกมันทั้งหมดทุกครั้ง

ใช่ใช้ฐานข้อมูลอย่างแน่นอน พวกมันถูกสร้างขึ้นมาเพื่องานเช่นนี้

สิ่งนี้อาจใช้ได้กับคุณ:

 awk '/^[0-9]/{a[$0]++}END{for(x in a)if(a[x]==1)print x}' file{1,2} >file3

แก้ไข:

แก้ไขสคริปต์เพื่ออนุญาตการทำซ้ำและคีย์ที่ไม่รู้จักในทั้งสองไฟล์ยังคงสร้างคีย์จากไฟล์แรกที่ไม่มีอยู่ในไฟล์ที่สอง:

 awk '/^[0-9]/{if(FNR==NR){a[$0]=1;next};if($0 in a){a[$0]=2}}END{for(x in a)if(a[x]==1)print x}' file{1,2} >file3

ด้วยข้อมูลจำนวนมากคุณควรเปลี่ยนไปใช้ฐานข้อมูลจริงๆ ในระหว่างนี้สิ่งหนึ่งที่คุณต้องทำเพื่อให้ได้ใกล้เคียงกับประสิทธิภาพที่เหมาะสมคือไม่ต้องค้นหาfile1แยกต่างหากสำหรับแต่ละคีย์ เรียกใช้grepปุ่มเดียวเพื่อแยกกุญแจที่ไม่ได้รับการยกเว้นทั้งหมดในครั้งเดียว เนื่องจากgrepยังส่งคืนบรรทัดที่ไม่มีคีย์ให้กรองรายการเหล่านั้นออกไป

grep -o '[0-9]\{12\}' file2 |
grep -Fxv -f - file1 |
grep -vx '[0-9]\{12\}' >file3

( -Fxหมายถึงการค้นหาทั้งบรรทัด-f -หมายถึงการอ่านรายการรูปแบบจากอินพุตมาตรฐาน)

อนุญาตให้ฉันเสริมสิ่งที่ผู้อื่นพูดว่า "ไปที่ฐานข้อมูล!"

มีMySQL ไบนารีที่ใช้ได้อย่างอิสระสำหรับแพลตฟอร์มส่วนใหญ่

ทำไมไม่ใช้ SQLite มันขึ้นอยู่กับหน่วยความจำโหลดไฟล์แฟล็ตเมื่อคุณเริ่มแล้วปิดเมื่อคุณทำเสร็จแล้ว ซึ่งหมายความว่าหากคอมพิวเตอร์ของคุณขัดข้องหรือกระบวนการ SQLite หายไปข้อมูลทั้งหมดก็เช่นกัน

ปัญหาของคุณดูเหมือน SQL สองบรรทัดและจะทำงานในหน่วยมิลลิวินาที!

หลังจากติดตั้ง MySQL (ซึ่งฉันแนะนำให้เลือกมากกว่าตัวเลือกอื่น ๆ ) ฉันจะจ่าย $ 40 สำหรับSQL Cookbookของ O'Reilly โดย Anthony Molinaro ซึ่งมีรูปแบบปัญหามากมายเริ่มต้นด้วยSELECT * FROM tableคำสั่งง่ายๆและผ่านการรวมและการรวมหลายรายการ

ฉันไม่แน่ใจว่านี่เป็นผลลัพธ์ที่แน่นอนที่คุณต้องการหรือไม่ แต่อาจเป็นวิธีที่ง่ายที่สุดคือ:

grep -o '[0-9]\{12\}' file2 | sed 's/.*/^&$/' > /tmp/numpatterns.grep
grep -vf /tmp/numpatterns.grep file1 > file3
rm -f /tmp/numpatterns.grep

คุณสามารถใช้:

sed -ne '/.*\([0-9]\{12\}.*/^\1$/p' file2 > /tmp/numpatterns.grep
grep -vf /tmp/numpatterns.grep file1 > file3
rm -f /tmp/numpatterns.grep

แต่ละรายการเหล่านี้สร้างไฟล์รูปแบบชั่วคราวซึ่งใช้เพื่อรวบรวมตัวเลขจากไฟล์ขนาดใหญ่ ( file1)

ฉันเห็นด้วยอย่างยิ่งกับคุณที่จะได้รับฐานข้อมูล (MySQL นั้นใช้งานง่าย) จนกว่าคุณจะได้รับที่ทำงานผมชอบแองกัสcommวิธีการแก้ปัญหา แต่ผู้คนจำนวนมากกำลังพยายามด้วยgrepและได้รับมันผิดที่ฉันคิดว่าฉันจะแสดงวิธีที่ (หรืออย่างน้อยหนึ่งครั้ง) grepที่ถูกต้องที่จะทำกับ

grep -o '[0-9]\{12\}' keyfile | grep -v -f <(grep -o '^[0-9]\{12\}' bigfile) 

คนแรกที่grepได้รับกุญแจ ที่สามgrep(ใน<(...)) ใช้ปุ่มทั้งหมดที่ใช้ในไฟล์ขนาดใหญ่และ<(...)ผ่านมันเหมือนไฟล์เป็นอาร์กิวเมนต์-fใน grep ที่สอง นั่นเป็นสาเหตุทำให้ตัวที่สองgrepใช้เป็นรายการของบรรทัดที่ตรงกัน จากนั้นใช้สิ่งนี้เพื่อจับคู่อินพุต (รายการของคีย์) จากไปป์ (ก่อนgrep) และพิมพ์คีย์ใด ๆ ที่ดึงมาจากไฟล์คีย์และไม่ใช่ ( -v) ไฟล์ขนาดใหญ่

แน่นอนคุณสามารถทำได้ด้วยไฟล์ชั่วคราวที่คุณต้องติดตามและอย่าลืมลบ:

grep -o '[0-9]\{12\}'  keyfile >allkeys
grep -o '^[0-9]\{12\}' bigfile >usedkeys
grep -v -f usedkeys allkeys

พิมพ์นี้ทุกสายในที่ไม่ปรากฏในallkeysusedkeys

keyfile ไม่เปลี่ยนแปลง? จากนั้นคุณควรหลีกเลี่ยงการค้นหารายการเก่าซ้ำแล้วซ้ำอีก

ด้วยtail -fคุณสามารถรับเอาท์พุทของไฟล์ที่กำลังเติบโต

tail -f growingfile | grep -f keyfile 

grep -f อ่านรูปแบบจากไฟล์หนึ่งบรรทัดเป็นรูปแบบ

จะไม่โพสต์คำตอบของฉันเพราะฉันคิดว่าจำนวนข้อมูลดังกล่าวไม่ควรถูกประมวลผลด้วยเชลล์สคริปท์และคำตอบที่ถูกต้องในการใช้ฐานข้อมูลนั้นได้รับแล้ว แต่เนื่องจากตอนนี้มี 7 วิธีอื่น ๆ ...

อ่านไฟล์แรกในหน่วยความจำจากนั้น greps ไฟล์ที่สองสำหรับตัวเลขและตรวจสอบว่าค่าจะถูกเก็บไว้ในหน่วยความจำ มันควรจะเร็วกว่าหลาย ๆgreps ถ้าคุณมีหน่วยความจำเพียงพอที่จะโหลดไฟล์ทั้งหมดนั่นคือ

declare -a record
while read key
do
    read name
    read job
    record[$key]="$name:$job"
done < file1

for number in $(grep -o '[0-9]\{12\}' file2)
do
    [[ -n ${mylist[$number]} ]] || echo $number >> file3
done

ฉันเห็นด้วยกับ@ jan-steinmanว่าคุณควรใช้ฐานข้อมูลสำหรับงานประเภทนี้ มีหลายวิธีที่จะแฮ็คโซลูชันด้วยเชลล์สคริปต์ตามคำตอบอื่น ๆ ที่แสดง แต่การทำเช่นนั้นจะนำไปสู่ความเดือดร้อนมากมายหากคุณจะใช้และบำรุงรักษาโค้ดในระยะเวลานานกว่า เป็นเพียงโครงการหนึ่งวัน

สมมติว่าคุณอยู่ในกล่อง Linux คุณน่าจะติดตั้ง Python เป็นค่าเริ่มต้นซึ่งรวมถึงไลบรารี sqlite3ตั้งแต่ Python v2.5 คุณสามารถตรวจสอบเวอร์ชั่น Python ของคุณด้วย:

% python -V
Python 2.7.2+

ฉันขอแนะนำให้ใช้ไลบรารี sqlite3เพราะเป็นวิธีแก้ปัญหาไฟล์ที่ใช้ง่ายสำหรับทุกแพลตฟอร์ม (รวมถึงภายในเว็บเบราว์เซอร์ของคุณ!) และไม่จำเป็นต้องติดตั้งเซิร์ฟเวอร์ พื้นฐานการกำหนดค่าเป็นศูนย์และการบำรุงรักษาเป็นศูนย์

ด้านล่างนี้เป็นสคริปต์ไพ ธ อนแบบง่าย ๆ ที่จะแยกวิเคราะห์รูปแบบไฟล์ที่คุณให้ไว้เป็นตัวอย่างแล้วทำการสืบค้นแบบ "เลือกทั้งหมด" แบบง่าย ๆ แล้วส่งออกทุกอย่างที่เก็บไว้ในฐานข้อมูล

#!/usr/bin/env python

import sqlite3
import sys

dbname = '/tmp/simple.db'
filename = '/tmp/input.txt'
with sqlite3.connect(dbname) as conn:
    conn.execute('''create table if not exists people (key integer primary key, name text, job text)''')
    with open(filename) as f:
        for key in f:
            key = key.strip()
            name = f.next().strip()
            job = f.next().strip()
            try:
                conn.execute('''insert into people values (?,?,?)''', (key, name, job))
            except sqlite3.IntegrityError:
                sys.stderr.write('record already exists: %s, %s, %s\n' % (key, name, job))
    cur = conn.cursor()

    # get all people
    cur.execute('''select * from people''')
    for row in cur:
        print row

    # get just two specific people
    person_list = [1358726575123, 9973834728345]
    cur.execute('''select * from people where key in (?,?)''', person_list)
    for row in cur:
        print row

    # a more general way to get however many people are in the list
    person_list = [1358726575123, 9973834728345]
    template = ','.join(['?'] * len(person_list))
    cur.execute('''select * from people where key in (%s)''' % (template), person_list)
    for row in cur:
        print row

ใช่นี่หมายความว่าคุณจะต้องเรียนรู้ SQL บางอย่างแต่จะคุ้มค่าในระยะยาว นอกจากนี้แทนที่จะวิเคราะห์ไฟล์บันทึกของคุณบางทีคุณอาจเขียนข้อมูลโดยตรงไปยังฐานข้อมูล sqlite ของคุณ