วิธีรับส่วนของไฟล์หลังจากบรรทัดแรกที่ตรงกับนิพจน์ทั่วไป

ฉันมีไฟล์ที่มีประมาณ 1,000 บรรทัด ฉันต้องการส่วนของไฟล์ของฉันหลังจากบรรทัดที่ตรงกับคำสั่ง grep ของฉัน

นั่นคือ:

$ cat file | grep 'TERMINATE'     # It is found on line 534

ดังนั้นฉันต้องการไฟล์จากบรรทัด 535 ถึงบรรทัด 1000 สำหรับการประมวลผลเพิ่มเติม

ฉันจะทำสิ่งนั้นได้อย่างไร

ต่อไปนี้จะพิมพ์การจับคู่บรรทัดTERMINATEจนถึงจุดสิ้นสุดของไฟล์:

sed -n -e '/TERMINATE/,$p'

อธิบาย: -nการทำงานเริ่มต้นปิดการใช้งานของsedการพิมพ์แต่ละบรรทัดหลังจากรันสคริปต์ของมันที่มัน-eชี้ให้เห็นสคริปต์ไปsed, /TERMINATE/,$เป็นอยู่ (สาย) การเลือกหมายถึงบรรทัดแรกตรงกับช่วงTERMINATEการแสดงออกปกติ (เช่น grep) ไปยังจุดสิ้นสุดของไฟล์ ( $) และpเป็นคำสั่งพิมพ์ที่พิมพ์บรรทัดปัจจุบัน

สิ่งนี้จะพิมพ์จากบรรทัดที่ตามหลังการจับคู่บรรทัดTERMINATEจนถึงจุดสิ้นสุดของไฟล์:
(จากหลังบรรทัดที่ตรงไปยัง EOF ไม่รวมบรรทัดที่ตรงกัน)

sed -e '1,/TERMINATE/d'

อธิบาย: 1,/TERMINATE/เป็นการเลือกช่วงที่อยู่ (บรรทัด) หมายถึงบรรทัดแรกสำหรับอินพุตไปยังบรรทัดแรกที่ตรงกับTERMINATEนิพจน์ทั่วไปและdเป็นคำสั่งลบที่ลบบรรทัดปัจจุบันและข้ามไปที่บรรทัดถัดไป เนื่องจากsedพฤติกรรมเริ่มต้นคือการพิมพ์บรรทัดมันจะพิมพ์บรรทัดหลังจากTERMINATE ถึงจุดสิ้นสุดของอินพุต

แก้ไข:

ถ้าคุณต้องการเส้นก่อนTERMINATE:

sed -e '/TERMINATE/,$d'

และถ้าคุณต้องการทั้งสองบรรทัดก่อนและหลังTERMINATEใน 2 ไฟล์ที่แตกต่างกันในการส่งผ่านครั้งเดียว:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

ไฟล์ก่อนและหลังจะมีบรรทัดที่ถูกยกเลิกดังนั้นในการประมวลผลแต่ละไฟล์ที่คุณต้องใช้:

head -n -1 before
tail -n +2 after

Edit2:

หากคุณไม่ต้องการรหัสฮาร์ดชื่อไฟล์ในสคริปต์ sed คุณสามารถ:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

แต่คุณต้องหลีกเลี่ยง$ความหมายของบรรทัดสุดท้ายดังนั้นเชลล์จะไม่พยายามขยาย$wตัวแปร (โปรดทราบว่าตอนนี้เราใช้เครื่องหมายคำพูดคู่ล้อมรอบสคริปต์แทนที่จะเป็นเครื่องหมายคำพูดเดี่ยว)

ฉันลืมที่จะบอกว่าบรรทัดใหม่มีความสำคัญหลังจากชื่อไฟล์ในสคริปต์เพื่อให้รู้ว่าชื่อไฟล์สิ้นสุด

แก้ไข: 2016-0530

SébastienClémentถามว่า: "คุณจะเปลี่ยนฮาร์ดโค้ดTERMINATEด้วยตัวแปรได้อย่างไร"

คุณจะสร้างตัวแปรสำหรับข้อความที่ตรงกันจากนั้นทำเช่นเดียวกับตัวอย่างก่อนหน้า:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

เพื่อใช้ตัวแปรสำหรับข้อความที่ตรงกันกับตัวอย่างก่อนหน้านี้:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

จุดสำคัญเกี่ยวกับการแทนที่ข้อความด้วยตัวแปรในกรณีเหล่านี้คือ:

1. ตัวแปร ( $variablename) อยู่ในsingle quotes[ '] จะไม่ "ขยาย" แต่ตัวแปรภายในdouble quotes[ "] จะ ดังนั้นคุณต้องเปลี่ยนทั้งหมดsingle quotesไปdouble quotesถ้าพวกเขามีข้อความที่คุณต้องการแทนที่ด้วยตัวแปร
2. sedช่วงยังมีและมีการปฏิบัติตามทันทีด้วยตัวอักษรเช่น:$ , , พวกเขายังจะมีลักษณะเช่นตัวแปรที่จะขยายตัวดังนั้นคุณจะต้องหลบหนีบรรดาตัวอักษรที่มีเครื่องหมาย [ ] ที่ชอบ: , ,$p$d$w$\\$p\$d\$w

เป็นการประมาณง่ายๆที่คุณสามารถใช้

grep -A100000 TERMINATE file

ซึ่ง greps สำหรับTERMINATEและส่งออกได้สูงสุดถึง 100,000 บรรทัดต่อจากบรรทัดนั้น

จากหน้าคน

-A NUM, --after-context=NUM

พิมพ์ NUM บรรทัดบริบทการติดตามหลังการจับคู่บรรทัด วางบรรทัดที่มีตัวคั่นกลุ่ม (-) ระหว่างกลุ่มที่อยู่ติดกัน ด้วยตัวเลือก -o หรือ - เฉพาะการจับคู่สิ่งนี้จะไม่มีผลกระทบและจะได้รับคำเตือน

เครื่องมือที่ใช้ที่นี่คือ awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

มันทำงานอย่างไร:

1. เราตั้งค่าตัวแปร 'พบ' เป็นศูนย์โดยประเมินว่าเป็นเท็จ
2. หากการจับคู่สำหรับ 'ยุติ' พบกับการแสดงออกปกติเราตั้งค่าให้เป็นหนึ่ง
3. ถ้าตัวแปร 'found' ของเราหาค่าเป็น True ให้พิมพ์ :)

โซลูชันอื่นอาจใช้หน่วยความจำจำนวนมากหากคุณใช้ในไฟล์ขนาดใหญ่มาก

หากฉันเข้าใจคำถามของคุณถูกต้องคุณต้องการให้บรรทัดหลังจาก TERMINATEนั้นไม่รวมTERMINATE-line awkสามารถทำได้ด้วยวิธีง่ายๆ:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

คำอธิบาย:

1. แม้ว่าจะไม่ใช่วิธีปฏิบัติที่ดีที่สุดคุณสามารถพึ่งพาข้อเท็จจริงที่ว่า vars ทั้งหมดมีค่าเริ่มต้นเป็น 0 หรือสตริงว่างถ้าไม่ได้กำหนดไว้ ดังนั้นนิพจน์แรก ( if(found) print) จะไม่พิมพ์อะไรเพื่อเริ่มต้นด้วย
2. หลังจากการพิมพ์เสร็จสิ้นเราจะตรวจสอบว่านี่เป็นสายเริ่มต้น (ซึ่งไม่ควรรวม)

นี้จะพิมพ์ทุกบรรทัดหลังจากTERMINATEบรรทัด

ลักษณะทั่วไป:

• คุณมีไฟล์ที่มีจุดเริ่มต้น - และท้าย -lines และคุณต้องการเส้นระหว่างเส้นเหล่านั้นไม่รวมเริ่มต้น - และท้าย -lines
• start - และend -line สามารถกำหนดโดยนิพจน์ทั่วไปที่ตรงกับบรรทัด

ตัวอย่าง:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

คำอธิบาย:

1. หากพบว่าบรรทัดสุดท้ายไม่ควรทำการพิมพ์ โปรดทราบว่าการตรวจสอบนี้ทำก่อนการพิมพ์จริงเพื่อไม่รวมส่วนท้ายบรรทัดจากผลลัพธ์
2. พิมพ์บรรทัดปัจจุบันหากfoundตั้งไว้
3. หากพบบรรทัดเริ่มต้นfound=1ให้ตั้งค่าเพื่อให้พิมพ์บรรทัดต่อไปนี้ โปรดทราบว่าการตรวจสอบนี้เสร็จสิ้นหลังจากการพิมพ์จริงเพื่อแยกบรรทัดเริ่มต้นออกจากผลลัพธ์

หมายเหตุ:

• รหัสขึ้นอยู่กับข้อเท็จจริงที่ว่า awk-vars ทั้งหมดมีค่าเริ่มต้นเป็น 0 หรือสตริงว่างถ้าไม่ได้กำหนดไว้ สิ่งนี้ถูกต้อง แต่อาจไม่ใช่วิธีปฏิบัติที่ดีที่สุดดังนั้นคุณสามารถเพิ่ม a BEGIN{found=0}ไปยังจุดเริ่มต้นของ awk-expression
• หากพบว่าจุดเริ่มต้นหลายจุดสิ้นสุดบล็อกทั้งหมดจะถูกพิมพ์ทั้งหมด

ใช้การขยายพารามิเตอร์ bash ดังนี้:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -A 10,000000 ไฟล์ 'ยุติการใช้งาน'

• มากเร็วกว่า sed โดยเฉพาะอย่างยิ่งการทำงานกับไฟล์ขนาดใหญ่จริงๆ มันใช้งานได้ถึง 10M line (หรืออะไรก็ตามที่คุณใส่) ดังนั้นจึงไม่มีอันตรายใด ๆ ในการทำให้ใหญ่พอที่จะรับมือกับทุกสิ่งที่คุณตี

มีหลายวิธีที่จะทำด้วยsedหรือawk:

sed -n '/TERMINATE/,$p' file

สิ่งนี้จะมองหาTERMINATEในไฟล์ของคุณและพิมพ์จากบรรทัดนั้นไปจนถึงท้ายไฟล์

awk '/TERMINATE/,0' file

sedตรงนี้เป็นพฤติกรรมเดียวกับ

ในกรณีที่คุณทราบจำนวนบรรทัดที่คุณต้องการเริ่มพิมพ์คุณสามารถระบุพร้อมกับNR(จำนวนเรคคอร์ดซึ่งท้ายที่สุดจะระบุจำนวนบรรทัด):

awk 'NR>=535' file

ตัวอย่าง

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

ถ้าด้วยเหตุผลใดก็ตามคุณต้องการหลีกเลี่ยงการใช้ sed สิ่งต่อไปนี้จะพิมพ์การจับคู่บรรทัดTERMINATEจนถึงจุดสิ้นสุดของไฟล์:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

และสิ่งต่อไปนี้จะพิมพ์จากการจับคู่บรรทัดต่อไปนี้TERMINATEจนถึงจุดสิ้นสุดของไฟล์:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

ใช้เวลา 2 กระบวนการในการทำสิ่งที่ sed สามารถทำได้ในหนึ่งกระบวนการและหากไฟล์เปลี่ยนระหว่างการประมวลผลของ grep และ tail ผลลัพธ์อาจไม่สอดคล้องกันดังนั้นฉันจึงแนะนำให้ใช้ sed นอกจากนี้หากไฟล์ dones ไม่มีTERMINATEอยู่คำสั่งที่ 1 จะล้มเหลว

ทางเลือกอื่นสำหรับsedคำตอบที่ยอดเยี่ยมโดย jfgagne และไม่รวมบรรทัดที่ตรงกัน:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

นี่อาจเป็นวิธีหนึ่งในการทำมัน หากคุณรู้ว่าไฟล์ใดที่คุณมีคำศัพท์ grep และมีกี่บรรทัดในไฟล์ของคุณ:

grep -A466 'ยุติ' ไฟล์

sed เป็นเครื่องมือที่ดีกว่ามากสำหรับงาน: ไฟล์ sed -n '/ re /, $ p'

โดยที่ regexp

อีกตัวเลือกหนึ่งคือการตั้งค่าสถานะ - after-context ของ grep คุณต้องผ่านตัวเลขเพื่อสิ้นสุดที่การใช้ wc ในไฟล์ควรให้ค่าที่ถูกต้องเพื่อหยุดที่ รวมสิ่งนี้กับ -n และนิพจน์การจับคู่ของคุณ

สิ่งเหล่านี้จะพิมพ์ทุกบรรทัดจากบรรทัดที่พบล่าสุด "TERMINATE" จนถึงจุดสิ้นสุดไฟล์:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME