ลบบรรทัดออกจากไฟล์โดยขึ้นอยู่กับบรรทัดที่พบในไฟล์อื่น

ไฟล์ file1.txt มีบรรทัดเช่น:

/api/purchase/<hash>/index.html

ตัวอย่างเช่น:

/api/purchase/12ab09f46/index.html

ไฟล์ file2.csv มีบรรทัดเช่น:

<hash>,timestamp,ip_address

ตัวอย่างเช่น:

12ab09f46,20150812235200,22.231.113.64 
a77b3ff22,20150812235959,194.66.82.11

ฉันต้องการกรอง file2.csv ลบบรรทัดทั้งหมดที่มีค่าแฮชอยู่ใน file1.txt กล่าวได้ว่า:

cat file1.txt | extract <hash> | sed '/<hash>/d' file2.csv

หรืออะไรทำนองนี้

มันควรจะตรงไปตรงมา แต่ดูเหมือนว่าฉันจะไม่สามารถใช้งานได้

ใครช่วยกรุณาให้ขั้นตอนการทำงานสำหรับงานนี้ได้ไหม

cut -d / -f 4 file1.txt | paste -sd '|' | xargs -I{} grep -v -E {} file2.csv

คำอธิบาย:

cut -d / -f 4 file1.txt จะเลือกแฮชจากไฟล์แรก

paste -sd '|' จะเข้าร่วมแฮชทั้งหมดในการแสดงออกปกติ H1|H2|H3

xargs -I{} grep -v -E {} file2.csvจะเรียกใช้ grep ที่มีรูปแบบก่อนหน้านี้เป็นอาร์กิวเมนต์ xargs จะแทนที่{}ด้วยเนื้อหาของSTDIN

หากคุณไม่มีpasteคุณสามารถแทนที่ด้วยtr "\\n" "|" | sed 's/|$//'

awkทางออกที่เป็นไปได้:

awk 'NR == FNR { x[$4] = 1; next; } { if (!($1 in x)) print $0; }' FS="/" file1.txt FS="," file2.txt

ก่อนอื่นเราอ่านfile1.txtโดยใช้FS(ตัวคั่นฟิลด์) "/" และสร้างอาร์เรย์ x พร้อมค่าคีย์จากฟิลด์$4ซึ่งเป็นแฮชที่คุณต้องการ ต่อไปเราอ่านfile2.txtการตั้งค่าไฟล์ที่สองที่FSจะเป็น,และตรวจสอบว่าค่าของเขตข้อมูล$1ไม่ได้เป็นกุญแจสำคัญในอาร์เรย์xและถ้ามันไม่ได้เราพิมพ์มัน
สำนวนที่เหมือนกันมากขึ้นตามที่เสนอในความคิดเห็นอาจเป็น:

awk 'NR == FNR { x[$4] = 1; next; } !($1 in x)' FS="/" file1.txt FS="," file2.txt

สำหรับGNU sed

sed -z 's%.*/\([^/]*\)/index.html\n%\1\\|%g;s%^%/%;s%\\|$%/d%' file1.csv |
sed -f - file2.csv

โดยที่sed แรก สร้างรายการของ hash ใน sed-command-format like และถ่ายโอนไปยังsed -script ถัดไปซึ่งอ่านคำสั่งด้านบนจากอินพุตดังนั้นตัวเลือก เช่นเดียวกันกับgrep/12ab09f46\|a77b3ff22\|..../d -f -

grep -oP '[^/]*(?=/index.html$)' file1.csv | grep -Fvf - file2.csv

หรือไม่มี perl-expresions:

grep -o '[^/]*/index.html$' file1.csv | 
grep -o '^[^/]*' | 
grep -Fvf - file2.csv

หรือดีกว่าด้วยการตัด :

cut -d/ -f4 file1.csv | grep -Fvf - file2.csv

#!/bin/bash
cut -d, -f1 file2 | while read key ; do 
   #check for appearance in file1 with successful grep:
   #exit status is 0 if pattern is found, only search for at least 1
   #appearance -> to speed it up
   if [[ $(grep -m 1 "/$key/" file1) ]] ; then
      sed "/^$key,/d" -i file2
      #note that we are gradually overwriting file2 (-i option),
      #so make a backup!
   fi
done

โปรดทราบว่า stings การค้นหาคือ/$key/และ^$key,เพื่อลดผลลัพธ์ที่อยู่ระหว่างเครื่องหมายทับสองอัน (ไฟล์ 1) หรือเป็นรายการแรกของบรรทัดและตามด้วยเครื่องหมายจุลภาค (ไฟล์ 2) สิ่งนี้จะทำให้ปลอดภัยหากปุ่มมีลักษณะ

a,values
a1,values

ในไฟล์ 2 หรือชอบ

/api/../a1/../
/api/../a/../

ในไฟล์ 1

ฉันเพิ่งลองใช้สายการบินหนึ่งต่อไปนี้และดูเหมือนว่าจะทำงาน:

 for i in `cat file1.txt  | awk -F"/" '{print $4}'`; do echo "\n $i" ; sed -ri "/^$i,/d" file2.csv ; done

โปรดแทนที่-riก่อนด้วย-reเพื่อทดสอบ -จะทำงานแบบแห้งและถ้าทั้งหมดก็โอเคคุณสามารถรันด้วย-ri

นอกจากคำตอบของ Gabriele Lana แล้วโปรดทราบว่าคำสั่งวาง BSD ต้องมีการระบุขีดกลางเพื่ออ่านเนื้อหาจากอินพุตมาตรฐาน

คู่มือการวางคำสั่ง

หากระบุ '-' สำหรับไฟล์อินพุตหนึ่งไฟล์ขึ้นไปจะใช้อินพุตมาตรฐาน อินพุตมาตรฐานจะอ่านทีละหนึ่งบรรทัดเป็นวงกลมสำหรับแต่ละอินสแตนซ์ของ '-'

ดังนั้นสุดท้ายต้องมีการเปลี่ยนแปลงเช่นด้านล่าง

cut -d / -f 4 file1.txt | paste -sd '|' - | xargs -I{} grep -v -E {} file2.csv