ตรวจสอบว่าไฟล์ทุกบรรทัดเกิดขึ้นในไฟล์อื่นหรือไม่

ฉันมีสองไฟล์: file1 ที่มีประมาณ 10,000 บรรทัดและ file2 ที่มีไม่กี่ร้อยบรรทัด ฉันต้องการตรวจสอบว่าทุกบรรทัดของ file2 เกิดขึ้นใน file1 นั่นคือ: ∀ line ℓ∈ file2: ℓ∈ file1

หากใครไม่ทราบความหมายของสัญลักษณ์เหล่านี้หรือ "ตรวจสอบว่าทุกบรรทัดของ file2 เกิดขึ้นใน file1" หมายถึง: บรรทัดที่เทียบเท่าหลายบรรทัดในไฟล์ใดไฟล์หนึ่งไม่มีผลต่อการตรวจสอบที่ส่งคืนว่าไฟล์นั้นตรงตามข้อกำหนดหรือไม่

ฉันจะทำสิ่งนี้ได้อย่างไร

comm -13 <(sort -u file_1) <(sort -u file_2)

file_2คำสั่งนี้พระทัยสายออกที่ไม่ซ้ำกับ ดังนั้นถ้าเอาท์พุทเป็นที่ว่างเปล่าแล้วทุกเส้นมีอยู่ในfile_2file_1

จากคนของ comm:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

หากจำนวนการจับคู่จาก file2 ใน (บรรทัดที่ไม่ซ้ำกัน) file1 เท่ากับจำนวนบรรทัดที่ไม่ซ้ำกันใน file2 แสดงว่าทั้งหมดนั้นอยู่ที่นั่น มิฉะนั้นพวกเขาจะไม่

การใช้ GNU awkซึ่งรองรับlength(array)คุณสมบัติเฉพาะ(และawkการใช้งานบางอย่างซึ่งอาจรองรับ) และไม่จำเป็นหากไฟล์ถูกเรียงลำดับ

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

นี้คือการอ่านfile2ลงในอาร์เรย์ที่เรียกว่าseenมีคีย์เป็นสายทั้งหมดของfile2

จากนั้นอ่านfile1และสำหรับแต่ละบรรทัดหากจับคู่กับบรรทัดในอาร์เรย์ที่เห็นแล้วลบคีย์นั้น

ในตอนท้ายถ้าอาร์เรย์ว่างเปล่าหมายความว่ามีบรรทัดทั้งหมดในfile2อยู่ในfile1และจะพิมพ์Matchedมิฉะนั้นจะNot Matchedปรากฏขึ้น

เพื่อความเข้ากันได้ในทุกawkการใช้งาน

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

การละเว้นบรรทัดว่าง / หรือเส้นที่มีช่องว่าง แต่ถ้าในfile2คุณจะต้องเพิ่มNFเงื่อนไขในการNR==FNR && NF {...ที่จะข้ามไปอ่านพวกเขาลงในอาร์เรย์

การใช้commคุณสามารถค้นหาบรรทัดที่พบได้ทั่วไปในไฟล์ทั้งสอง

comm -12 file1 file2

ดูman commรายละเอียดเพิ่มเติมได้ที่

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

จะไม่สร้างเอาต์พุตหากfile1มีบรรทัดทั้งหมดที่เข้าfile2และออกด้วยสถานะ0มิฉะนั้นจะพิมพ์ออกมาเช่น

Files /proc/self/fd/11 and /proc/self/fd/12 differ

และออกด้วยสถานะ 1

ใช้โปรแกรม Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

การใช้งาน:

python3 contains-all.py file2 file1

สถานะการออกจากโปรแกรมระบุว่ารูปแบบของไฟล์ 2 ทั้งหมดตรงกันหรือไม่:

• 0 (สำเร็จ) หมายถึงรูปแบบทั้งหมดตรงกัน
• 1 (ล้มเหลว) หมายถึงรูปแบบบางอย่างไม่ตรงกัน

เพื่อสอบถามสถานะออกในเปลือก (สคริปต์) คุณสามารถใช้$?ตัวแปรพิเศษหรือสำนวนอื่น ๆ ที่ประเมินสถานะออกคำสั่งเช่นผู้ประกอบการลัดวงจร&&และ||และการแสดงออกเช่นเงื่อนไขหรือif whileตัวอย่าง:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combineจากmoreutilsจะแสดงบรรทัดทั้งหมดfile2ที่ไม่ได้อยู่ในfile1:

combine file2 not file1

จากนั้นคุณสามารถนับจำนวนบรรทัดได้โดยไปที่wc -l:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi