การปรับปรุงประสิทธิภาพสำหรับการ grepping ทับไฟล์ขนาดใหญ่

ฉันมี FILE_A ซึ่งมีมากกว่า 300,000 บรรทัดและ FILE_B ซึ่งมีมากกว่า 30 ล้านบรรทัด ฉันสร้างสคริปต์Bashที่ greps แต่ละบรรทัดใน FILE_A มากกว่าใน FILE_B และเขียนผลลัพธ์ของ grep ไปยังไฟล์ใหม่

กระบวนการทั้งหมดนี้ใช้เวลานานกว่า 5 ชั่วโมง

ฉันจะปรับปรุงประสิทธิภาพของสคริปต์ได้อย่างไร

ฉันใช้grep -F -m 1เป็นคำสั่ง grep FILE_A มีลักษณะดังนี้:

123456789 
123455321

และ FILE_B เป็นเช่นนี้:

123456789,123456789,730025400149993,
123455321,123455321,730025400126097,

ดังนั้นด้วย Bash ฉันมีwhileวนรอบที่เลือกบรรทัดถัดไปใน FILE_A และ greps มากกว่าใน FILE_B เมื่อพบรูปแบบใน FILE_B ฉันเขียนลงในไฟล์ result.txt

while read -r line; do
   grep -F -m1 $line 30MFile
done < 300KFile

ลองใช้grep --file==FILE_Aดู มันเกือบจะโหลดรูปแบบในหน่วยความจำอย่างแน่นอนซึ่งหมายความว่ามันจะสแกน FILE_B เพียงครั้งเดียว

grep -F -m1 --file==300KFile 30MFile

นี่คือคำตอบPerlสำหรับลูกหลาน ฉันทำสิ่งนี้เป็นประจำเพื่อจับคู่สาย 1M กับ 30-35M บรรทัด ใช้เวลาประมาณ 10 วินาทีจึงจะเสร็จ

ก่อนอื่นจงแฮ็ก FILE_A:

my %simple_hash;
open my $first_file, '<', 'FILE_A' or die "What have you done?! $!";
while (<$first_file>) {
  chomp;                 ## Watch out for Windows newlines
  $simple_hash{$_} = 1;  ## There may be an even faster way to define this
}
close $first_file;

แล้วถ้าไฟล์ขนาดใหญ่ของคุณจะถูกคั่นด้วยและรู้ว่าสิ่งคอลัมน์ไปหลังจากที่ตรวจสอบเพียงการดำรงอยู่ของคีย์กัญชาในขณะที่คุณวิ่งลง FILE_B ซึ่งเป็นมากมากเร็วกว่าการตรวจสอบเพื่อความเท่าเทียมกันหรือการจับคู่แสดงออกปกติ:

open my $second_file, '<', 'FILE_B' or die "Oh no, not again.. $!";
while (<$second_file>) {
  my ($col1, undef) = split ',';
  if (exists($simple_hash{$col1}) {
    print $_;
  }
}
close $second_file;

ถ้าแฟ้มเป้าหมายของคุณมีขนาดใหญ่ไม่ได้เป็นอย่างแยกสามารถแล้วสคริปต์นี้สูญเสียความคุ้มค่าเป็นอย่างมากของความเร็วมาจากการไม่ต้องไฟขึ้นแสดงออกปกติเครื่องยนต์

หากคุณไม่สนใจการเขียนโปรแกรมที่เกี่ยวข้องให้ลองใช้แผนผังต่อท้าย (หรือตัวแปร)

คุณสามารถประมวลผลล่วงหน้าFILE_Bโดยใช้อัลกอริทึมของ Ukkonenในเวลาเชิงเส้น จากนั้นคุณสอบถามแต่ละบรรทัดในFILE_Aเวลาเชิงเส้นในความยาวบรรทัดและรับหมายเลขบรรทัดทั้งหมดที่ตรงกัน (อาจจำเป็นต้องปรับแต่ง tree a tad) ซึ่งคุณสามารถเขียนลงในไฟล์ผลลัพธ์

ขั้นตอนการทำงานทั้งในเวลา O (n + นิวตันเมตร) ถ้า n คือความยาวของFILE_B, Nคือจำนวนของเส้นในFILE_Aและ m คือความยาวของสายที่ยาวที่สุดในFILE_A- นี้เป็นหลักรันไทม์เชิงเส้น เอาชนะเวลากำลังสองที่วิธีดั้งเดิมของคุณต้องการตามขนาด

ฉันพบ--mmapธงเมื่อเร็ว ๆ นี้ไม่มีโอกาสทดสอบ แต่ฉันยินดีที่จะรับฟังการค้นพบของคุณ นี่คือคำอธิบายจากหน้าคน:

--mmap If  possible, use the mmap(2) system call to read input, instead
      of the default read(2) system call.  In some situations,  --mmap
      yields  better performance.  However, --mmap can cause undefined
      behavior (including core dumps) if an input file  shrinks  while
      grep is operating, or if an I/O error occurs.

ดูนี้หรือนี้mmapสำหรับข้อมูลเพิ่มเติม

ทำไมคุณไม่ใส่ไฟล์นั้นลงในฐานข้อมูลฐานข้อมูลทำได้ดีมากในการผสานที่มีประสิทธิภาพการแฮชการซ้อนแบบวนซ้ำเข้าร่วมเช่นนี้ และพวกเขาใช้หน่วยความจำเสมือนได้ดี