ค้นหาแบบไบนารีในไฟล์ข้อความที่เรียงลำดับ

ฉันมีไฟล์เรียงลำดับขนาดใหญ่ที่มีความยาวหลายพันล้านบรรทัด รับสายใหม่ฉันต้องการที่จะรู้ว่าจำนวนไบต์มันจะได้รับถ้ามันถูกรวมอยู่ในไฟล์ที่เรียง

ตัวอย่าง

a\n
c\n
d\n
f\n
g\n

รับอินพุต 'foo' ฉันจะได้ผลลัพธ์ 9

สิ่งนี้ทำได้ง่ายเพียงแค่ทำการผ่านไฟล์ทั้งหมด แต่การที่มีความยาวของตัวแปรหลายพันล้านบรรทัดมันจะเร็วกว่าที่จะทำการค้นหาแบบไบนารี

เครื่องมือการประมวลผลข้อความมีอยู่แล้วหรือไม่?

แก้ไข:

มันทำตอนนี้: https://gitlab.com/ole.tange/tangetools/blob/master/bsearch/bsearch

ฉันไม่ได้ตระหนักถึงเครื่องมือมาตรฐานบางอย่างที่ทำเช่นนี้ อย่างไรก็ตามคุณสามารถเขียนของคุณเอง ตัวอย่างเช่นสคริปต์ทับทิมต่อไปนี้ควรทำงาน

file, key = ARGV.shift, ARGV.shift
min, max = 0, File.size(file)

File.open(file) do |f|
  while max-min>1 do
    middle = (max+min)/2
    f.seek middle
    f.readline
    if f.eof? or f.readline>=key
      max = middle
    else
      min = middle
    end
  end
  f.seek max
  f.readline
  p f.pos+1
end

มันค่อนข้างยุ่งยากเพราะหลังจากการค้นหาคุณมักจะอยู่ตรงกลางของบรรทัดดังนั้นจึงต้องทำหนึ่งบรรทัดเพื่อไปที่จุดเริ่มต้นของบรรทัดต่อไปนี้ซึ่งคุณสามารถอ่านและเปรียบเทียบกับคีย์ของคุณ

(นี่ไม่ใช่คำตอบที่ถูกต้องสำหรับคำถามของคุณเป็นเพียงจุดเริ่มต้น)

ฉันใช้sgrep (grep เรียงลำดับ) ในสถานการณ์ที่คล้ายกัน

น่าเสียดายที่ (เราต้องการสถานะปัจจุบัน) มันไม่มีเอาต์พุตออฟเซ็ตไบต์ แต่ฉันคิดว่ามันสามารถเพิ่มได้ง่าย

จากการแก้ปัญหาของ Michas ที่นี่เป็นโปรแกรมที่สมบูรณ์มากขึ้น:

https://gitlab.com/ole.tange/tangetools/blob/master/bsearch/bsearch