เป็นไปได้ในทุบตีเพื่อเริ่มอ่านไฟล์จากการนับไบต์ arbitary นับ?

ฉันต้องการค้นหาวันที่ซึ่งอยู่ในบันทึก 8 GB (ข้อความ)

ฉันสามารถข้ามการอ่านตามลำดับแบบเต็มได้หรือไม่และทำการแยกไบนารีของไฟล์ (ขนาด) หรือทำการสำรวจระบบไฟล์inodes(ซึ่งฉันรู้น้อยมาก ) เพื่อเริ่มอ่านจากจุดแยกแต่ละจุดจนกว่าฉันจะหาออฟเซ็ตที่เหมาะสมจาก จะเริ่มค้นหาข้อความเพื่อหาบรรทัดที่กำหนดวันที่ได้ที่ไหน

tailการอ่านบรรทัดสุดท้ายไม่ได้ใช้การอ่านตามลำดับปกติดังนั้นฉันจึงสงสัยว่าสถานที่นี้มีให้บริการอย่างใดอย่างหนึ่งในทุบตีหรือฉันจะต้องใช้ Python หรือ C / C ++ ... แต่ฉันสนใจเฉพาะตัวbashเลือก ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

ซึ่ง .. สร้างไฟล์ที่ไม่มีการแบ่งชั่วคราวข้ามบล็อก * 512MB ของข้อมูลในแต่ละการทำงานอ่าน 64 ไบต์จากตำแหน่งนั้นและ จำกัด การส่งออกไปที่บรรทัดแรกของ 64 ไบต์

คุณอาจต้องการปรับ 64 เป็นสิ่งที่คุณคิดว่าคุณต้องการ

ดูเหมือนคุณต้องการ:

tail -c +1048576

หรือจำนวนไบต์ที่คุณต้องการข้าม เครื่องหมายบวกบอกหางให้วัดจากจุดเริ่มต้นของไฟล์แทนการสิ้นสุด หากคุณใช้หางรุ่น GNU คุณสามารถเขียนเป็น:

tail -c +1M

หากต้องการรับจำนวนไบต์คงที่หลังการตัดแทนที่จะเหลือส่วนที่เหลือทั้งหมดของไฟล์เพียงไพพ์ผ่านหัว:

tail -c +1048576 | head -c 1024

ฉันจะลองทำสิ่งนี้เพื่อแยกบันทึกเป็นส่วนย่อย 512MiB เพื่อการแยกวิเคราะห์ที่รวดเร็วยิ่งขึ้น

split <filename> -b 536870912

หากคุณกำลังมองหาไฟล์ดังต่อไปนี้จะได้ผล:

for file in x* ; do
  echo $file
  head -n 1 $file
done

ใช้เอาต์พุตนั้นเพื่อกำหนดไฟล์ที่จะ grep สำหรับวันที่ของคุณ

นี่คือสคริปต์ของฉันฉันกำลังมองหาบรรทัดแรกเป็นเขตข้อมูลแรกที่ตรงกับหมายเลขของฉัน เส้นจะถูกจัดเรียงตามฟิลด์แรก ฉันใช้ dd เพื่อตรวจสอบบรรทัดแรกของบล็อกของ 128K จากนั้นฉันข้ามไปยังบล็อกและทำการค้นหา มันปรับปรุงประสิทธิภาพเป็นไฟล์มากกว่า 1M

ความคิดเห็นหรือการแก้ไขใด ๆ ที่มีความนิยม!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

*แก้ไข* ** grep เป็นเร็วขึ้นมากและ แอ๊กชั่นที่ดียิ่งขึ้น