การแทนที่สตริงในไฟล์ที่มีขนาดใหญ่มาก

ฉันมี URL จำนวนมากที่ไม่มีตัวคั่นในรูปแบบเดียวกับด้านล่าง:

http://example.comhttp://example.nethttp://example.orghttp://etc...

ฉันต้องการให้แต่ละ URL อยู่ในบรรทัดใหม่ ฉันพยายามทำสิ่งนี้โดยแทนที่ "http: //" ด้วย "\ nhttp: //" โดยใช้ sed

sed 's_http://_\nhttp://_g' urls.txt

แต่เกิดข้อผิดพลาดในการแบ่งกลุ่ม (การละเมิดหน่วยความจำ) ฉันสามารถคาดเดาได้ว่าขนาดไฟล์ที่แท้จริง (เกิน 100GB) ทำให้เกิดความผิดเพี้ยนเกินขีด จำกัด

ฉันสามารถแบ่งไฟล์ออกเป็นไฟล์เล็ก ๆ หลาย ๆ ไฟล์เพื่อการประมวลผลได้ แต่อินสแตนซ์ทั้งหมดของ "http: //" จะต้องถูกเก็บรักษาไว้เหมือนเดิม

มีวิธีที่ดีกว่าในการทำเช่นนี้?

ด้วยawkคุณสามารถหลีกเลี่ยงการอ่านข้อความจำนวนมากในครั้งเดียว:

awk -vRS='http://' -vORS='\nhttp://' 1 urls.txt > urlsperline.txt

ความสำเร็จอาจขึ้นอยู่กับการใช้awkงานที่ใช้ ตัวอย่างเช่นใช้gawkงานได้ดี แต่mawkล้มเหลว

สิ่งนี้จะทำงาน:

perl -pe 'BEGIN { $/ = "//" } s!(?=http://\z)!\n!' urls.txt

โดยการตั้งค่า$ /ฉันได้เปลี่ยนคำจำกัดความของบรรทัดดังนั้นมันจึงลงท้ายด้วย//แทนที่จะขึ้นบรรทัดใหม่ สิ่งนี้ทำให้ Perl อ่านทีละหนึ่ง URL ไม่น่าเป็นไปได้ที่ URL จะมี//ยกเว้นหลังจากโครงร่าง แต่ก็โอเคถ้ามี Regex จะป้องกันไม่ให้เพิ่มบรรทัดใหม่ปลอม

หากคุณต้องการหลีกเลี่ยงการเพิ่มบรรทัดว่างหน้า URL แรก:

perl -pe 'BEGIN { $/ = "//"; print scalar <> } s!(?=http://\z)!\n!' urls.txt

คุณอาจลองเปรียบเทียบเพื่อดูว่าs!http://\z!\nhttp://!เร็วขึ้นหรือไม่ พวกมันเทียบเท่ากัน โปรดทราบว่าการ/gตั้งค่าสถานะไม่จำเป็นสำหรับการทดแทนเนื่องจากสามารถมีได้เพียงหนึ่งรายการต่อหนึ่งรายการ "บรรทัด"

1. เปลี่ยนการเกิดขึ้นทั้งหมด:ด้วย a ขึ้นบรรทัดใหม่เพื่อตัดไฟล์
2. แทนที่
   • http ในตอนท้ายของบรรทัดด้วย
   • ขึ้นบรรทัดใหม่แล้วhttp:ต่อท้ายบรรทัดถัดไป
3. ทำซ้ำหนึ่งครั้งดังนั้นแม้กระทั่งและมีการอัพเดทบรรทัดคี่

ขั้นตอนเหล่านี้มีลักษณะดังนี้:

tr ':' '\n' | sed -e '/http$/{N;s/http\n/\nhttp:/}' | sed -e '/http$/{N;s/http\n/\nhttp:/}'

1. ตรวจสอบว่ามีบรรทัดที่ไม่ได้เริ่มต้นด้วยhttp://พิมพ์หมายเลขบรรทัด นี้เท่านั้นที่จะเกิดขึ้นหาก: เป็นหนึ่งใน URL อื่น ๆ httpกว่าหลังจากที่

   grep -nv '^http://'