ค้นหาหลายรายการและแทนที่การกระทำในไฟล์ข้อความขนาดใหญ่หนึ่งไฟล์

ฉันมีไฟล์ข้อความขนาดใหญ่ (ประมาณ 2GB) ฉันต้องการค้นหาห้ารายการและแทนที่การกระทำในไฟล์เดียวกันและต้องการทำสิ่งนี้ในคำสั่งเดียว ปกติฉันจะใช้ vim, เปิดไฟล์, ทำหนึ่งแทนที่ action, จากนั้นต่อไป, ฯลฯ มีหนึ่ง catch, ดังที่ฉันสังเกตเห็นว่าหลังจากสามหรือสี่การค้นหา vim ล่มเนื่องจากปัญหาหน่วยความจำ

นี่คือตัวอย่างของคำสั่งที่ฉันใช้ใน Vim:

:%s/www\.abcdef/www.test.abcdef/g 
:%s/www\.klmnop/www.test.klmnop/g

วิธีที่ดีที่สุดในการจัดการกับสิ่งนี้คืออะไร?

ฉันจะใช้ sed เช่นนี้

sed -i "s/www\.abcdef/www.test.abcdef/g;s/www\.kmlnop/www.test.klmnop/g;" yourfile.txt

-iตัวเลือกหมายถึงการแทนที่ "ในสถานที่" คุณสามารถบอกได้ว่าจะสร้างการสำรองข้อมูลของไฟล์ของคุณโดยให้ส่วนขยายให้กับตัวเลือกนี้ ( -i.bakจะทำการสำรองข้อมูล yourfile.txt เป็น yourfile.txt.bak)

หากคุณมีรูปแบบการค้นหาอื่น ๆ อีกมากมายคุณสามารถบันทึกไว้ในไฟล์และอ่านการแทนที่จากที่นั่น ตัวอย่างเช่นสมมติว่าเนื้อหาเหล่านี้เป็นของreplacements.txt:

www\.abcdef www.test.abcdef 
www\.klmnop www.test.klmnop

จากนั้นคุณสามารถอ่านรายการการแทนที่ N และแทนที่ด้วยสิ่งนี้:

while read from to; do
  sed -i "s/$from/$to/" infile.txt ; 
done < replacements.txt 

หมายเหตุ:

• นี้จะถือว่าสตริงการค้นหาของคุณไม่ได้มีช่องว่างและตัวอักษรแปลก ๆ replacements.txtจะต้องมีการหนี
• มันจะเรียกใช้หนึ่งครั้งsedต่อการทดแทนซึ่งอาจใช้เวลาสักครู่หากคุณมีการดำเนินการทดแทนมากมาย
• มันสามารถจัดการกับจำนวนการแทนที่โดยพลการ (หลายพันหรือหลายล้านหรืออะไรก็ตาม) ตราบใดที่คุณไม่ทราบว่าจะใช้เวลาเพิ่มอีกสักนิด

ตัวเลือกอื่นจะเขียนข้างต้นเป็นsedสคริปต์:

s/www\.abcdef/www\.test\.abcdef/g;
s/www\.kmlnop/www\.test\.klmnop/g;
s/aaaa/bbbb/g;
s/cccc/dddd/g;
s/eeee/ffff/g;

จากนั้นคุณสามารถเรียกใช้สคริปต์ในไฟล์ของคุณและมันจะทำการแทนที่ทั้งหมดในครั้งเดียว:

sed -f replace.sed infile.txt