แทนที่สตริงที่มีการขึ้นบรรทัดใหม่ในไฟล์ขนาดใหญ่

มีใครรู้บ้างเกี่ยวกับเครื่องมือที่ไม่ใช้บรรทัดในการค้นหา / แทนที่สตริงในวิธีที่ค่อนข้างมีประสิทธิภาพ ดูคำถามนี้ด้วย

ฉันมีไฟล์ข้อความ + 2GB ที่ฉันต้องการประมวลผลคล้ายกับสิ่งที่ดูเหมือนจะทำ:

sed -e 's/>\n/>/g'

ซึ่งหมายความว่าผมต้องการที่จะลบบรรทัดใหม่ทั้งหมดที่เกิดขึ้นหลังจากที่มีแต่ไม่ได้ทุกที่อื่นดังนั้นกฎที่ออกมา>tr -d

คำสั่งนี้ (ที่ฉันได้จากคำตอบของคำถามที่คล้ายกัน ) ล้มเหลวด้วยcouldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

ดังนั้นมีวิธีการอื่นใดโดยไม่หันไปใช้ C? ฉันเกลียด Perl แต่ยินดีที่จะยกเว้นในกรณีนี้ :-)

ฉันไม่รู้ว่าตัวละครใดที่ไม่ได้เกิดขึ้นในข้อมูลดังนั้นการแทนที่\nด้วยอักขระอื่นชั่วคราวเป็นสิ่งที่ฉันต้องการหลีกเลี่ยงถ้าเป็นไปได้

มีความคิดที่ดีมีใครบ้าง?

นี่เป็นเรื่องไม่สำคัญใน Perl คุณไม่ควรเกลียดมัน!

perl -i.bak -pe 's/>\n/>/' file

คำอธิบาย

• -i: file.bakแก้ไขไฟล์ในสถานที่และสร้างการสำรองข้อมูลของเดิมที่เรียกว่า หากคุณไม่ต้องการสำรองข้อมูลให้ใช้perl -i -peแทน
• -pe-eอ่านบรรทัดแฟ้มใส่โดยสายและพิมพ์แต่ละบรรทัดหลังจากการใช้สคริปต์ที่ได้รับเป็น
• s/>\n/>/: sedการเปลี่ยนตัวผู้เล่นเช่นเดียวกับ

และนี่คือawkวิธีการ:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

perlวิธีการแก้ปัญหา:

$ perl -pe 's/(?<=>)\n//'

ชี้แจง

• s/// ใช้สำหรับการทดแทนสตริง
• (?<=>) เป็นรูปแบบ lookbehind
• \n ตรงกับบรรทัดใหม่

ความหมายของรูปแบบทั้งหมดจะลบบรรทัดใหม่ทั้งหมดที่มีอยู่>ก่อนหน้า

เกี่ยวกับสิ่งนี้:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

สำหรับ GNU sed คุณสามารถลองเพิ่มตัวเลือก-u( --unbuffered) ตามคำถามได้ GNU sed ยังมีความสุขกับสิ่งนี้ในฐานะหนึ่งซับง่าย:

sed ':loop />$/ { N; s/\n//; b loop }' file

คุณควรจะสามารถใช้sedกับNคำสั่งได้ แต่เคล็ดลับคือการลบหนึ่งบรรทัดออกจากพื้นที่รูปแบบในแต่ละครั้งที่คุณเพิ่มอีก (เพื่อให้พื้นที่รูปแบบนั้นมีเพียง 2 บรรทัดติดต่อกันเสมอแทนที่จะพยายามอ่านทั้งหมด ไฟล์) - ลอง

sed ':a;$!N;s/>\n/>/;P;D;ba'

แก้ไข: หลังจากอ่านOne-Liners ชื่อดังของ Peteris Kruminsอีกครั้งฉันเชื่อว่าsedทางออกที่ดีกว่าน่าจะเป็น

sed -e :a -e '/>$/N; s/\n//; ta'

ซึ่งจะต่อท้ายบรรทัดต่อไปนี้ในกรณีที่มีการ>จับคู่แล้วในตอนท้ายและควรวนกลับไปตามเงื่อนไขเพื่อจัดการกับกรณีของการจับคู่บรรทัดที่ต่อเนื่องกัน (เป็น39ของ Krumin ต่อท้ายบรรทัดต่อไป "\"อย่างแน่นอนยกเว้นการแทนที่>สำหรับ\เป็นอักขระการรวมและความจริงที่ว่าอักขระการรวมถูกเก็บรักษาไว้ในผลลัพธ์)

sedไม่ได้มีวิธีในการส่งออกโดยไม่ต้องขึ้นบรรทัดใหม่ขั้นสุดท้าย วิธีการของคุณที่ใช้Nงานพื้นฐาน แต่เก็บเส้นที่ไม่สมบูรณ์ไว้ในหน่วยความจำและอาจล้มเหลวได้หากบรรทัดยาวเกินไป (โดยทั่วไปแล้วการฝังตัวที่ไม่ได้ออกแบบมาเพื่อจัดการกับบรรทัดที่ยาวมาก)

คุณสามารถใช้ awk แทน

awk '{if (/<$/) printf "%s", $0; else print}'

อีกวิธีหนึ่งคือการใช้trเพื่อสลับอักขระขึ้นบรรทัดใหม่ด้วยอักขระ“ น่าเบื่อ” ที่เกิดขึ้นบ่อยครั้ง Space อาจใช้งานได้ที่นี่ - เลือกอักขระที่มีแนวโน้มที่จะปรากฏในทุกบรรทัดหรืออย่างน้อยก็เป็นสัดส่วนจำนวนมากในข้อมูลของคุณ

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

แล้วการใช้ ed ล่ะ

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(ผ่านhttp://wiki.bash-hackers.org/howto/edit-ed )

ฉันสิ้นสุดการใช้gsarตามที่อธิบายไว้ในคำตอบเช่นนี้:

gsar -F '-s>:x0A' '-r>'

มีหลายวิธีในการทำเช่นนี้และส่วนใหญ่ที่นี่ดีจริงๆ แต่ฉันคิดว่านี่คือสิ่งที่ฉันชอบ:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

หรือแม้กระทั่ง:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'