ฉันจะลบ U + 200B (เว้นวรรคความกว้างเป็นศูนย์) ได้อย่างไรโดยใช้ sed

ฉันมีไฟล์ขนาดใหญ่มากที่มีช่องว่างที่มีความกว้างเป็นศูนย์กระจายอยู่ทั่ว มันต้องใช้เวลานานเกินไปในการเปิดและแก้ไขการใช้ดังนั้นฉันต้องการที่จะลบทุกกรณีของตัวละครโดยใช้vi sedปัญหาคือฉันไม่สามารถหาวิธีจับคู่ตัวละครได้! ฉันลองใช้\u200Bแล้ว\x{200b}. ความคิดใด ๆ

ฉันใช้ CentOS 5 ถ้านั่นช่วยได้ทั้งหมด

ดูเหมือนว่าจะใช้งานได้สำหรับฉัน:

sed 's/\xe2\x80\x8b//g' inputfile

สาธิต:

$ /usr/bin/printf 'X\u200bY\u200bZ' | hexdump -C
00000000  58 e2 80 8b 59 e2 80 8b  5a                       |X...Y...Z|
$ /usr/bin/printf 'X\u200bY\u200bZ' | sed 's/\xe2\x80\x8b//g' | hexdump -C
00000000  58 59 5a                                          |XYZ|

แก้ไข:

อ้างอิงบางส่วนจากคำตอบของ Gilles:

tr -d $(/usr/bin/printf "\u200b") < inputfile

พฤติกรรมของ GNU sed กับ UTF-8 ดูเหมือนจะไม่ค่อยชัดเจน จากการทดลองคุณสามารถแทนที่ไบต์ของการแทน UTF-8 ได้:

<old sed 's/\xe2\x80\e8b//g' >new

หรือคุณสามารถพิมพ์อักขระลงในเชลล์ของคุณและใช้คำสั่งมาตรฐานใด ๆ ในโลแคล UTF-8:

<old tr -d '​' >new
<old sed 's/​//g' >new

ใน zsh คุณยังสามารถป้อนตัวละครผ่านทางลำดับหนีได้:

<old tr -d $'\u200B' >new

ดีเว้นแต่มีใครมีความคิดเกี่ยวกับวิธีการsedทำเช่นนี้ (ซึ่งฉันยังสนใจโดยวิธี) Python เพื่อช่วยเหลือ ...

import sys, re
pattern = re.compile(u"\u200b")
f = open(sys.stdin, "rb")
for line in f:
    a = pattern.sub("", line.decode("utf8"))
    print a.encode("utf8"),
f.close()