การตัดอักขระที่ไม่สามารถพิมพ์ออกจากสตริงใน python

ฉันใช้ในการวิ่ง

$s =~ s/[^[:print:]]//g;

บน Perl เพื่อกำจัดอักขระที่ไม่สามารถพิมพ์ได้

ใน Python ไม่มีคลาส regex POSIX และฉันไม่สามารถเขียน [: print:] หมายความว่าฉันต้องการได้ ฉันรู้ว่าไม่มีวิธีใดใน Python ในการตรวจสอบว่าอักขระนั้นพิมพ์ได้หรือไม่

คุณจะทำอะไร?

แก้ไข: ต้องรองรับอักขระ Unicode ด้วย วิธีที่ string.printable จะดึงออกจากเอาต์พุตอย่างมีความสุข curses.ascii.isprint จะส่งคืนเท็จสำหรับอักขระ Unicode ใด ๆ

การทำซ้ำในสตริงนั้นค่อนข้างช้าใน Python นิพจน์ทั่วไปอยู่ในลำดับความสำคัญเร็วกว่าสำหรับสิ่งประเภทนี้ คุณต้องสร้างคลาสตัวละครด้วยตัวคุณเอง unicodedataโมดูลเป็นประโยชน์มากสำหรับการนี้โดยเฉพาะอย่างยิ่งunicodedata.category ()ฟังก์ชั่น ดูฐานข้อมูลอักขระ Unicodeสำหรับคำอธิบายหมวดหมู่

import unicodedata, re, itertools, sys

all_chars = (chr(i) for i in range(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(chr, itertools.chain(range(0x00,0x20), range(0x7f,0xa0))))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

สำหรับ Python2.0

import unicodedata, re, sys

all_chars = (unichr(i) for i in xrange(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(unichr, range(0x00,0x20) + range(0x7f,0xa0)))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

สำหรับบางกรณีการใช้งานหมวดหมู่เพิ่มเติม (เช่นทั้งหมดจากส่วนควบคุมกลุ่มอาจดีกว่าแม้ว่าอาจทำให้เวลาในการประมวลผลช้าลงและเพิ่มการใช้หน่วยความจำอย่างมากจำนวนอักขระต่อหมวดหมู่:

• Cc (ควบคุม): 65
• Cf (รูปแบบ): 161
• Cs (ตัวแทน): 2048
• Co (ใช้ส่วนตัว): 137468
• Cn (ยังไม่ได้กำหนด): 836601

แก้ไขเพิ่มคำแนะนำจากความคิดเห็น

เท่าที่ฉันรู้วิธี pythonic / มีประสิทธิภาพมากที่สุดคือ:

import string

filtered_string = filter(lambda x: x in string.printable, myStr)

คุณสามารถลองตั้งค่าตัวกรองโดยใช้unicodedata.category()ฟังก์ชัน:

import unicodedata
printable = {'Lu', 'Ll'}
def filter_non_printable(str):
  return ''.join(c for c in str if unicodedata.category(c) in printable)

ดูตารางที่ 4-9 ในหน้า 175 ในคุณสมบัติอักขระฐานข้อมูล Unicodeสำหรับหมวดหมู่ที่มี

ใน Python 3

def filter_nonprintable(text):
    import itertools
    # Use characters of control category
    nonprintable = itertools.chain(range(0x00,0x20),range(0x7f,0xa0))
    # Use translate to remove all non-printable characters
    return text.translate({character:None for character in nonprintable})

ดูโพสต์ StackOverflow เกี่ยวกับการลบเครื่องหมายวรรคตอนสำหรับวิธีที่ .ranslate () เปรียบเทียบกับ regex & .replace ()

สามารถสร้างช่วงได้nonprintable = (ord(c) for c in (chr(i) for i in range(sys.maxunicode)) if unicodedata.category(c)=='Cc')โดยใช้หมวดหมู่ฐานข้อมูลอักขระ Unicodeดังที่แสดงโดย @Ants Aasma

สิ่งต่อไปนี้จะใช้ได้กับอินพุต Unicode และค่อนข้างเร็ว ...

import sys

# build a table mapping all non-printable characters to None
NOPRINT_TRANS_TABLE = {
    i: None for i in range(0, sys.maxunicode + 1) if not chr(i).isprintable()
}

def make_printable(s):
    """Replace non-printable characters in a string."""

    # the translate method on str removes characters
    # that map to None from the string
    return s.translate(NOPRINT_TRANS_TABLE)


assert make_printable('Café') == 'Café'
assert make_printable('\x00\x11Hello') == 'Hello'
assert make_printable('') == ''

การทดสอบของฉันแนะนำว่าวิธีนี้เร็วกว่าฟังก์ชันที่วนซ้ำบนสตริงและส่งคืนผลลัพธ์โดยใช้str.join.

อีกทางเลือกหนึ่งใน python 3:

re.sub(f'[^{re.escape(string.printable)}]', '', my_string)

ฟังก์ชั่นนี้ใช้ความเข้าใจในรายการและ str.join ดังนั้นจึงทำงานในเวลาเชิงเส้นแทน O (n ^ 2):

from curses.ascii import isprint

def printable(input):
    return ''.join(char for char in input if isprint(char))

สิ่งที่ดีที่สุดที่ฉันคิดขึ้นมาคือ (ขอบคุณ python-izers ด้านบน)

def filter_non_printable(str):
  return ''.join([c for c in str if ord(c) > 31 or ord(c) == 9])

นี่เป็นวิธีเดียวที่ฉันพบว่าใช้ได้กับอักขระ / สตริง Unicode

ตัวเลือกที่ดีกว่านี้หรือไม่?

ด้านล่างทำงานได้เร็วกว่าที่อื่น ๆ ด้านบน ลองดูสิ

''.join([x if x in string.printable else '' for x in Str])

ใน Python ไม่มีคลาส regex POSIX

มีเมื่อใช้regexห้องสมุด: https://pypi.org/project/regex/

ได้รับการดูแลอย่างดีและรองรับ Unicode regex, Posix regex และอื่น ๆ อีกมากมาย การใช้งาน (วิธีลายเซ็น) เป็นมากreคล้ายกับงูใหญ่

จากเอกสารประกอบ:

[[:alpha:]]; [[:^alpha:]]

รองรับคลาสอักขระ POSIX \p{...}เหล่านี้จะได้รับการรักษาตามปกติเป็นรูปแบบทางเลือกของการ

(ฉันไม่มีส่วนเกี่ยวข้องเป็นเพียงผู้ใช้)

จากคำตอบของ @ Ber ฉันขอแนะนำให้ลบเฉพาะอักขระควบคุมตามที่กำหนดไว้ในประเภทฐานข้อมูลอักขระ Unicode :

import unicodedata
def filter_non_printable(s):
    return ''.join(c for c in s if not unicodedata.category(c).startswith('C'))

หากต้องการลบ "ช่องว่าง"

import re
t = """
\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>
"""
pat = re.compile(r'[\t\n]')
print(pat.sub("", t))

ดัดแปลงจากคำตอบของAnts Aasmaและshawnrad :

nonprintable = set(map(chr, list(range(0,32)) + list(range(127,160))))
ord_dict = {ord(character):None for character in nonprintable}
def filter_nonprintable(text):
    return text.translate(ord_dict)

#use
str = "this is my string"
str = filter_nonprintable(str)
print(str)

ทดสอบกับ Python 3.7.7