ฉันจะลบอักขระที่ไม่ใช่ ASCII แต่เว้นช่วงเวลาและช่องว่างโดยใช้ Python ได้อย่างไร

ฉันกำลังทำงานกับไฟล์. txt ฉันต้องการสตริงของข้อความจากไฟล์ที่ไม่มีอักขระที่ไม่ใช่ ASCII อย่างไรก็ตามฉันต้องการเว้นวรรคและจุด ตอนนี้ฉันกำลังลอกมันอยู่เหมือนกัน นี่คือรหัส:

def onlyascii(char):
    if ord(char) < 48 or ord(char) > 127: return ''
    else: return char

def get_my_string(file_path):
    f=open(file_path,'r')
    data=f.read()
    f.close()
    filtered_data=filter(onlyascii, data)
    filtered_data = filtered_data.lower()
    return filtered_data

ฉันจะแก้ไข onlyascii () ให้เว้นช่องว่างและจุดได้อย่างไร? ฉันคิดว่ามันไม่ซับซ้อนเกินไป แต่ฉันคิดไม่ออก

คุณสามารถกรองอักขระทั้งหมดจากสตริงที่ไม่สามารถพิมพ์ได้โดยใช้string.printableเช่นนี้:

>>> s = "some\x00string. with\x15 funny characters"
>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'somestring. with funny characters'

string.printable บนเครื่องของฉันประกอบด้วย:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ \t\n\r\x0b\x0c

แก้ไข: ใน Python 3 ตัวกรองจะส่งคืนการทำซ้ำ วิธีที่ถูกต้องในการรับสตริงคืนคือ:

''.join(filter(lambda x: x in printable, s))

วิธีง่ายๆในการเปลี่ยนเป็น codec อื่นคือการใช้ encode () หรือ decode () ในกรณีของคุณคุณต้องการแปลงเป็น ASCII และละเว้นสัญลักษณ์ทั้งหมดที่ไม่รองรับ ตัวอย่างเช่นตัวอักษรสวีเดนåไม่ใช่อักขระ ASCII:

    >>>s = u'Good bye in Swedish is Hej d\xe5'
    >>>s = s.encode('ascii',errors='ignore')
    >>>print s
    Good bye in Swedish is Hej d

แก้ไข:

Python3: str -> ไบต์ -> str

>>>"Hej då".encode("ascii", errors="ignore").decode()
'hej d'

Python2: unicode -> str -> unicode

>>> u"hej då".encode("ascii", errors="ignore").decode()
u'hej d'

Python2: str -> unicode -> str (ถอดรหัสและเข้ารหัสในลำดับย้อนกลับ)

>>> "hej d\xe5".decode("ascii", errors="ignore").encode()
'hej d'

ตามที่ @artfulrobot สิ่งนี้ควรเร็วกว่าตัวกรองและแลมด้า:

re.sub(r'[^\x00-\x7f]',r'', your-non-ascii-string) 

ดูตัวอย่างเพิ่มเติมที่นี่ http://stackoverflow.com/questions/20078816/replace-non-ascii-characters-with-a-single-space/20079244#20079244

คำถามของคุณไม่ชัดเจน สองประโยคแรกที่นำมารวมกันหมายความว่าคุณเชื่อว่าช่องว่างและ "จุด" ไม่ใช่อักขระ ASCII สิ่งนี้ไม่ถูกต้อง อักขระทั้งหมดเช่น ord (ถ่าน) <= 127 เป็นอักขระ ASCII ตัวอย่างเช่นฟังก์ชันของคุณไม่รวมอักขระเหล่านี้! "# $% & \ '() * +, -. / แต่รวมถึงอักขระอื่น ๆ เช่น [] {}

โปรดถอยกลับคิดสักนิดและแก้ไขคำถามของคุณเพื่อบอกเราว่าคุณกำลังพยายามทำอะไรโดยไม่ต้องพูดถึงคำว่า ASCII และทำไมคุณถึงคิดว่าตัวอักษรแบบนั้น ord (char)> = 128 นั้นไม่สนใจ นอกจากนี้: Python เวอร์ชันใด การเข้ารหัสข้อมูลอินพุตของคุณคืออะไร?

โปรดทราบว่ารหัสของคุณอ่านไฟล์อินพุตทั้งหมดเป็นสตริงเดียวและความคิดเห็นของคุณ ("วิธีแก้ปัญหาที่ยอดเยี่ยม") สำหรับคำตอบอื่นแสดงว่าคุณไม่สนใจการขึ้นบรรทัดใหม่ในข้อมูลของคุณ หากไฟล์ของคุณมีสองบรรทัดดังนี้:

this is line 1
this is line 2

ผลลัพธ์จะเป็น'this is line 1this is line 2'... นั่นคือสิ่งที่คุณต้องการจริงๆหรือ?

ทางออกที่ดีกว่า ได้แก่ :

1. ชื่อที่ดีกว่าสำหรับฟังก์ชันตัวกรองมากกว่า onlyascii

2. การรับรู้ว่าฟังก์ชันตัวกรองต้องการเพียงแค่ส่งคืนค่าที่แท้จริงหากยังคงอาร์กิวเมนต์ไว้:

   def filter_func(char):
       return char == '\n' or 32 <= ord(char) <= 126
   # and later:
   filtered_data = filter(filter_func, data).lower()

คุณสามารถใช้รหัสต่อไปนี้เพื่อลบตัวอักษรที่ไม่ใช่ภาษาอังกฤษ:

import re
str = "123456790 ABC#%? .(朱惠英)"
result = re.sub(r'[^\x00-\x7f]',r'', str)
print(result)

สิ่งนี้จะกลับมา

123456790 ABC #%? . ()

หากคุณต้องการอักขระ ascii ที่พิมพ์ได้คุณควรแก้ไขรหัสของคุณเป็น:

if ord(char) < 32 or ord(char) > 126: return ''

สิ่งนี้เทียบเท่ากับstring.printable(คำตอบจาก @jterrace) ยกเว้นกรณีที่ไม่มีผลตอบแทนและแท็บ ('\ t', '\ n', '\ x0b', '\ x0c' และ '\ r') แต่ไม่สอดคล้องกับ ช่วงคำถามของคุณ

หาทางผ่าน Fluent Python (Ramalho) - ขอแนะนำ รายการความเข้าใจ one-ish-liners ที่ได้รับแรงบันดาลใจจากบทที่ 2:

onlyascii = ''.join([s for s in data if ord(s) < 127])
onlymatch = ''.join([s for s in data if s in
              'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'])