จะตรวจสอบว่าสตริงใน Python อยู่ใน ASCII ได้อย่างไร?

ฉันต้องการตรวจสอบว่าสตริงอยู่ใน ASCII หรือไม่

ฉันรู้ord()แต่เมื่อฉันพยายามที่ฉันมีord('é') TypeError: ord() expected a character, but string of length 2 foundฉันเข้าใจว่ามันเกิดจากวิธีที่ฉันสร้าง Python (ดังอธิบายในord()เอกสารประกอบของ )

มีวิธีอื่นในการตรวจสอบหรือไม่

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

ฉันคิดว่าคุณไม่ได้ถามคำถามที่ถูกต้อง -

สตริงในไพ ธ อนไม่มีคุณสมบัติที่สอดคล้องกับ 'ascii', utf-8 หรือการเข้ารหัสอื่น ๆ แหล่งที่มาของสตริงของคุณ (ไม่ว่าคุณจะอ่านจากไฟล์อินพุตจากแป้นพิมพ์ ฯลฯ ) อาจมีการเข้ารหัสสตริง Unicode ใน ASCII เพื่อสร้างสตริงของคุณ แต่นั่นคือสิ่งที่คุณต้องไปหาคำตอบ

บางทีคำถามที่คุณสามารถถามคือ: "สตริงนี้เป็นผลของการเข้ารหัสสตริง Unicode ใน ASCII หรือไม่" - สิ่งนี้คุณสามารถตอบได้โดยลอง:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 วิธี:

isascii = lambda s: len(s) == len(s.encode())

ในการตรวจสอบให้ส่งสตริงทดสอบ:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

ใหม่ใน Python 3.7 ( bpo32677 )

ไม่มีการตรวจสอบ ascii ที่น่าเบื่อ / ไม่มีประสิทธิภาพอีกต่อไปสตริงในตัวstr/ bytes/ bytearrayวิธีการใหม่ - .isascii()จะตรวจสอบว่าสตริงนั้นเป็น ascii หรือไม่

print("is this ascii?".isascii())
# True

วิ่งเข้าไปหาอะไรแบบนี้เร็ว ๆ นี้ - สำหรับการอ้างอิงในอนาคต

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

ซึ่งคุณสามารถใช้กับ:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Vincent Marchetti มีความคิดที่ถูกต้อง แต่str.decodeเลิกใช้แล้วใน Python 3 ใน Python 3 คุณสามารถทำการทดสอบเดียวกันกับstr.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

หมายเหตุ: ข้อยกเว้นที่คุณต้องการที่จะจับยังมีการเปลี่ยนแปลงจากการUnicodeDecodeErrorUnicodeEncodeError

คำถามของคุณไม่ถูกต้อง ข้อผิดพลาดที่คุณเห็นไม่ใช่ผลมาจากวิธีที่คุณสร้างไพ ธ อน แต่เกิดความสับสนระหว่างสตริงไบต์และสตริงยูนิโค้ด

สตริงไบต์ (เช่น "foo" หรือ 'bar' ในรูปแบบ python) เป็นลำดับของ octets หมายเลข 0-255 สตริง Unicode (เช่น u "foo" หรือ u'bar ') เป็นลำดับของจุดโค้ดยูนิโค้ด หมายเลข 0-1112064 แต่ดูเหมือนว่าคุณจะสนใจอักขระéซึ่ง (ในเทอร์มินัลของคุณ) เป็นลำดับแบบหลายไบต์ที่แทนอักขระเดี่ยว

แทนที่จะord(u'é')ลองทำสิ่งนี้:

>>> [ord(x) for x in u'é']

ที่บอกให้คุณทราบถึงลำดับของจุดรหัส "é" อาจให้ [233] หรืออาจมอบ [101, 770]

แทนที่จะchr()ทำสิ่งนี้กลับมีunichr():

>>> unichr(233)
u'\xe9'

จริง ๆ แล้วตัวละครนี้อาจเป็นตัวแทน "จุดรหัส" ยูนิโค้ดเดียวหรือหลายซึ่งตัวเองเป็นตัวแทนของกราฟหรืออักขระ มันอาจเป็น "e ที่มีจุดเน้นเสียงแหลม (เช่นรหัสจุด 233)" หรือ "e" (จุดรหัส 101) ตามด้วย "เน้นเสียงแหลมบนตัวอักษรก่อนหน้า" (รหัสจุด 770) ดังนั้นลักษณะเดียวกันนี้ที่แน่นอนอาจจะนำเสนอเป็นโครงสร้างข้อมูลหลามหรือu'e\u0301'u'\u00e9'

เวลาส่วนใหญ่ที่คุณไม่ควรกังวลเกี่ยวกับเรื่องนี้ แต่มันอาจกลายเป็นปัญหาถ้าคุณวนซ้ำสตริง unicode เนื่องจากการวนซ้ำทำงานโดยใช้จุดรหัสไม่ใช่ตัวแยกอักขระ ในคำอื่น ๆและlen(u'e\u0301') == 2 ถ้าเรื่องนี้กับคุณคุณสามารถแปลงระหว่างรูปแบบสงบและย่อยสลายโดยใช้len(u'\u00e9') == 1unicodedata.normalize

อภิธานศัพท์ Unicodeอาจเป็นแนวทางที่เป็นประโยชน์ในการทำความเข้าใจปัญหาเหล่านี้โดยชี้ให้เห็นว่าแต่ละคำที่เจาะจงหมายถึงส่วนต่าง ๆ ของการแทนข้อความซึ่งมีความซับซ้อนกว่าโปรแกรมเมอร์จำนวนมาก

วิธีการเกี่ยวกับการทำเช่นนี้?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

ฉันพบคำถามนี้ขณะที่พยายามพิจารณาวิธีการใช้ / เข้ารหัส / ถอดรหัสสตริงที่มีการเข้ารหัสฉันไม่แน่ใจ (และวิธีการหลบหนี / แปลงอักขระพิเศษในสตริงนั้น)

ขั้นตอนแรกของฉันควรตรวจสอบชนิดของสตริง - ฉันไม่ทราบว่ามีข้อมูลที่ดีเกี่ยวกับการจัดรูปแบบจากประเภทใด คำตอบนี้มีประโยชน์มากและทำให้รากที่แท้จริงของปัญหาของฉัน

หากคุณได้รับความหยาบคายและต่อเนื่อง

UnicodeDecodeError: ตัวแปลงสัญญาณ 'ascii' ไม่สามารถถอดรหัสไบต์ 0xc3 ในตำแหน่ง 263: ลำดับไม่อยู่ในช่วง (128)

โดยเฉพาะอย่างยิ่งเมื่อคุณกำลังเข้ารหัสตรวจสอบให้แน่ใจว่าคุณไม่ได้พยายามที่จะ unicode () สตริงที่มีอยู่แล้ว unicode- ด้วยเหตุผลบางอย่างที่น่ากลัวคุณจะได้รับข้อผิดพลาด ascii codec (ดูเพิ่มเติมที่สูตร Python Kitchenและเอกสารประกอบของ Python docsเพื่อความเข้าใจที่ดีขึ้นว่ามันจะแย่ขนาดไหน)

ในที่สุดฉันก็ตัดสินใจว่าสิ่งที่ฉันต้องการจะทำคือ:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

ยังมีประโยชน์ในการแก้ไขข้อบกพร่องคือการตั้งค่าการเข้ารหัสเริ่มต้นในไฟล์ของฉันเป็น utf-8 (ใส่ที่จุดเริ่มต้นของไฟล์หลามของคุณ):

# -*- coding: utf-8 -*-

ที่ช่วยให้คุณทดสอบอักขระพิเศษ ('àéç') โดยไม่ต้องใช้การยกเว้น Unicode (u '\ xe0 \ xe9 \ xe7')

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

เพื่อปรับปรุงวิธีแก้ปัญหาของ Alexander จาก Python 2.6 (และใน Python 3.x) คุณสามารถใช้โมดูลตัวช่วย curses.ascii และใช้ curses.ascii.isascii () ฟังก์ชั่นหรืออื่น ๆ : https://docs.python.org/2.6/ ห้องสมุด / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

คุณสามารถใช้ไลบรารีนิพจน์ทั่วไปที่ยอมรับมาตรฐาน Posix [[: ASCII:]]

การต่อย ( str-type) ใน Python เป็นชุดของไบต์ นอกจากนี้ไม่มีทางบอกเพียงจากการดูที่สายไม่ว่าจะเป็นชุดของไบต์นี้แทนสตริง ASCII สตริงใน charset 8 บิตเช่น ISO-8859-1 หรือสตริงเข้ารหัสด้วย UTF-8 หรือ UTF-16 หรืออะไรก็ตาม .

อย่างไรก็ตามหากคุณรู้ว่ามีการเข้ารหัสที่ใช้คุณสามารถdecodestr เข้าไปในสตริง Unicode แล้วใช้นิพจน์ปกติ (หรือลูป) เพื่อตรวจสอบว่ามีอักขระอยู่นอกช่วงที่คุณกังวลหรือไม่

ชอบ @ RogerDahl ของคำตอบแต่ก็มีประสิทธิภาพมากขึ้นในการลัดวงจรโดยกวนตัวอักษรชั้นเรียนและการใช้ค้นหาแทนหรือfind_allmatch

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

ฉันจินตนาการว่านิพจน์ทั่วไปนั้นได้รับการปรับให้เหมาะสมสำหรับเรื่องนี้

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

จะรวมถึงสตริงที่ว่างเปล่าเป็น ASCII เปลี่ยนไป+*

เพื่อป้องกันรหัสของคุณล้มเหลวคุณอาจต้องการใช้ a try-exceptในการจับTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

ตัวอย่างเช่น

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

ฉันใช้ต่อไปนี้เพื่อตรวจสอบว่าสตริงเป็น ascii หรือ unicode:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

จากนั้นใช้บล็อกแบบมีเงื่อนไขเพื่อกำหนดฟังก์ชั่น:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False