วิธีที่ดีที่สุดในการลบเครื่องหมายเน้นเสียงในสตริง Python unicode คืออะไร

ฉันมีสตริง Unicode ใน Python และฉันต้องการที่จะลบสำเนียงทั้งหมด (กำกับออกเสียง)

ฉันพบบนเว็บเป็นวิธีที่ยอดเยี่ยมในการทำเช่นนี้ใน Java:

1. แปลงสตริง Unicode เป็นรูปแบบปกติที่มีความยาว (โดยมีอักขระแยกต่างหากสำหรับตัวอักษรและกำกับเสียง)
2. ลบอักขระทั้งหมดที่มีชนิด Unicode เป็น "diacritic"

ฉันจำเป็นต้องติดตั้งไลบรารี่เช่น pyICU หรือเป็นไปได้หรือไม่กับไลบรารี่มาตรฐานของไพ ธ อน และไพ ธ อน 3 เป็นอย่างไร?

หมายเหตุสำคัญ: ฉันต้องการหลีกเลี่ยงรหัสที่มีการแมปที่ชัดเจนจากอักขระที่เน้นเสียงไปยังคู่ที่ไม่ได้เน้นเสียง

Unidecodeเป็นคำตอบที่ถูกต้องสำหรับสิ่งนี้ มันแปลสตริง unicode ใด ๆ ลงในการแสดงที่ใกล้เคียงที่สุดในข้อความ ASCII

ตัวอย่าง:

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

เกี่ยวกับสิ่งนี้:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

ใช้ได้กับตัวอักษรกรีกด้วย:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

หมวดตัวอักษร "Mn" ย่อมาNonspacing_Markซึ่งมีลักษณะคล้ายกับ unicodedata.combining ในคำตอบของ MiniQuark (ผมไม่ได้คิดว่า unicodedata.combining แต่มันน่าจะเป็นทางออกที่ดีกว่าเพราะมันเป็นที่ชัดเจนมากขึ้น)

และโปรดจำไว้ว่าการดัดแปลงเหล่านี้อาจเปลี่ยนความหมายของข้อความได้อย่างมาก สำเนียง Umlauts ฯลฯ ไม่ใช่ "การตกแต่ง"

ฉันเพิ่งพบคำตอบนี้บนเว็บ:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

มันใช้งานได้ดี (ตัวอย่างเช่นภาษาฝรั่งเศส) แต่ฉันคิดว่าขั้นตอนที่สอง (การลบเครื่องหมายเน้นเสียง) สามารถจัดการได้ดีกว่าการวางอักขระที่ไม่ใช่ ASCII เนื่องจากการทำเช่นนี้จะล้มเหลวสำหรับบางภาษา (กรีกเป็นต้น) ทางออกที่ดีที่สุดอาจจะเป็นการลบอักขระยูนิโค้ดที่ติดแท็กอย่างชัดเจน

แก้ไข : นี่เป็นการหลอกลวง:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)จะกลับมาจริงถ้าตัวละครcสามารถรวมกับตัวละครก่อนหน้านั่นคือถ้ามันเป็นนักแสดง

แก้ไข 2 : remove_accentsคาดหวังสตริงunicodeไม่ใช่สตริงไบต์ หากคุณมีสตริงไบต์คุณต้องถอดรหัสสตริงเป็นยูนิโค้ดดังนี้:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

จริงๆแล้วฉันทำงานกับงูหลามที่ใช้งานร่วมกันได้ของโครงการ 2.6, 2.7 และ 3.4 และฉันต้องสร้าง ID จากรายการผู้ใช้ฟรี

ขอบคุณคุณฉันได้สร้างฟังก์ชั่นนี้ที่ใช้งานได้มหัศจรรย์

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

ผลลัพธ์:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

การจัดการนี้ไม่เพียงเน้นสำเนียงเท่านั้น แต่ยังรวมถึง "สโตรก" (ดังในøเป็นต้น):

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

นี่เป็นวิธีที่ยอดเยี่ยมที่สุดที่ฉันสามารถนึกได้ (และได้รับการกล่าวถึงโดยอเล็กซิสในความคิดเห็นในหน้านี้) แม้ว่าฉันจะไม่คิดว่ามันจะสง่างามอย่างแน่นอน ในความเป็นจริงมันเป็นเรื่องของการแฮ็คมากกว่าที่ระบุไว้ในความคิดเห็นเนื่องจากชื่อ Unicode คือ - ชื่อจริง ๆ พวกเขาไม่รับประกันว่าจะสอดคล้องหรืออะไรก็ตาม

ยังมีตัวอักษรพิเศษที่ไม่ได้รับการจัดการโดยสิ่งนี้เช่นตัวอักษรแบบเปิดและแบบกลับด้านเนื่องจากชื่อยูนิโค้ดไม่มีชื่อ 'WITH' ขึ้นอยู่กับสิ่งที่คุณต้องการจะทำต่อไป บางครั้งฉันต้องการการเน้นสำเนียงเพื่อให้ได้ลำดับการจัดเรียงพจนานุกรม

แก้ไขหมายเหตุ:

คำแนะนำรวมจากความคิดเห็น (การจัดการข้อผิดพลาดการค้นหารหัส Python-3)

ในการตอบกลับของ @ MiniQuark คำตอบ:

ฉันพยายามอ่านในไฟล์ csv ที่เป็นแบบครึ่งภาษาฝรั่งเศส (มีเครื่องหมายเน้นเสียง) และยังมีบางสตริงที่ในที่สุดจะกลายเป็นจำนวนเต็มและลอย จากการทดสอบฉันสร้างtest.txtไฟล์ที่มีลักษณะดังนี้:

Montréal, über, 12.89, Mère, Françoise, noël, 889

ฉันต้องรวมบรรทัด2และ3เพื่อให้มันทำงาน (ซึ่งฉันพบในตั๋วหลาม) รวมทั้งรวมความคิดเห็นของ @ Jabba:

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

ผลลัพธ์:

Montreal
uber
12.89
Mere
Francoise
noel
889

(หมายเหตุ: ฉันใช้ Mac OS X 10.8.4 และใช้ Python 2.7.3)

gensim.utils.deaccent (ข้อความ)จากGensim - การสร้างแบบจำลองหัวข้อสำหรับมนุษย์ :

'Sef chomutovskych komunistu dostal postou bily prasek'

ทางออกก็คือunidecode

โปรดทราบว่าโซลูชันที่แนะนำด้วยunicodedataมักจะลบเครื่องหมายเน้นเสียงในอักขระบางตัวเท่านั้น (เช่นเปลี่ยน'ł'เป็น''แทนที่จะเป็น'l')

บางภาษามีการรวมกำกับการออกเสียงเป็นตัวอักษรภาษาและการกำกับสำเนียงเพื่อระบุสำเนียง

ฉันคิดว่ามันปลอดภัยกว่าที่จะระบุอย่างชัดเจนว่าคุณต้องการตัดการแสดงโฆษณาใด:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))