UnicodeEncodeError: ตัวแปลงสัญญาณ 'ascii' ไม่สามารถเข้ารหัสอักขระ u '\ xa0' ในตำแหน่ง 20: ลำดับไม่อยู่ในช่วง (128)

ฉันมีปัญหาในการจัดการกับอักขระ Unicode จากข้อความที่ดึงมาจากหน้าเว็บต่างๆ (ในเว็บไซต์ต่าง ๆ ) ฉันใช้ BeautifulSoup

ปัญหาคือข้อผิดพลาดนั้นไม่สามารถทำซ้ำได้เสมอไป บางครั้งมันก็ทำงานร่วมกับบางหน้าและบางครั้งก็ barfs UnicodeEncodeErrorโดยขว้างปา ฉันลองทุกอย่างที่ฉันสามารถคิดได้ แต่ถึงกระนั้นฉันก็ไม่พบสิ่งใดที่ทำงานได้อย่างต่อเนื่องโดยไม่ละทิ้งข้อผิดพลาดที่เกี่ยวข้องกับ Unicode

ส่วนหนึ่งของรหัสที่ทำให้เกิดปัญหาแสดงอยู่ด้านล่าง:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

นี่คือการติดตามสแต็กที่สร้างบนสตริง SOME เมื่อรันโค้ดย่อยด้านบน:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

ฉันสงสัยว่าเป็นเพราะบางหน้า (หรือเฉพาะเจาะจงมากขึ้นหน้าจากเว็บไซต์บางแห่ง) อาจถูกเข้ารหัสในขณะที่บางหน้าอาจไม่ได้รับการเข้ารหัส เว็บไซต์ทั้งหมดอยู่ในสหราชอาณาจักรและให้ข้อมูลที่มีความหมายสำหรับการบริโภคในสหราชอาณาจักร - ดังนั้นจึงไม่มีปัญหาเกี่ยวกับการทำให้เป็นภายในหรือการจัดการกับข้อความที่เขียนด้วยภาษาอื่นนอกจากภาษาอังกฤษ

ใครบ้างมีความคิดเกี่ยวกับวิธีการแก้ปัญหานี้เพื่อให้ฉันสามารถแก้ไขปัญหานี้อย่างต่อเนื่อง?

คุณจะต้องอ่านหลามHOWTO Unicode ข้อผิดพลาดนี้เป็นตัวอย่างแรกมาก

โดยทั่วไปให้หยุดใช้strเพื่อแปลงจากยูนิโคดเป็นข้อความ / ไบต์ที่เข้ารหัส

ให้ใช้.encode()การเข้ารหัสสตริงอย่างถูกต้องแทน:

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

หรือทำงานทั้งหมดในยูนิโค้ด

นี่คือจุดปวดงูหลาม Unicode คลาสสิก! พิจารณาสิ่งต่อไปนี้:

a = u'bats\u00E0'
print a
 => batsà

ดีมากจนถึงตอนนี้ แต่ถ้าเราโทรหา str (a) เรามาดูกันว่าเกิดอะไรขึ้น:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

โอ้จิ้มนั่นจะไม่ทำให้ใครดีเลย! ในการแก้ไขข้อผิดพลาดให้เข้ารหัสไบต์อย่างชัดเจนด้วย. encode และบอก python ว่าตัวแปลงสัญญาณที่ใช้:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil \ u00E0!

ปัญหาคือเมื่อคุณโทรหา str () ไพ ธ อนใช้การเข้ารหัสตัวอักษรเริ่มต้นเพื่อลองและเข้ารหัสไบต์ที่คุณให้ไว้ ในการแก้ไขปัญหาคุณต้องบอก python วิธีจัดการกับสตริงที่คุณให้โดยใช้. encode ('Anything_unicode') เวลาส่วนใหญ่คุณควรใช้ utf-8

สำหรับการอธิบายอย่างยอดเยี่ยมในหัวข้อนี้โปรดดูการพูดคุยเรื่อง PyCon ของ Ned Batchelder ที่นี่: http://nedbatchelder.com/text/unipain.html

ฉันพบว่าการทำงานที่หรูหราสำหรับฉันที่จะลบสัญลักษณ์และทำให้สตริงเป็นสตริงต่อไปนี้:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

สิ่งสำคัญคือให้สังเกตว่าการใช้ตัวเลือกการเพิกเฉยเป็นสิ่งที่อันตรายเพราะมันจะลดการสนับสนุน unicode (และการทำให้เป็นสากล) จากโค้ดที่ใช้งานแบบเงียบ ๆ ดังที่เห็นที่นี่ (แปลง unicode):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

ดีฉันพยายามทุกอย่าง แต่มันก็ไม่ได้ช่วยหลังจาก googling รอบ ๆ ฉันคิดต่อไปนี้และมันช่วย python 2.7 ถูกใช้งานอยู่

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

ปัญหาเล็ก ๆ น้อย ๆ ที่ทำให้เกิดการพิมพ์แม้กระทั่งล้มเหลวก็คือการตั้งค่าตัวแปรสภาพแวดล้อมของคุณผิด ที่นี่ LC_ALL ตั้งค่าเป็น "C" ใน Debian พวกเขาไม่สนับสนุนการตั้งค่า: Debian wiki บน Locale

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

สำหรับฉันสิ่งที่ทำงานคือ:

BeautifulSoup(html_text,from_encoding="utf-8")

หวังว่านี่จะช่วยใครซักคน

ฉันได้พบว่าจริง ๆ แล้วในกรณีส่วนใหญ่ของฉันเพียงแค่แยกตัวละครเหล่านั้นออกจะง่ายกว่ามาก

s = mystring.decode('ascii', 'ignore')

ปัญหาคือคุณพยายามพิมพ์อักขระ Unicode แต่เทอร์มินัลของคุณไม่รองรับ

คุณสามารถลองติดตั้งlanguage-pack-enแพ็กเกจเพื่อแก้ไข:

sudo apt-get install language-pack-en

ซึ่งมีการอัปเดตข้อมูลการแปลภาษาอังกฤษสำหรับแพ็คเกจที่รองรับทั้งหมด (รวมถึง Python) ติดตั้งแพคเกจภาษาอื่นหากจำเป็น (ขึ้นอยู่กับตัวอักษรที่คุณพยายามจะพิมพ์)

ในลีนุกซ์บางรุ่นจำเป็นต้องมีการตั้งค่าภาษาอังกฤษเริ่มต้นให้ถูกต้อง (เพื่อให้สามารถจัดการอักขระยูนิโค้ดได้โดยเชลล์ / เทอร์มินัล) บางครั้งการติดตั้งง่ายกว่าการกำหนดค่าด้วยตนเอง

จากนั้นเมื่อเขียนรหัสตรวจสอบให้แน่ใจว่าคุณใช้การเข้ารหัสที่ถูกต้องในรหัสของคุณ

ตัวอย่างเช่น:

open(foo, encoding='utf-8')

หากคุณยังคงมีปัญหาให้ตรวจสอบการกำหนดค่าระบบของคุณอีกครั้งเช่น:

• ไฟล์ภาษาของคุณ ( /etc/default/locale) ซึ่งควรมีเช่น

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  หรือ:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• ค่าของLANG/ LC_CTYPEในเชลล์

• ตรวจสอบว่าเชลล์ของคุณรองรับตำแหน่งใด:

  locale -a | grep "UTF-8"

แสดงให้เห็นถึงปัญหาและแนวทางแก้ไขใน VM ใหม่

1. เริ่มต้นและจัดเตรียม VM (เช่นใช้vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{ดู: กล่อง Ubuntu ใช้ได้} .

2. การพิมพ์อักขระ Unicode (เช่นเครื่องหมายการค้าที่ชอบ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. กำลังติดตั้งlanguage-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. ตอนนี้ปัญหาควรได้รับการแก้ไข:

   $ python -c 'print(u"\u2122");'
   ™

5. มิฉะนั้นลองคำสั่งต่อไปนี้:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

ในเปลือก:

1. ค้นหาโลแคล UTF-8 ที่รองรับโดยคำสั่งต่อไปนี้:

   locale -a | grep "UTF-8"

2. ส่งออกก่อนที่จะรันสคริปต์เช่น:

   export LC_ALL=$(locale -a | grep UTF-8)

   หรือชอบ:

   export LC_ALL=C.UTF-8

3. ทดสอบด้วยการพิมพ์อักขระพิเศษเช่น™:

   python -c 'print(u"\u2122");'

ผ่านการทดสอบใน Ubuntu

เพิ่มบรรทัดด้านล่างที่จุดเริ่มต้นของสคริปต์ของคุณ (หรือเป็นบรรทัดที่สอง):

# -*- coding: utf-8 -*-

นั่นเป็นคำจำกัดความของการเข้ารหัสรหัสไพ ธ อน ข้อมูลอื่น ๆ ในPEP 263

ต่อไปนี้เป็นคำตอบที่เรียกว่า "cop out" อื่น ๆ มีสถานการณ์ที่การทิ้งตัวละคร / สายอักขระที่มีปัญหานั้นเป็นทางออกที่ดีแม้จะมีการประท้วงที่เปล่งออกมาที่นี่

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

ทดสอบมัน:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

ผล:

1
test
98°
98

คำแนะนำ: คุณอาจต้องการตั้งชื่อฟังก์ชั่นนี้toAsciiแทน นั่นเป็นเรื่องของการตั้งค่า

นี้ถูกเขียนขึ้นสำหรับหลาม 2. สำหรับหลาม 3 ผมเชื่อว่าคุณจะต้องการใช้มากกว่าbytes(obj,"ascii") str(obj)ฉันยังไม่ได้ทดสอบสิ่งนี้ แต่ในบางครั้งฉันจะแก้ไขคำตอบ

ฉันมักจะใส่รหัสด้านล่างในสองบรรทัดแรกของไฟล์หลาม:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

ฟังก์ชั่นช่วยที่ง่ายพบได้ที่นี่

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

เพียงเพิ่มการเข้ารหัสแบบตัวแปร ('utf-8')

agent_contact.encode('utf-8')

โปรดเปิดเทอร์มินัลแล้วยิงคำสั่งด้านล่าง:

export LC_ALL="en_US.UTF-8"

ฉันเพิ่งใช้สิ่งต่อไปนี้:

import unicodedata
message = unicodedata.normalize("NFKD", message)

ตรวจสอบสิ่งที่เอกสารพูดเกี่ยวกับมัน:

unicodedata.normalize (ฟอร์ม unistr) ส่งคืนฟอร์มฟอร์มปกติสำหรับ unistrode Unicode string ค่าที่ถูกต้องสำหรับฟอร์มคือ 'NFC', 'NFKC', 'NFD' และ 'NFKD'

มาตรฐาน Unicode กำหนดรูปแบบการนอร์มัลไลซ์ต่าง ๆ ของสายอักขระ Unicode ตามคำจำกัดความของการเทียบเท่าแบบบัญญัติและความเข้ากันได้ที่เทียบเท่า ใน Unicode อักขระหลายตัวสามารถแสดงได้หลายวิธี ตัวอย่างเช่นตัวละคร U + 00C7 (ตัวอักษรละตินทุน C กับ CEDILLA) สามารถแสดงเป็นลำดับ U + 0043 (ตัวอักษรละตินทุน C) U + 0327 (CEDILLA รวม)

สำหรับอักขระแต่ละตัวมีสองรูปแบบปกติ: รูปแบบปกติ C และรูปแบบปกติ D รูปแบบปกติ D (NFD) ยังเป็นที่รู้จักกันในนามการสลายตัวที่ยอมรับและแปลตัวละครแต่ละตัวในรูปแบบย่อยสลายของมัน รูปแบบปกติ C (NFC) ใช้การสลายตัวแบบบัญญัติก่อนแล้วจึงรวมอักขระที่รวมกันอีกครั้ง

นอกเหนือจากสองรูปแบบเหล่านี้แล้วยังมีอีกสองรูปแบบปกติตามความเข้ากันได้ที่เทียบเท่า ใน Unicode สนับสนุนอักขระบางตัวซึ่งโดยทั่วไปจะรวมกับอักขระอื่น ตัวอย่างเช่น U + 2160 (ตัวเลขโรมันหนึ่ง) เป็นสิ่งเดียวกับ U + 0049 (ทุนละตินอักษร I) อย่างไรก็ตามได้รับการสนับสนุนใน Unicode สำหรับความเข้ากันได้กับชุดอักขระที่มีอยู่ (เช่น gb2312)

KD (NFKD) รูปแบบปกติจะใช้การสลายตัวของความเข้ากันได้เช่นแทนที่อักขระที่เข้ากันได้ทั้งหมดด้วยสิ่งที่เทียบเท่า รูปแบบปกติ KC (NFKC) ก่อนใช้การสลายตัวที่เข้ากันได้ตามด้วยองค์ประกอบบัญญัติ

แม้ว่าสตริง Unicode สองตัวจะถูกทำให้เป็นมาตรฐานและมีลักษณะเหมือนกันกับมนุษย์ผู้อ่านหากมีการรวมตัวอักขระและอื่น ๆ ไม่ได้พวกเขาอาจเปรียบเทียบไม่เท่ากัน

แก้เพื่อฉัน ง่ายและสะดวก

วิธีแก้ปัญหาด้านล่างใช้ได้สำหรับฉันเพิ่งเพิ่ม

คุณ "String"

(แทนสตริงเป็นยูนิโค้ด) ต่อหน้าสตริงของฉัน

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

อนิจจาสิ่งนี้ใช้ได้ใน Python 3 อย่างน้อย ...

Python 3

บางครั้งข้อผิดพลาดอยู่ในตัวแปรสภาพแวดล้อมและการเข้ารหัสเช่นนั้น

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

โดยที่ข้อผิดพลาดถูกละเว้นในการเข้ารหัส

ฉันเพิ่งมีปัญหานี้และ Google ก็พาฉันมาที่นี่ดังนั้นเพียงเพิ่มโซลูชันทั่วไปที่นี่นี่คือสิ่งที่ใช้ได้กับฉัน:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

ฉันมีความคิดนี้หลังจากที่ได้อ่านงานนำเสนอของเน็ด

ฉันไม่ได้อ้างว่าเข้าใจอย่างถ่องแท้ว่าทำไมงานนี้ถึงได้ผล ดังนั้นหากใครสามารถแก้ไขคำตอบนี้หรือใส่ความคิดเห็นเพื่ออธิบายฉันจะขอบคุณมัน

เราพบข้อผิดพลาดนี้เมื่อทำงานmanage.py migrateใน Django ด้วยการแข่งขันที่มีการแปล

แหล่งที่มาของเรามีการ# -*- coding: utf-8 -*-ประกาศ MySQL ถูกกำหนดค่าอย่างถูกต้องสำหรับ utf8 และ Ubuntu มีชุดภาษาและค่าที่/etc/default/localeเหมาะสม

ปัญหาคือว่าภาชนะ Django (เราใช้นักเทียบท่า) หายไปLANGenv var

การตั้งค่าLANGการen_US.UTF-8และรีสตาร์ทภาชนะก่อนการโยกย้ายอีกครั้งการทำงานแก้ไขปัญหา

คำตอบมากมายที่นี่ (เช่น @agf และ @Andbdrew) ได้กล่าวถึงประเด็นที่รวดเร็วที่สุดของคำถาม OP แล้ว

อย่างไรก็ตามฉันคิดว่ามันมีแง่มุมที่สำคัญ แต่สำคัญที่ถูกเพิกเฉยและสำคัญสำหรับทุกคนที่ชอบฉันที่นี่ในขณะที่พยายามทำความเข้าใจการเข้ารหัสใน Python: Python 2 กับ Python 3 การจัดการการแสดงตัวละครนั้นแตกต่างกันอย่างสิ้นเชิง . ฉันรู้สึกว่ามีความสับสนเกิดขึ้นกับผู้คนที่อ่านเกี่ยวกับการเข้ารหัสใน Python โดยไม่ทราบถึงเวอร์ชัน

ฉันขอแนะนำให้ทุกคนที่สนใจในการทำความเข้าใจสาเหตุของปัญหา OP เพื่อเริ่มต้นด้วยการอ่านบทนำของ Spolskyเกี่ยวกับการแสดงตัวละครและ Unicode แล้วย้ายไปที่Batchelderบน Unicode ใน Python 2 และ Python 3

พยายามหลีกเลี่ยงการแปลงตัวแปรเป็น str (ตัวแปร) บางครั้งอาจทำให้เกิดปัญหา

เคล็ดลับง่ายๆที่ควรหลีกเลี่ยง:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

ตัวอย่างข้างต้นจะแก้ไขข้อผิดพลาด Encode ด้วย

หากคุณมีบางอย่างเช่นpacket_data = "This is data"นี้ให้ทำในบรรทัดถัดไปทันทีหลังจากเริ่มต้นpacket_data:

unic = u''
packet_data = unic

อัพเดตสำหรับ python 3.0 และใหม่กว่า ลองสิ่งต่อไปนี้ในเครื่องมือแก้ไขหลาม:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

นี่เป็นการตั้งค่าโลแคลเริ่มต้นของระบบเป็นรูปแบบ UTF-8

เพิ่มเติมสามารถอ่านได้ที่นี่ที่ PEP 538 - บีบบังคับสถานที่มรดก C ถึงสถานที่เกิดเหตุ

ฉันมีปัญหานี้พยายามส่งออกอักขระ Unicode ไปstdoutแต่ด้วยsys.stdout.writeแทนที่จะพิมพ์ (เพื่อให้ฉันสามารถรองรับเอาต์พุตไปยังไฟล์อื่นได้เช่นกัน)

จากเอกสารของ BeautifulSoupฉันแก้ไขมันด้วยไลบรารี่ codecs:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

ปัญหานี้มักเกิดขึ้นเมื่อโครงการ django ปรับใช้ Apache เนื่องจาก Apache ตั้งค่าตัวแปรสภาพแวดล้อม LANG = C ใน / etc / sysconfig / httpd เพียงแค่เปิดไฟล์และแสดงความคิดเห็น (หรือเปลี่ยนเป็นผู้ช่วยให้รอดของคุณ) การตั้งค่านี้ หรือใช้ตัวเลือก lang ของคำสั่ง WSGIDaemonProcess ในกรณีนี้คุณจะสามารถตั้งค่าตัวแปรสภาพแวดล้อม LANG ที่แตกต่างกันเป็น virtualhosts ที่แตกต่างกัน

โซลูชันที่แนะนำไม่ได้ผลสำหรับฉันและฉันสามารถใช้ชีวิตกับการทิ้งอักขระที่ไม่ใช่ ASCII ทั้งหมดได้

s = s.encode('ascii',errors='ignore')

ซึ่งทิ้งฉันไว้กับบางสิ่งที่ถูกปล้นซึ่งไม่ทำให้เกิดข้อผิดพลาด

สิ่งนี้จะได้ผล:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

เอาท์พุท:

>>>bats