Python, Unicode และคอนโซล Windows

เมื่อฉันพยายามพิมพ์สายอักขระ Unicode ในคอนโซล Windows ฉันได้รับUnicodeEncodeError: 'charmap' codec can't encode character ....ข้อผิดพลาด ฉันถือว่านี่เป็นเพราะคอนโซล Windows ไม่ยอมรับอักขระ Unicode เท่านั้น อะไรคือวิธีที่ดีที่สุดในรอบนี้ มีวิธีใดบ้างที่ฉันจะทำให้ Python พิมพ์ a โดยอัตโนมัติ?แทนที่จะล้มเหลวในสถานการณ์นี้

แก้ไข: ฉันใช้ Python 2.5

หมายเหตุ: @ LasseV.Karlsen คำตอบที่มีเครื่องหมายถูกล้าสมัย (ตั้งแต่ปี 2008) โปรดใช้วิธีแก้ปัญหา / คำตอบ / คำแนะนำด้านล่างด้วยความระมัดระวัง !!

@JFSebastian คำตอบมีความเกี่ยวข้องมากขึ้น ณ วันนี้ (6 มกราคม 2559)

หมายเหตุ:คำตอบนี้ล้าสมัย (ตั้งแต่ปี 2008) โปรดใช้วิธีแก้ปัญหาด้านล่างด้วยความระมัดระวัง !!

นี่คือหน้าเว็บที่ให้รายละเอียดปัญหาและวิธีแก้ไข (ค้นหาหน้าข้อความที่กำลังตัด sys.stdout เป็นตัวอย่าง ):

PrintFails - Python Wiki

นี่คือข้อความที่ตัดตอนมาจากหน้าเว็บ:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

มีข้อมูลเพิ่มเติมในหน้านั้นคุ้มค่าที่จะอ่าน

อัปเดต: Python 3.6ใช้PEP 528: เปลี่ยนการเข้ารหัสคอนโซล Windows เป็น UTF-8 : ตอนนี้คอนโซลเริ่มต้นบน Windows จะยอมรับอักขระ Unicode ทั้งหมด ภายในจะใช้ Unicode API เช่นเดียวกับแพคเกจดังกล่าวนี้ ควรทำงานตอนนี้win-unicode-consoleprint(unicode_string)

ฉันได้รับUnicodeEncodeError: 'charmap' codec can't encode character... ข้อผิดพลาด

ข้อผิดพลาดหมายความว่าอักขระ Unicode ที่คุณพยายามพิมพ์ไม่สามารถแสดงโดยใช้การchcpเข้ารหัสอักขระคอนโซลปัจจุบัน ( ) เพจรหัสมักจะมีการเข้ารหัส 8 บิตเช่นcp437ที่สามารถแสดงได้เพียง ~ 0x100 อักขระจาก ~ 1M อักขระ Unicode:

>>> u "\ N {EURO SIGN}". การเข้ารหัส ('cp437')
Traceback (การโทรล่าสุดครั้งล่าสุด):
...
UnicodeEncodeError: ตัวแปลงสัญญาณ 'charmap' ไม่สามารถเข้ารหัสอักขระ '\ u20ac' ในตำแหน่ง 0:
ตัวละครแผนที่ไป 

ฉันถือว่านี่เป็นเพราะคอนโซล Windows ไม่ยอมรับอักขระ Unicode เท่านั้น อะไรคือวิธีที่ดีที่สุดในรอบนี้

หน้าต่างคอนโซลไม่ยอมรับอักขระ Unicode และยังสามารถแสดงให้พวกเขา (BMP เท่านั้น) ถ้าตัวอักษรที่สอดคล้องกันมีการกำหนดค่า WriteConsoleW()API ควรใช้เป็นข้อเสนอแนะในคำตอบของ @Daira เคย สามารถเรียกได้ว่าโปร่งใสนั่นคือคุณไม่จำเป็นต้องและไม่ควรแก้ไขสคริปต์ของคุณหากคุณใช้win-unicode-consoleแพ็คเกจ :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

ดูการจัดการกับ Python 3.4, Unicode, ภาษาต่าง ๆ และ Windows คืออะไร

มีวิธีใดบ้างที่ฉันจะทำให้ Python พิมพ์ a โดยอัตโนมัติ?แทนที่จะล้มเหลวในสถานการณ์นี้

หากมันเพียงพอที่จะแทนที่อักขระที่ไม่สามารถถอดรหัสได้ทั้งหมด?ในเคสของคุณคุณสามารถตั้งค่าPYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

ใน Python 3.6+ การเข้ารหัสที่ระบุโดยPYTHONIOENCODINGenvvar จะถูกละเว้นสำหรับบัฟเฟอร์คอนโซลแบบโต้ตอบเว้นแต่PYTHONLEGACYWINDOWSIOENCODINGenvvar จะถูกตั้งค่าเป็นสตริงที่ไม่ว่างเปล่า

แม้จะมีคำตอบที่เป็นไปได้ที่ทำให้เกิดเสียงอื่น ๆ ที่ขอแนะนำให้เปลี่ยนหน้ารหัส 65001 เพื่อที่ไม่ได้ทำงาน (นอกจากนี้การเปลี่ยนแปลงเริ่มต้นการเข้ารหัสโดยใช้sys.setdefaultencodingคือไม่ได้เป็นความคิดที่ดี .)

ดูคำถามนี้สำหรับรายละเอียดและรหัสที่ใช้งานได้

หากคุณไม่สนใจที่จะได้รับตัวละครที่ไม่ดีที่เชื่อถือได้คุณอาจใช้สิ่งนี้ (ทำงานกับ python> = 2.6 รวมถึง 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

อักขระที่ไม่ดีในสตริงจะถูกแปลงในรูปแบบที่สามารถพิมพ์ได้โดยคอนโซล Windows

รหัสด้านล่างจะทำให้ Python output เป็น console เป็น UTF-8 แม้ใน Windows

คอนโซลจะแสดงตัวอักษรได้ดีบน Windows 7 แต่บน Windows XP จะไม่แสดงผลได้ดี แต่อย่างน้อยมันก็จะทำงานได้และที่สำคัญที่สุดคุณจะได้ผลลัพธ์ที่สม่ำเสมอจากสคริปต์ของคุณในทุกแพลตฟอร์ม คุณจะสามารถเปลี่ยนเส้นทางผลลัพธ์ไปยังไฟล์

โค้ดด้านล่างทดสอบกับ Python 2.6 บน Windows

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

เพียงแค่ใส่รหัสนี้ในบรรทัดคำสั่งก่อนดำเนินการสคริปต์ python:

chcp 65001 & set PYTHONIOENCODING=utf-8

เช่นเดียวกับคำตอบของ Giampaolo Rodolà แต่ยิ่งสกปรก: ฉันตั้งใจจริง ๆ ที่จะใช้เวลานาน (เร็ว ๆ นี้) ในการทำความเข้าใจหัวข้อทั้งหมดของการเข้ารหัสและวิธีที่พวกเขาใช้กับ Windoze consoles

สำหรับช่วงเวลาที่ฉันต้องการ sthg ซึ่งจะหมายถึงโปรแกรมของฉันจะไม่ผิดพลาดและที่ฉันเข้าใจ ... และยังที่ไม่เกี่ยวข้องกับการนำเข้าโมดูลที่แปลกใหม่มากเกินไป (โดยเฉพาะอย่างยิ่งฉันใช้ Jython ดังนั้นครึ่งเวลา Python โมดูลปรากฎว่าไม่สามารถใช้งานได้จริง)

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr" สั้นกว่าการพิมพ์กว่า "print" (และค่อนข้างสั้นกว่าพิมพ์ "safeprint") ... !

สำหรับ Python 2 ให้ลอง:

print unicode(string, 'unicode-escape')

สำหรับ Python 3 ลอง:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

หรือลอง win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

ฉันวิ่งเข้าไปหาตัวเองทำงานกับบอทแชท Twitch (IRC) (Python 2.7 ล่าสุด)

ฉันต้องการแยกวิเคราะห์ข้อความแชทเพื่อตอบสนอง ...

msg = s.recv(1024).decode("utf-8")

แต่พิมพ์ด้วยความปลอดภัยไปยังคอนโซลในรูปแบบที่มนุษย์สามารถอ่านได้:

print(msg.encode('ascii','replace'));

นี้ได้รับการแก้ไขปัญหาของ ธ ปทขว้างปาที่UnicodeEncodeError: 'charmap'ผิดพลาดและแทนที่อักขระ Unicode ?ด้วย

สาเหตุของปัญหาของคุณไม่ใช่คอนโซล Win ที่ไม่ยอมรับ Unicode (เช่นนี้เนื่องจากฉันเดาว่า Win2k เป็นค่าเริ่มต้น) เป็นการเข้ารหัสระบบเริ่มต้น ลองใช้รหัสนี้และดูว่ามันให้อะไรคุณ:

import sys
sys.getdefaultencoding()

ถ้ามันบอกว่า ascii มีสาเหตุของคุณ ;-) คุณต้องสร้างไฟล์ที่ชื่อว่า sitecustomize.py และวางไว้ใต้เส้นทางของไพ ธ อน Win - มันคือ c: \ python \ lib \ site-packages หรืออะไรบางอย่าง) โดยมีเนื้อหาดังต่อไปนี้:

import sys
sys.setdefaultencoding('utf-8')

และบางทีคุณอาจต้องการระบุการเข้ารหัสในไฟล์ของคุณด้วย:

# -*- coding: UTF-8 -*-
import sys,time

แก้ไข: ข้อมูลเพิ่มเติมสามารถพบได้ในหนังสือ Dive Into Python

ประเภทที่เกี่ยวข้องกับคำตอบโดยเจเอฟเจบาสเตียน แต่ตรงกว่า

หากคุณมีปัญหานี้เมื่อพิมพ์ไปยังคอนโซล / เทอร์มินัลให้ทำสิ่งนี้:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: มีหลายวิธีในการเปิดตัว python คุณสามารถใช้คอนโซล python (ซึ่งมีโลโก้ python อยู่) หรือคอนโซล windows (มันเขียน cmd.exe ไว้)

ฉันไม่สามารถพิมพ์อักขระ utf8 ในคอนโซล windows ได้ การพิมพ์อักขระ utf-8 ทำให้ฉันเกิดข้อผิดพลาด:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

หลังจากพยายามและไม่เข้าใจคำตอบข้างต้นฉันค้นพบว่ามันเป็นเพียงปัญหาการตั้งค่า คลิกขวาที่ด้านบนของหน้าต่างคอนโซล cmd บนแท็บfontเลือกคอนโซล lucida

James Sulak ถาม

มีวิธีใดบ้างที่ฉันสามารถทำให้ Python พิมพ์ a โดยอัตโนมัติได้? แทนที่จะล้มเหลวในสถานการณ์นี้?

โซลูชันอื่น ๆ แนะนำให้เราพยายามปรับเปลี่ยนสภาพแวดล้อม Windows หรือแทนที่print()ฟังก์ชั่นของ Python คำตอบด้านล่างนี้ใกล้เคียงกับคำขอของ Sulak มากขึ้น

ภายใต้ Windows 7 สามารถพิมพ์ Python 3.5 เพื่อพิมพ์ Unicode โดยไม่ต้องใช้ a UnicodeEncodeErrorดังนี้

    ในสถานที่ของ:     print(text)
    แทน:     print(str(text).encode('utf-8'))

แทนที่จะทิ้งข้อยกเว้นตอนนี้ Python จะแสดงอักขระ Unicode ที่ไม่สามารถพิมพ์ได้ รหัสเลขฐานสิบหก\ xNNเช่น:

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait บวก qu \ xe2 \ x80 \ x99un point noir

แทน

  Halmalo n'étaitบวก qu'un point noir

ที่ได้รับหลังเป็นที่นิยมparibus ceterisแต่อย่างอื่นในอดีตมีความถูกต้องสมบูรณ์สำหรับข้อความวินิจฉัย เนื่องจากมันแสดง Unicode ว่าเป็นค่าไบต์ที่แท้จริงซึ่งในอดีตอาจช่วยในการวินิจฉัยปัญหาการเข้ารหัส / ถอดรหัส

หมายเหตุ:str()จำเป็นต้องใช้การโทรด้านบนเพราะไม่เช่นนั้นencode()Python จะปฏิเสธอักขระ Unicode เป็น tuple ของตัวเลข