การตั้งค่าการเข้ารหัสที่ถูกต้องเมื่อ piping stdout ใน Python

เมื่อไพพ์เอาท์พุทของโปรแกรม Python ล่าม Python สับสนเกี่ยวกับการเข้ารหัสและตั้งค่าเป็น None นี่หมายถึงโปรแกรมเช่นนี้:

# -*- coding: utf-8 -*-
print u"åäö"

จะทำงานได้ดีเมื่อทำงานตามปกติ แต่ล้มเหลวด้วย:

UnicodeEncodeError: ตัวแปลงสัญญาณ 'ascii' ไม่สามารถเข้ารหัสอักขระ u '\ xa0' ในตำแหน่ง 0: เลขลำดับไม่อยู่ในช่วง (128)

เมื่อใช้ในลำดับท่อ

เป็นวิธีที่ดีที่สุดในการทำให้งานนี้เมื่อท่อได้อย่างไร ฉันสามารถบอกให้ใช้การเข้ารหัสเชลล์ / ระบบไฟล์ / อะไรก็ได้ที่กำลังใช้อยู่

คำแนะนำที่ฉันได้เห็นในตอนนี้คือการแก้ไข site.py ของคุณโดยตรงหรือการเข้ารหัสฮาร์ดโค้ดเริ่มต้นโดยใช้แฮ็คนี้:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

มีวิธีที่ดีกว่าในการทำให้ท่อทำงานหรือไม่

รหัสของคุณใช้งานได้เมื่อทำงานในสคริปต์เนื่องจาก Python เข้ารหัสเอาต์พุตไปยังสิ่งที่เข้ารหัสแอปพลิเคชันเทอร์มินัลที่คุณใช้ หากคุณกำลังวางท่อคุณจะต้องเข้ารหัสด้วยตัวเอง

กฎง่ายๆคือใช้ Unicode ภายในเสมอ ถอดรหัสสิ่งที่คุณได้รับและเข้ารหัสสิ่งที่คุณส่ง

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

อีกตัวอย่างหนึ่งในการสอนคือโปรแกรม Python สำหรับแปลงระหว่าง ISO-8859-1 และ UTF-8 ทำให้ทุกอย่างเป็นตัวพิมพ์ใหญ่ระหว่างนั้น

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

การตั้งค่าการเข้ารหัสเริ่มต้นของระบบเป็นแนวคิดที่ไม่ดีเนื่องจากโมดูลและไลบรารีบางตัวที่คุณใช้สามารถพึ่งพาข้อเท็จจริงที่ว่ามันคือ ASCII อย่าทำมัน

ก่อนอื่นเกี่ยวกับวิธีแก้ปัญหานี้:

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

ไม่สามารถพิมพ์ด้วยการเข้ารหัสที่กำหนดทุกครั้งอย่างชัดเจน ที่จะซ้ำและผิดพลาดได้ง่าย

ทางออกที่ดีกว่าคือการเปลี่ยนsys.stdoutเมื่อเริ่มต้นโปรแกรมของคุณเพื่อเข้ารหัสด้วยการเข้ารหัสที่เลือก นี่คือวิธีแก้ไขปัญหาเดียวที่ฉันพบในPython: sys.stdout.encoding ถูกเลือกอย่างไร โดยเฉพาะอย่างยิ่งความคิดเห็นโดย "toka":

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

คุณอาจต้องการลองเปลี่ยนตัวแปรสภาพแวดล้อม "PYTHONIOENCODING" เป็น "utf_8" ฉันได้เขียนหน้าในการทดสอบของฉันกับปัญหานี้

Tl; dr ของโพสต์บล็อก:

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

ให้คุณ

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

ทำงาน แต่ไม่สามารถตั้งค่าบน python เอง ...

สิ่งที่เราสามารถทำได้คือตรวจสอบว่าไม่ได้ตั้งค่าไว้และบอกให้ผู้ใช้ตั้งค่าก่อนโทรสคริปต์ด้วย:

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

อัปเดตเพื่อตอบกลับความคิดเห็น: ปัญหามีอยู่เมื่อ piping ไปยัง stdout ฉันทดสอบใน Fedora 25 Python 2.7.13

python --version
Python 2.7.13

cat b.py

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

กำลังทำงาน. / b.py

UTF-8

กำลังทำงาน. /b.py | น้อยกว่า

None

ฉันมีปัญหาที่คล้ายกันเมื่อสัปดาห์ที่แล้ว มันง่ายที่จะแก้ไขใน IDE ของฉัน (PyCharm)

นี่คือการแก้ไขของฉัน:

เริ่มต้นจากแถบเมนู PyCharm: ไฟล์ -> การตั้งค่า ... -> ตัวแก้ไข -> การเข้ารหัสไฟล์จากนั้นตั้งค่า: "การเข้ารหัส IDE", "การเข้ารหัสโครงการ" และ "การเข้ารหัสเริ่มต้นสำหรับไฟล์คุณสมบัติ" ALL to UTF-8 และตอนนี้เธอทำงานแล้ว ชอบเสน่ห์

หวังว่านี่จะช่วยได้!

คำตอบของ Craig McQueen รุ่นที่ถูกสุขลักษณะ

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

การใช้งาน:

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

ฉันสามารถ "ทำให้เป็นอัตโนมัติ" ด้วยการโทรไปที่:

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

ใช่เป็นไปได้ที่จะวนซ้ำไม่สิ้นสุดที่นี่หาก "setenv" นี้ล้มเหลว

ฉันแค่คิดว่าฉันพูดถึงบางสิ่งบางอย่างที่นี่ซึ่งฉันต้องใช้เวลานานในการทดสอบก่อนที่ฉันจะรู้ว่าสิ่งที่เกิดขึ้นในที่สุด นี่อาจจะชัดเจนสำหรับทุกคนที่นี่ที่พวกเขาไม่ได้ใส่ใจพูดถึง แต่มันจะช่วยฉันได้ถ้าพวกเขามีหลักการนั้น ... !

NB: ฉันใช้Jythonโดยเฉพาะ v 2.7 ดังนั้นอาจเป็นไปได้ว่านี่อาจใช้ไม่ได้กับCPython ...

NB2: สองบรรทัดแรกของไฟล์. py ของฉันที่นี่คือ:

# -*- coding: utf-8 -*-
from __future__ import print_function

กลไกการสร้างสตริง "%" (AKA "ตัวดำเนินการแก้ไข") ทำให้เกิดปัญหาเพิ่มเติมเช่นกัน ... หากการเข้ารหัสเริ่มต้นของ "สภาพแวดล้อม" คือ ASCII และคุณพยายามทำบางสิ่งเช่นนี้

print( "bonjour, %s" % "fréd" )  # Call this "print A"

คุณจะไม่มีปัญหาในการทำงานใน Eclipse ... ในหน้าต่าง Windows CLI (ดอส DOS) คุณจะพบว่าการเข้ารหัสคือรหัสหน้า 850 (ระบบปฏิบัติการ Windows 7 ของฉัน) หรือบางสิ่งที่คล้ายกันซึ่งสามารถจัดการอักขระที่เน้นเสียงในยุโรปได้อย่างน้อย จะได้ผล

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

ยังจะทำงาน

ถ้า OTOH คุณส่งไฟล์จาก CLI การเข้ารหัส stdout จะไม่มีซึ่งจะเริ่มต้นเป็น ASCII (บนระบบปฏิบัติการของฉัน) ซึ่งจะไม่สามารถจัดการกับการพิมพ์ข้างต้นอย่างใดอย่างหนึ่ง ... (การเข้ารหัสหวั่น ข้อผิดพลาด)

ดังนั้นคุณอาจคิดถึง stdout ของคุณโดยใช้

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

และลองเรียกใช้ในการบีบอัดไฟล์ CLI ไปที่ไฟล์ ... แปลกมากการพิมพ์ A ด้านบนจะใช้งานได้ ... แต่การพิมพ์ B ด้านบนจะทำให้เกิดข้อผิดพลาดในการเข้ารหัส! อย่างไรก็ตามสิ่งต่อไปนี้จะใช้งานได้:

print( u"bonjour, " + "fréd" ) # Call this "print C"

ข้อสรุปที่ฉันได้มา (ชั่วคราว) คือถ้าสตริงที่ระบุว่าเป็นสตริงUnicodeโดยใช้คำนำหน้า "u" ถูกส่งไปยังกลไก% -handling มันดูเหมือนจะเกี่ยวข้องกับการใช้การเข้ารหัสสภาพแวดล้อมเริ่มต้นโดยไม่คำนึงถึง ไม่ว่าคุณจะตั้งค่า stdout เพื่อเปลี่ยนเส้นทาง!

วิธีที่ผู้คนจัดการกับเรื่องนี้เป็นเรื่องของการเลือก ฉันยินดีต้อนรับผู้เชี่ยวชาญ Unicode ที่จะบอกว่าทำไมสิ่งนี้จึงเกิดขึ้นไม่ว่าฉันจะทำสิ่งใดผิดวิธีที่เป็นที่นิยมในการแก้ปัญหานี้ไม่ว่าจะใช้กับCPythonไม่ว่ามันจะเกิดขึ้นใน Python 3 ฯลฯ ฯลฯ

ฉันพบปัญหานี้ในแอปพลิเคชันรุ่นเก่าและมันยากที่จะระบุว่าสิ่งที่พิมพ์ออกมา ฉันช่วยตัวเองด้วยแฮ็คนี้:

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

ที่ด้านบนของสคริปต์ test.py:

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

โปรดทราบว่าสิ่งนี้จะเปลี่ยนการเรียกทั้งหมดเพื่อพิมพ์เพื่อใช้การเข้ารหัสดังนั้นคอนโซลของคุณจะพิมพ์สิ่งนี้:

$ python test.py
b'Axwell \xce\x9b Ingrosso'

บน Windows ฉันพบปัญหานี้บ่อยมากเมื่อใช้งานรหัส Python จากโปรแกรมแก้ไข (เช่น Sublime Text) แต่ไม่ใช่ถ้าเรียกใช้จากบรรทัดคำสั่ง

ในกรณีนี้ให้ตรวจสอบพารามิเตอร์ของบรรณาธิการ ในกรณีของ SublimeText สิ่งนี้Python.sublime-buildจะแก้ไขได้:

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}