UnicodeDecodeError: ตัวแปลงสัญญาณ 'utf8' ไม่สามารถถอดรหัสไบต์ 0x9c

ฉันมีซ็อกเก็ตเซิร์ฟเวอร์ที่ควรจะได้รับอักขระที่ถูกต้อง UTF-8 จากลูกค้า

ปัญหาคือลูกค้าบางราย (ส่วนใหญ่แฮกเกอร์) กำลังส่งข้อมูลผิดประเภททั้งหมด

ฉันสามารถแยกความแตกต่างไคลเอนต์ของแท้ได้อย่างง่ายดาย แต่ฉันเข้าสู่ไฟล์ข้อมูลทั้งหมดที่ส่งเพื่อให้ฉันสามารถวิเคราะห์ได้ในภายหลัง

บางครั้งฉันได้รับตัวละครเช่นนี้œทำให้เกิดUnicodeDecodeErrorข้อผิดพลาด

ฉันต้องสามารถสร้างสตริง UTF-8 โดยมีหรือไม่มีอักขระเหล่านั้น

ปรับปรุง:

สำหรับกรณีของฉันบริการซ็อกเก็ตเป็น MTA และฉันคาดหวังว่าจะได้รับคำสั่ง ASCII เช่น:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

ฉันบันทึกทั้งหมดนี้ใน JSON

จากนั้นบางคนก็ออกไปที่นั่นโดยไม่มีเจตนาดีตัดสินใจขายขยะทุกชนิด

นั่นเป็นเหตุผลสำหรับกรณีเฉพาะของฉันมันเป็นเรื่องที่ดีที่จะตัดอักขระที่ไม่ใช่ ASCII ออก

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

หรือ

str = unicode(str, errors='ignore')

หมายเหตุ: สิ่งนี้จะตัด (ละเว้น) อักขระที่มีปัญหาส่งคืนสตริงโดยไม่มีอักขระ

สำหรับฉันนี่เป็นกรณีที่เหมาะเนื่องจากฉันใช้มันเพื่อป้องกันอินพุตที่ไม่ใช่ ASCII ซึ่งไม่ได้รับอนุญาตจากแอปพลิเคชันของฉัน

อีกวิธีหนึ่ง:ใช้วิธีการเปิดจากcodecsโมดูลเพื่ออ่านในไฟล์:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

การเปลี่ยนเอนจิ้นจาก C เป็น Python นั้นเป็นเคล็ดลับสำหรับฉัน

เครื่องยนต์คือ C:

pd.read_csv(gdp_path, sep='\t', engine='c')

ตัวแปลงสัญญาณ 'utf-8' ไม่สามารถถอดรหัสไบต์ 0x92 ในตำแหน่งที่ 18: ไบต์เริ่มต้นที่ไม่ถูกต้อง

Engine คือ Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

ไม่มีข้อผิดพลาดสำหรับฉัน

ปัญหาประเภทนี้เพิ่มขึ้นสำหรับฉันตอนนี้ที่ฉันย้ายไปยัง Python 3 ฉันไม่รู้เลยว่า Python 2 เป็นเพียงการม้วนปัญหาใด ๆ ด้วยการเข้ารหัสไฟล์

ฉันพบคำอธิบายที่ดีเกี่ยวกับความแตกต่างและวิธีการหาวิธีการแก้ปัญหาหลังจากที่ไม่ได้ทำงานกับฉัน

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

กล่าวโดยสรุปคือการทำให้ Python 3 มีพฤติกรรมคล้ายกันมากที่สุดกับการใช้ Python 2:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

อย่างไรก็ตามอ่านบทความไม่มีขนาดที่เหมาะกับการแก้ปัญหาทั้งหมด

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

ฉันมีปัญหาเดียวกันกับUnicodeDecodeErrorและฉันแก้ไขมันด้วยสายนี้ ไม่รู้ว่าเป็นวิธีที่ดีที่สุดหรือเปล่า แต่มันก็ใช้ได้ผลสำหรับฉัน

str = str.decode('unicode_escape').encode('utf-8')

วิธีแรกใช้ get_encoding_type เพื่อรับชนิดของการเข้ารหัส:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

ที่สองเปิดไฟล์ด้วยประเภท:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

ในกรณีที่ใครบางคนมีปัญหาเดียวกัน ฉันกำลังใช้ vim กับYouCompleteMeไม่สามารถเริ่ม ycmd ด้วยข้อความแสดงข้อผิดพลาดสิ่งที่ฉันทำคือ: export LC_CTYPE="en_US.UTF-8"ปัญหาหายไป

คุณจะทำอย่างไรถ้าคุณต้องการเปลี่ยนแปลงไฟล์ แต่ไม่รู้การเข้ารหัสไฟล์? หากคุณรู้ว่าการเข้ารหัสนั้นเข้ากันได้กับ ASCII และต้องการตรวจสอบหรือแก้ไขส่วน ASCII เท่านั้นคุณสามารถเปิดไฟล์ด้วยตัวจัดการข้อผิดพลาด surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

ฉันได้แก้ไขปัญหานี้เพียงแค่เพิ่ม

df = pd.read_csv(fileName,encoding='latin1')