UnicodeDecodeError: ตัวแปลงสัญญาณ 'utf8' ไม่สามารถถอดรหัสไบต์ 0xa5 ในตำแหน่ง 0: ไบต์เริ่มต้นที่ไม่ถูกต้อง

ฉันใช้Python-2.6 CGIสคริปต์ แต่ไม่พบข้อผิดพลาดในการเข้าสู่ระบบเซิร์ฟเวอร์ในขณะที่ทำjson.dumps(),

Traceback (most recent call last):
  File "/etc/mongodb/server/cgi-bin/getstats.py", line 135, in <module>
    print json.dumps(​​__get​data())
  File "/usr/lib/python2.7/json/__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 201, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "/usr/lib/python2.7/json/encoder.py", line 264, in iterencode
    return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa5 in position 0: invalid start byte

ที่นี่

​__get​data()dictionary {}กลับมาทำงาน

ก่อนที่จะโพสต์คำถามนี้ฉันได้เรียกคำถามนี้ว่าระบบปฏิบัติการดังนั้น

การปรับปรุง

บรรทัดต่อไปนี้สร้างความเสียหายให้กับตัวเข้ารหัส JSON

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

ฉันได้รับการแก้ไขชั่วคราวสำหรับมัน

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

แต่ฉันไม่แน่ใจว่าเป็นวิธีที่ถูกต้องหรือไม่

ข้อผิดพลาดคือเนื่องจากมีอักขระที่ไม่ใช่ ASCII บางตัวในพจนานุกรมและไม่สามารถเข้ารหัส / ถอดรหัสได้ วิธีง่ายๆในการหลีกเลี่ยงข้อผิดพลาดนี้คือการเข้ารหัสสตริงดังกล่าวด้วยencode()ฟังก์ชั่นดังต่อไปนี้ (ถ้าaเป็นสตริงที่มีอักขระที่ไม่ใช่ ASCII):

a.encode('utf-8').strip()

ฉันเปลี่ยนสิ่งนี้โดยการกำหนดแพ็คเกจ codec อื่นในread_csv()คำสั่ง:

encoding = 'unicode_escape'

เช่น:

import pandas as pd
data = pd.read_csv(filename, encoding= 'unicode_escape')

ลองตัวอย่างโค้ดด้านล่าง:

with open(path, 'rb') as f:
  text = f.read()

สตริงของคุณมีการasciiเข้ารหัสอักขระที่ไม่ใช่

การไม่สามารถถอดรหัสด้วยutf-8อาจเกิดขึ้นหากคุณต้องการใช้การเข้ารหัสอื่น ๆ ในรหัสของคุณ ตัวอย่างเช่น:

>>> 'my weird character \x96'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 19: invalid start byte

ในกรณีนี้การเข้ารหัสคือwindows-1252สิ่งที่คุณต้องทำ:

>>> 'my weird character \x96'.decode('windows-1252')
u'my weird character \u2013'

ตอนนี้คุณมีUnicode, utf-8คุณสามารถเข้ารหัสเข้า

เมื่ออ่านcsvฉันได้เพิ่มวิธีการเข้ารหัส:

import pandas as pd
dataset = pd.read_csv('sample_data.csv', header= 0,
                        encoding= 'unicode_escape')

ตั้งค่าตัวเข้ารหัสเริ่มต้นที่ด้านบนของรหัสของคุณ

import sys
reload(sys)
sys.setdefaultencoding("ISO-8859-1")

ในฐานะของ 2018-05 นี้จะถูกจัดการโดยตรงกับdecodeอย่างน้อยสำหรับหลาม 3

ฉันกำลังใช้ข้อมูลโค้ดด้านล่างสำหรับinvalid start byteและinvalid continuation byteพิมพ์ข้อผิดพลาด การเพิ่มerrors='ignore'แก้ไขให้ฉัน

with open(out_file, 'rb') as f:
    for line in f:
        print(line.decode(errors='ignore'))

แรงบันดาลใจจาก @aaronpenne และ @Soumyaansh

f = open("file.txt", "rb")
text = f.read().decode(errors='replace')

วิธีนี้ใช้ได้ผลสำหรับฉัน:

import pandas as pd
data = pd.read_csv("training.csv", encoding = 'unicode_escape')

วิธีแก้ปัญหาง่าย ๆ :

import pandas as pd
df = pd.read_csv('file_name.csv', engine='python')

บรรทัดต่อไปนี้สร้างความเสียหายให้กับตัวเข้ารหัส JSON

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

ฉันได้รับการแก้ไขชั่วคราวสำหรับมัน

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

ทำเครื่องหมายว่าถูกต้องเป็นการแก้ไขชั่วคราว (ไม่แน่ใจ)

หากวิธีการข้างต้นไม่ได้ผลสำหรับคุณคุณอาจต้องการเปลี่ยนการเข้ารหัสไฟล์ csv เอง

ใช้ Excel:

1. เปิดไฟล์ csv โดยใช้ Excel
2. ไปที่ตัวเลือก "เมนูไฟล์" แล้วคลิก "บันทึกเป็น"
3. คลิก "เรียกดู" เพื่อเลือกตำแหน่งที่จะบันทึกไฟล์
4. ป้อนชื่อไฟล์ที่ต้องการ
5. เลือกตัวเลือก CSV (คั่นด้วยเครื่องหมายจุลภาค) (* .csv)
6. คลิกกล่อง "เครื่องมือ" แบบหล่นลงและคลิก "ตัวเลือกเว็บ"
7. ภายใต้แท็บ "การเข้ารหัส" เลือกตัวเลือก Unicode (UTF-8) จาก "บันทึกเอกสารนี้เป็น" รายการแบบหล่นลง
8. บันทึกไฟล์

ใช้ Notepad:

1. เปิดไฟล์ csv โดยใช้ notepad
2. ไปที่ตัวเลือก "ไฟล์"> "บันทึกเป็น"
3. ถัดไปเลือกตำแหน่งของไฟล์
4. เลือกตัวเลือกบันทึกเป็นประเภทเป็นไฟล์ทั้งหมด ( . )
5. ระบุชื่อไฟล์ด้วยนามสกุล. csv
6. จากรายการแบบเลื่อนลง "การเข้ารหัส" เลือกตัวเลือก UTF-8
7. คลิกบันทึกเพื่อบันทึกไฟล์

โดยการทำเช่นนี้คุณควรจะสามารถนำเข้าไฟล์ csv โดยไม่พบ UnicodeCodeError

หลังจากลองวิธีแก้ปัญหาข้างต้นทั้งหมดแล้วหากยังคงมีข้อผิดพลาดเดิมอยู่คุณสามารถลองส่งออกไฟล์เป็น CSV (ครั้งที่สองถ้าคุณมีอยู่แล้ว) โดยเฉพาะถ้าคุณใช้ scikit เรียนรู้วิธีที่ดีที่สุดในการนำเข้าชุดข้อมูลเป็นไฟล์ CSV

ฉันใช้เวลาหลายชั่วโมงด้วยกันในขณะที่วิธีแก้ปัญหานี้ง่าย ส่งออกไฟล์เป็น CSV ไปยังไดเรกทอรีที่ติดตั้ง Anaconda หรือเครื่องมือตัวจําแนกของคุณและลอง

คุณสามารถใช้การเข้ารหัสมาตรฐานของการใช้งานเฉพาะและการป้อนข้อมูลของคุณ

utf-8 เป็นค่าเริ่มต้น

iso8859-1 ยังเป็นที่นิยมสำหรับยุโรปตะวันตก

เช่น: bytes_obj.decode('iso8859-1')

ดู: เอกสาร

แทนที่จะค้นหาวิธีถอดรหัส a5 (Yen ¥) หรือ 96 (en-dash –) บอก MySQL ว่าไคลเอนต์ของคุณถูกเข้ารหัส "latin1" แต่คุณต้องการ "utf8" ในฐานข้อมูล

ดูรายละเอียดในTrouble with UTF-8 ตัวอักษร; สิ่งที่ฉันเห็นไม่ใช่สิ่งที่ฉันเก็บไว้