การบันทึกข้อความ utf-8 ใน json.dumps เป็น UTF8 ไม่ใช่เป็น \ u escape sequence


474

รหัสตัวอย่าง:

>>> import json
>>> json_string = json.dumps("ברי צקלה")
>>> print json_string
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

ปัญหา: มันไม่ใช่มนุษย์ที่อ่านได้ ผู้ใช้ (สมาร์ท) ของฉันต้องการยืนยันหรือแก้ไขไฟล์ข้อความด้วยการทิ้ง JSON (และฉันไม่ต้องการใช้ XML)

มีวิธีการทำให้เป็นอันดับวัตถุในสตริง UTF-8 JSON (แทน \uXXXX)?


9
+ สำหรับבריצקלה :)))
rubmz

คำตอบ:


641

ใช้ensure_ascii=Falseสวิตช์ไปที่json.dumps()แล้วเข้ารหัสค่าเป็น UTF-8 ด้วยตนเอง:

>>> json_string = json.dumps("ברי צקלה", ensure_ascii=False).encode('utf8')
>>> json_string
b'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'
>>> print(json_string.decode())
"ברי צקלה"

หากคุณกำลังเขียนไปยังไฟล์เพียงใช้json.dump()และปล่อยให้วัตถุไฟล์ที่จะเข้ารหัส:

with open('filename', 'w', encoding='utf8') as json_file:
    json.dump("ברי צקלה", json_file, ensure_ascii=False)

Caveats สำหรับ Python 2

สำหรับ Python 2 มีข้อควรพิจารณาอีกหลายประการ หากคุณกำลังเขียนสิ่งนี้ลงในไฟล์คุณสามารถใช้io.open()แทนopen()การสร้างวัตถุไฟล์ที่เข้ารหัสค่า Unicode ให้คุณเมื่อคุณเขียนจากนั้นใช้json.dump()แทนการเขียนลงในไฟล์นั้น:

with io.open('filename', 'w', encoding='utf8') as json_file:
    json.dump(u"ברי צקלה", json_file, ensure_ascii=False)

ทำบันทึกว่ามีข้อผิดพลาดในjsonโมดูลที่ensure_ascii=Falseธงสามารถผลิตผสมของunicodeและstrวัตถุ วิธีแก้ปัญหาสำหรับ Python 2 คือ:

with io.open('filename', 'w', encoding='utf8') as json_file:
    data = json.dumps(u"ברי צקלה", ensure_ascii=False)
    # unicode(data) auto-decodes data to unicode if str
    json_file.write(unicode(data))

ใน Python 2 เมื่อใช้สตริงไบต์ (ชนิดstr) เข้ารหัสเป็น UTF-8 ตรวจสอบให้แน่ใจว่าได้ตั้งค่าencodingคำหลักแล้ว:

>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}

>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')
>>> s
u'{"1": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4", "2": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'
>>> json.loads(s)['1']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> json.loads(s)['2']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
ברי צקלה

72

เพื่อเขียนลงไฟล์

import codecs
import json

with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:
    json.dump({"message":"xin chào việt nam"}, f, ensure_ascii=False)

หากต้องการพิมพ์ไปยัง stdout

import json
print(json.dumps({"message":"xin chào việt nam"}, ensure_ascii=False))

1
SyntaxError: อักขระที่ไม่ใช่ ASCII '\ xc3' ในไฟล์ json-utf8.py ในบรรทัดที่ 5 แต่ไม่มีการเข้ารหัสที่ประกาศ ดูpython.org/dev/peps/pep-0263สำหรับรายละเอียด
อเล็กซ์

ขอบคุณ! ฉันไม่ได้ตระหนักว่ามันง่ายขนาดนั้น คุณจะต้องระมัดระวังหากข้อมูลที่คุณแปลงเป็น json นั้นเป็นข้อมูลที่ไม่น่าเชื่อถือของผู้ใช้
Karim Sonbol

@Alex คุณคิดวิธีการหลีกเลี่ยงปัญหานั้นได้อย่างไร?
Gabriel Fair

@ Gabriel ตรงไปตรงมาฉันจำไม่ได้ ไม่ใช่เรื่องสำคัญที่จะวางตัวอย่างไว้ :(
อเล็กซ์

ทำงานให้ฉันโดยใช้codecsห้องสมุดเท่านั้น ขอบคุณ!
igorkf

29

UPDATE: นี่เป็นคำตอบที่ผิด แต่ก็ยังมีประโยชน์ที่จะเข้าใจว่าทำไมมันถึงผิด ดูความคิดเห็น

แล้วไงunicode-escapeล่ะ

>>> d = {1: "ברי צקלה", 2: u"ברי צקלה"}
>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')
>>> print json_str
{"1": "ברי צקלה", "2": "ברי צקלה"}

9
unicode-escapeไม่จำเป็น: คุณสามารถใช้json.dumps(d, ensure_ascii=False).encode('utf8')แทนได้ และไม่รับประกันว่า json จะใช้กฎเดียวกันกับunicode-escapeตัวแปลงสัญญาณใน Python ในทุกกรณีเช่นผลลัพธ์อาจหรืออาจไม่เหมือนกันในบางกรณี downvote สำหรับการแปลงที่ไม่จำเป็นและอาจผิด ไม่เกี่ยวข้อง: print json_strใช้ได้กับโลแคล utf8 เท่านั้นหรือถ้าPYTHONIOENCODINGenvvar ระบุ utf8 ที่นี่ (พิมพ์ Unicode แทน)
jfs

3
ปัญหาอื่น: อัญประกาศคู่ใด ๆ ในค่าสตริงจะทำให้การหลบหนีหายไปดังนั้นสิ่งนี้จะส่งผลให้เอาต์พุต JSON ที่ใช้งานไม่ได้
Martijn Pieters

ข้อผิดพลาดใน Python3: AttributeError: วัตถุ 'str' ไม่มีแอตทริบิวต์ 'decode'
Gank

1
unicode-escape ใช้งานได้ดี! ฉันยอมรับคำตอบนี้ว่าถูกต้อง
คนงาน

@ jfs ไม่json.dumps(d, ensure_ascii=False).encode('utf8')ไม่ทำงานสำหรับฉันอย่างน้อย ฉันได้รับUnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position ...- ผู้ปกครอง unicode-escapeตัวแปรปรับการทำงานอย่างไร
turingtested

24

วิธีแก้ปัญหาของ Peters 'python 2 ล้มเหลวในกรณีที่มีขอบ:

d = {u'keyword': u'bad credit  \xe7redit cards'}
with io.open('filename', 'w', encoding='utf8') as json_file:
    data = json.dumps(d, ensure_ascii=False).decode('utf8')
    try:
        json_file.write(data)
    except TypeError:
        # Decode data to Unicode first
        json_file.write(data.decode('utf8'))

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)

มันทำงานล้มเหลวในส่วน. debode ('utf8') ของบรรทัดที่ 3 ฉันแก้ไขปัญหาโดยการทำให้โปรแกรมง่ายขึ้นมากโดยหลีกเลี่ยงขั้นตอนนั้นรวมถึงปลอกพิเศษของ ascii:

with io.open('filename', 'w', encoding='utf8') as json_file:
  data = json.dumps(d, ensure_ascii=False, encoding='utf8')
  json_file.write(unicode(data))

cat filename
{"keyword": "bad credit  çredit cards"}

2
'กรณีขอบ' เป็นเพียงข้อผิดพลาดที่ยังไม่ทดลองในส่วนของฉัน unicode(data)วิธีการของคุณเป็นตัวเลือกที่ดีกว่าการใช้การจัดการข้อยกเว้น โปรดทราบว่าencoding='utf8'อาร์กิวเมนต์คำหลักไม่มีส่วนเกี่ยวข้องกับเอาต์พุตที่json.dumps()สร้างขึ้น มันใช้สำหรับถอดรหัสstrอินพุตที่ฟังก์ชันได้รับ
Martijn Pieters

2
@MartijnPieters: หรือเรียบง่ายขึ้น: open('filename', 'wb').write(json.dumps(d, ensure_ascii=False).encode('utf8'))มันทำงานไม่ว่าdumpsจะเป็นวัตถุ str หรือยูนิโค้ดส่งกลับ (ASCII เท่านั้น)
jfs

@JFSebastian: ถูกต้องเพราะstr.encode('utf8') ถอดรหัสก่อนโดยปริยาย แต่unicode(data)ถ้าเป็นstrวัตถุ :-) การใช้io.open()จะมีตัวเลือกเพิ่มเติมให้คุณรวมถึงการใช้ตัวแปลงสัญญาณที่เขียน BOM และคุณกำลังติดตามข้อมูล JSON ด้วยสิ่งอื่น
Martijn Pieters

@MartijnPieters: .encode('utf8')-based variant ทำงานได้ทั้ง Python 2 และ 3 (รหัสเดียวกัน) ไม่มีunicodeใน Python 3 ไม่เกี่ยวข้อง: ไฟล์ json ไม่ควรใช้ BOM (แม้ว่า json parser ที่ยืนยันแล้วอาจไม่สนใจ BOM ให้ดูที่errate 3983 )
jfs

การเพิ่มencoding='utf8'เพื่อjson.dumpsแก้ปัญหา ป.ล. ฉันมีข้อความ Cyrillic ที่จะทิ้ง
Max L

8

ในฐานะของ Python 3.7 โค้ดต่อไปนี้ทำงานได้ดี:

from json import dumps
result = {"symbol": "ƒ"}
json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)
print(json_string)

เอาท์พุท:

{"symbol": "ƒ"}

2
ใน python 3.6 (เพิ่งผ่านการตรวจสอบ)
Berry Tsakala

7

ต่อไปนี้เป็นความเข้าใจของฉันอ่านคำตอบ var ด้านบนและ google

# coding:utf-8
r"""
@update: 2017-01-09 14:44:39
@explain: str, unicode, bytes in python2to3
    #python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)
    #1.reload
    #importlib,sys
    #importlib.reload(sys)
    #sys.setdefaultencoding('utf-8') #python3 don't have this attribute.
    #not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
    #2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)
    #too complex
    #3.control by your own (best)
    #==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode 's disappeared in python3)
    #see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes

    #how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence
    #http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence
"""

from __future__ import print_function
import json

a = {"b": u"中文"}  # add u for python2 compatibility
print('%r' % a)
print('%r' % json.dumps(a))
print('%r' % (json.dumps(a).encode('utf8')))
a = {"b": u"中文"}
print('%r' % json.dumps(a, ensure_ascii=False))
print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))
# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'
print('')

# python2:bytes=str; python3:bytes
b = a['b'].encode('utf-8')
print('%r' % b)
print('%r' % b.decode("utf-8"))
print('')

# python2:unicode; python3:str=unicode
c = b.decode('utf-8')
print('%r' % c)
print('%r' % c.encode('utf-8'))
"""
#python2
{'b': u'\u4e2d\u6587'}
'{"b": "\\u4e2d\\u6587"}'
'{"b": "\\u4e2d\\u6587"}'
u'{"b": "\u4e2d\u6587"}'
'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'

'\xe4\xb8\xad\xe6\x96\x87'
u'\u4e2d\u6587'

u'\u4e2d\u6587'
'\xe4\xb8\xad\xe6\x96\x87'

#python3
{'b': '中文'}
'{"b": "\\u4e2d\\u6587"}'
b'{"b": "\\u4e2d\\u6587"}'
'{"b": "中文"}'
b'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'

b'\xe4\xb8\xad\xe6\x96\x87'
'中文'

'中文'
b'\xe4\xb8\xad\xe6\x96\x87'
"""

5

นี่คือทางออกของฉันโดยใช้ json.dump ():

def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):
    with codecs.open(p, 'wb', 'utf_8') as fileobj:
        json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)

โดยที่ SYSTEM_ENCODING ถูกตั้งค่าเป็น:

locale.setlocale(locale.LC_ALL, '')
SYSTEM_ENCODING = locale.getlocale()[1]

4

ใช้ตัวแปลงสัญญาณถ้าเป็นไปได้

with codecs.open('file_path', 'a+', 'utf-8') as fp:
    fp.write(json.dumps(res, ensure_ascii=False))

1

ขอบคุณสำหรับคำตอบเดิมที่นี่ ด้วยpython 3บรรทัดของรหัสต่อไปนี้:

print(json.dumps(result_dict,ensure_ascii=False))

ก็โอเค ลองไม่เขียนข้อความมากเกินไปในรหัสหากไม่จำเป็น

สิ่งนี้อาจดีพอสำหรับคอนโซล python อย่างไรก็ตามเพื่อให้เป็นไปตามเซิร์ฟเวอร์คุณอาจต้องตั้งค่าภาษาตามที่อธิบายไว้ที่นี่ (หากอยู่ใน apache2) http://blog.dscpl.com.au/2014/09/setting-lang-and-lcall-when-using .html

โดยทั่วไปติดตั้ง he_IL หรือภาษาใดก็ตามในภาษาอูบุนตูตรวจสอบว่าไม่ได้ติดตั้ง

locale -a 

ติดตั้งโดยที่ XX เป็นภาษาของคุณ

sudo apt-get install language-pack-XX

ตัวอย่างเช่น:

sudo apt-get install language-pack-he

เพิ่มข้อความต่อไปนี้ใน / etc / apache2 / envvrs

export LANG='he_IL.UTF-8'
export LC_ALL='he_IL.UTF-8'

กว่าที่คุณหวังว่าจะไม่ได้รับข้อผิดพลาดของหลามจาก apache เช่น:

พิมพ์ (js) UnicodeEncodeError: ตัวแปลงสัญญาณ 'ascii' ไม่สามารถเข้ารหัสอักขระในตำแหน่ง 41-45: ลำดับไม่อยู่ในช่วง (128)

นอกจากนี้ใน Apache ลองทำการเข้ารหัส utf ตามที่อธิบายไว้ที่นี่:
จะเปลี่ยนการเข้ารหัสเริ่มต้นเป็น UTF-8 สำหรับ Apache ได้อย่างไร

ทำได้ตั้งแต่เนิ่น ๆ เพราะข้อผิดพลาด apache สามารถทำให้ดีบั๊กได้และคุณอาจคิดผิดว่ามาจากไพ ธ อนซึ่งอาจไม่ใช่ในกรณีนั้น


1

หากคุณกำลังโหลดสตริง JSON จากข้อความไฟล์เนื้อหาไฟล์ภาษาอาหรับ จากนั้นจะใช้งานได้

สมมติว่าไฟล์ที่ต้องการ: arabic.json

{ 
"key1" : "لمستخدمين",
"key2" : "إضافة مستخدم"
}

รับเนื้อหาภาษาอาหรับจากไฟล์ arabic.json

with open(arabic.json, encoding='utf-8') as f:
   # deserialises it
   json_data = json.load(f)
   f.close()


# json formatted string
json_data2 = json.dumps(json_data, ensure_ascii = False)

หากต้องการใช้ข้อมูล JSON ในแม่แบบ Django ให้ทำตามขั้นตอนด้านล่าง:

# If have to get the JSON index in Django Template file, then simply decode the encoded string.

json.JSONDecoder().decode(json_data2)

ทำ! ตอนนี้เราสามารถรับผลลัพธ์เป็นดัชนี JSON ด้วยค่าภาษาอาหรับ


fh.close() fhไม่ได้กำหนด
AMC

แก้ไขแล้วตอนนี้ มันจะเป็นf.close()
Chandan Sharma

0

ใช้ unicode-escape เพื่อแก้ปัญหา

>>>import json
>>>json_string = json.dumps("ברי צקלה")
>>>json_string.encode('ascii').decode('unicode-escape')
'"ברי צקלה"'

อธิบาย

>>>s = '漢  χαν  хан'
>>>print('unicode: ' + s.encode('unicode-escape').decode('utf-8'))
unicode: \u6f22  \u03c7\u03b1\u03bd  \u0445\u0430\u043d

>>>u = s.encode('unicode-escape').decode('utf-8')
>>>print('original: ' + u.encode("utf-8").decode('unicode-escape'))
original:   χαν  хан

แหล่งข้อมูลดั้งเดิม:https://blog.csdn.net/chuatony/article/details/72628868


-3

การใช้ sure_ascii = False ใน json.dumps เป็นทิศทางที่ถูกต้องในการแก้ไขปัญหานี้ตามที่ Martijn ชี้ให้เห็น อย่างไรก็ตามสิ่งนี้อาจทำให้เกิดข้อยกเว้น:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 1: ordinal not in range(128)

คุณต้องมีการตั้งค่าเพิ่มเติมใน site.py หรือ sitecustomize.py เพื่อตั้งค่า sys.getdefaultencoding () ให้ถูกต้อง site.py อยู่ภายใต้ lib / python2.7 / และ sitecustomize.py อยู่ภายใต้ lib / python2.7 / site-packages

หากคุณต้องการใช้ site.py ภายใต้ def setencoding (): เปลี่ยนอันแรกถ้า 0: เป็น if 1: เพื่อให้ไพ ธ อนใช้ภาษาของระบบปฏิบัติการ

หากคุณต้องการใช้ sitecustomize.py ซึ่งอาจไม่มีอยู่หากคุณยังไม่ได้สร้าง เพียงใส่บรรทัดเหล่านี้:

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

จากนั้นคุณสามารถทำเอาต์พุต json ภาษาจีนบางส่วนในรูปแบบ utf-8 เช่น:

name = {"last_name": u"王"}
json.dumps(name, ensure_ascii=False)

คุณจะได้รับสตริงที่เข้ารหัส utf-8 แทนที่จะเป็นสตริง json ที่หนีออกมา

ในการตรวจสอบการเข้ารหัสเริ่มต้นของคุณ:

print sys.getdefaultencoding()

คุณควรได้รับ "utf-8" หรือ "UTF-8" เพื่อยืนยันการตั้งค่า site.py หรือ sitecustomize.py

โปรดทราบว่าคุณไม่สามารถทำการ sys.setdefaultencoding ("utf-8") ที่คอนโซล python แบบโต้ตอบ


2
ไม่ อย่าทำมัน การปรับเปลี่ยนการเข้ารหัสอักขระเริ่มต้นไม่มีส่วนเกี่ยวข้องjsonensure_ascii=False 's ให้ตัวอย่างรหัสที่สมบูรณ์แบบน้อยที่สุดหากคุณคิดเป็นอย่างอื่น
jfs

คุณจะได้รับข้อยกเว้นนี้เฉพาะเมื่อคุณป้อนข้อมูลในสตริงไบต์ที่ไม่ใช่ ASCII (เช่นไม่ใช่ค่า Unicode) หรือพยายามรวมค่า JSON ที่เป็นผลลัพธ์ (สตริง Unicode) กับสตริงไบต์ที่ไม่ใช่ ASCII การตั้งค่าการเข้ารหัสเริ่มต้นเป็น UTF-8 โดยพื้นฐานแล้วการปิดบังปัญหาพื้นฐานคือคุณไม่ได้จัดการข้อมูลสตริงของคุณอย่างถูกต้อง
Martijn Pieters
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.