คำถามติดแท็ก unicode

ฉันเรียกใช้ข้อมูลโค้ดนี้สองครั้งในเทอร์มินัล Ubuntu (ตั้งค่าการเข้ารหัสเป็น utf-8) หนึ่งครั้ง./test.pyด้วย./test.py >out.txt: uni = u"\u001A\u0BC3\u1451\U0001D10C" print uni หากไม่มีการเปลี่ยนเส้นทางจะพิมพ์ขยะ ด้วยการเปลี่ยนเส้นทางฉันจะได้รับ UnicodeDecodeError ใครช่วยอธิบายได้ไหมว่าทำไมฉันถึงได้รับข้อผิดพลาดในกรณีที่สองหรือให้คำอธิบายโดยละเอียดว่าเกิดอะไรขึ้นหลังม่านในทั้งสองกรณี

100 python  unicode 

มีฟังก์ชันใน PHP ที่สามารถถอดรหัสลำดับการหลีกเลี่ยง Unicode เช่น "\u00ed " ถึง " í" และเหตุการณ์อื่น ๆ ที่คล้ายกันทั้งหมดได้หรือไม่ ฉันพบคำถามที่คล้ายกันที่นี่แต่ดูเหมือนจะไม่ได้ผล

100 php  unicode  utf-8  escaping  decoding 

Python เรียงลำดับตามค่าไบต์ตามค่าเริ่มต้นซึ่งหมายความว่าéมาหลัง z และสิ่งอื่น ๆ ที่ตลกพอ ๆ กัน วิธีที่ดีที่สุดในการจัดเรียงตามตัวอักษรใน Python คืออะไร? มีห้องสมุดสำหรับสิ่งนี้หรือไม่? ฉันไม่พบอะไรเลย การเรียงลำดับควรมีการรองรับภาษาดังนั้นจึงเข้าใจว่าåäöควรเรียงตาม z ในภาษาสวีเดน แต่üควรจัดเรียงตาม u เป็นต้นการสนับสนุน Unicode จึงเป็นข้อกำหนดค่อนข้างมาก หากไม่มีห้องสมุดจะทำอย่างไรดีที่สุด เพียงแค่ทำการแมปจากตัวอักษรเป็นค่าจำนวนเต็มและแมปสตริงกับรายการจำนวนเต็มด้วยสิ่งนั้น

99 python  sorting  unicode  internationalization  collation 

ฉันกำลังพยายามค้นหาสัญลักษณ์ Unicode เพื่อให้ปุ่มแสดงสัญลักษณ์หยุดชั่วคราวของ Unicode ฉันพบว่าสัญลักษณ์การเล่น Unicode นั้นเป็น&#9658แต่ฉันกำลังมองหาสัญลักษณ์หยุดชั่วคราวที่เทียบเท่า

98 html  unicode  special-characters  symbols 

มีสองวิธีในการเปิดไฟล์ข้อความใน Python: f = open(filename) และ import codecs f = codecs.open(filename, encoding="utf-8") codecs.openควรเลือกเมื่อopenใด

98 python  unicode  codec 

U + 4E00..U + 9FFF เป็นส่วนหนึ่งของชุดสมบูรณ์ แต่ไม่ใช่ทั้งหมด

97 unicode  cjk 

อะไรอาจทำให้เกิดข้อผิดพลาดนี้เมื่อฉันพยายามแทรกอักขระแปลกปลอมลงในฐานข้อมูล >>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256) และฉันจะแก้ไขได้อย่างไร? ขอบคุณ!

96 python  mysql  unicode  pylons 

ฉันตกอยู่ในปัญหาที่น่าประหลาดใจ ฉันโหลดไฟล์ข้อความในแอปพลิเคชันของฉันและฉันมีตรรกะบางอย่างที่เปรียบเทียบค่าที่มี µ และฉันก็ตระหนักว่าแม้ว่าข้อความจะเหมือนกัน แต่ค่าเปรียบเทียบจะเป็นเท็จ Console.WriteLine("μ".Equals("µ")); // returns false Console.WriteLine("µ".Equals("µ")); // return true ในบรรทัดต่อมาจะมีการคัดลอกอักขระ µ มาวาง อย่างไรก็ตามสิ่งเหล่านี้อาจไม่ใช่ตัวละครเดียวที่เป็นเช่นนี้ มีวิธีใดใน C # ในการเปรียบเทียบตัวอักษรที่มีลักษณะเหมือนกัน แต่แตกต่างกันจริงหรือไม่?

94 c#  .net  string  unicode  string-comparison 

สวัสดีฉันต้องการทำสิ่งต่อไปนี้: ??? unicode = U+1F60A String emoji = getEmojiByUnicode(unicode) String text = "So happy " textview.setText(text + emoji); เพื่อรับสิ่งนี้ในมุมมองข้อความของฉัน: มีความสุขมาก ๆ 😊 ฉันจะใช้งานได้getEmojiByUnicode(unicode)อย่างไร? unicodeตัวแปรควรเป็นประเภทใด (สตริงถ่าน int?) โปรดทราบว่าฉันไม่ต้องการใช้ Drawables!

94 android  unicode  textview  encode  emoji 

ฉันได้ทดลองใช้โค้ด Java หลายบิตโดยพยายามสร้างสิ่งที่จะเข้ารหัสสตริงที่มีเครื่องหมายคำพูดช่องว่างและอักขระ Unicode "แปลกใหม่" และสร้างเอาต์พุตที่เหมือนกับฟังก์ชันencodeURIComponentของ JavaScript สตริงการทดสอบการทรมานของฉันคือ"A" B ± " หากฉันป้อนคำสั่ง JavaScript ต่อไปนี้ใน Firebug: encodeURIComponent('"A" B ± "'); - จากนั้นฉันจะได้รับ: "%22A%22%20B%20%C2%B1%20%22" นี่คือโปรแกรม Java ทดสอบเล็กน้อยของฉัน: import java.io.UnsupportedEncodingException; import java.net.URLEncoder; public class EncodingTest { public static void main(String[] args) throws UnsupportedEncodingException { String s = "\"A\" B ± \""; System.out.println("URLEncoder.encode returns …

92 java  javascript  unicode  utf-8 

สัญลักษณ์อักขระ Unicode ใดที่แสดงระยะเวลา (เช่นนาฬิกานาฬิกาทรายหรือนาฬิกาอื่น ๆ ) ตัวอย่างเช่น "★3⅔" แทนที่จะเป็น "3 ชั่วโมงสี่สิบนาที" โดยที่★คือสัญลักษณ์บอกเวลา

92 unicode 

กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ สิ่งเหล่านี้เพิ่งปรากฏในส่วนความคิดเห็นของ Facebook เราจะฆ่าเชื้อนี้ได้อย่างไร?

92 unicode  sanitize  combining-marks  zalgo 

ฉันกำลังเขียนเว็บเซอร์ที่ใช้ json เพื่อแสดงถึงทรัพยากรและฉันรู้สึกติดขัดเล็กน้อยเกี่ยวกับวิธีที่ดีที่สุดในการเข้ารหัส json การอ่าน json rfc ( http://www.ietf.org/rfc/rfc4627.txt ) เป็นที่ชัดเจนว่าการเข้ารหัสที่ต้องการคือ utf-8 แต่ rfc ยังอธิบายกลไกการหลีกเลี่ยงสตริงสำหรับการระบุอักขระ ฉันคิดว่าโดยทั่วไปจะใช้เพื่อหลีกเลี่ยงอักขระที่ไม่ใช่ ascii ดังนั้นจึงทำให้ utf-8 เป็นผลลัพธ์ที่ถูกต้อง ascii สมมติว่าฉันมีสตริง json ที่มีอักขระ Unicode (จุดรหัส) ที่ไม่ใช่ ascii บริการเว็บของฉันควรเข้ารหัสเพียง utf-8 แล้วส่งคืนหรือควรหลีกเลี่ยงอักขระที่ไม่ใช่ ascii ทั้งหมดและส่งคืน ascii บริสุทธิ์ ฉันต้องการให้เบราว์เซอร์สามารถเรียกใช้ผลลัพธ์โดยใช้ jsonp หรือ eval มีผลต่อการตัดสินใจหรือไม่? ฉันขาดความรู้เกี่ยวกับการรองรับจาวาสคริปต์ของเบราว์เซอร์ต่างๆสำหรับ utf-8 แก้ไข: ฉันต้องการชี้แจงว่าความกังวลหลักของฉันเกี่ยวกับวิธีการเข้ารหัสผลลัพธ์นั้นเกี่ยวกับการจัดการผลลัพธ์ของเบราว์เซอร์จริงๆ สิ่งที่ฉันอ่านระบุว่าเบราว์เซอร์อาจไวต่อการเข้ารหัสเมื่อใช้ JSONP โดยเฉพาะ ฉันไม่พบข้อมูลที่ดีเกี่ยวกับเรื่องนี้ดังนั้นฉันจะต้องเริ่มทำการทดสอบเพื่อดูว่าเกิดอะไรขึ้น ตามหลักการแล้วฉันต้องการหลีกเลี่ยงอักขระเพียงไม่กี่ตัวที่จำเป็นและเพียงแค่ utf-8 …

91 web-services  json  unicode  utf-8 

ใช้ SQLite3 ใน Python ฉันพยายามจัดเก็บข้อมูลโค้ด UTF-8 HTML เวอร์ชันบีบอัด รหัสมีลักษณะดังนี้: ... c = connection.cursor() c.execute('create table blah (cid integer primary key,html blob)') ... c.execute('insert or ignore into blah values (?, ?)',(cid, zlib.compress(html))) ณ จุดใดที่ได้รับข้อผิดพลาด: sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings …

90 python  unicode  sqlite  zlib 

ฉันต้องการเพียงแค่แสดงสัญลักษณ์เห็บ (✔) และเครื่องหมายกากบาท (✘) ในหน้า HTML แต่จะแสดงเป็นกล่องหรือ goop ✔ ซึ่งเห็นได้ชัดว่ามีอะไรเกี่ยวข้องกับการเข้ารหัส ฉันได้ตั้งค่าเมตาแท็กเพื่อแสดง utf-8 แต่เห็นได้ชัดว่าฉันขาดอะไรไป <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> แก้ไข / วิธีแก้ไข:จากการแสดงความคิดเห็นโดยใช้ FireBug ฉันพบว่าส่วนหัวที่เพจของฉันส่งผ่านนั้นเป็น "Content-Type: text / html" ไม่ใช่ UTF-8 เมื่อดูรูปแบบไฟล์โดยใช้ Notepad ++ พบว่าไฟล์ของฉันถูกจัดรูปแบบเป็น "UTF-8 ที่ไม่มี BOM" การเปลี่ยนสิ่งนี้เป็นเพียง UTF-8 ตอนนี้สัญลักษณ์แสดงอย่างถูกต้อง ... แต่ firebug ยังคงระบุว่าเป็นประเภทเนื้อหาเดียวกัน

89 html  unicode