Unicode, Unicode Big Endian หรือ UTF-8? อะไรคือความแตกต่าง? รูปแบบใดดีกว่า

เมื่อฉันพยายามที่จะบันทึกไฟล์ข้อความด้วยที่ไม่ใช่ภาษาอังกฤษข้อความใน Notepad ฉันจะได้รับตัวเลือกให้เลือกระหว่างUnicode , Unicode Big EndianและUTF-8 รูปแบบเหล่านี้แตกต่างกันอย่างไร

สมมติว่าฉันไม่ต้องการความเข้ากันได้แบบย้อนหลัง (กับระบบปฏิบัติการเวอร์ชั่นเก่าหรือแอพ) และฉันไม่สนใจขนาดไฟล์รูปแบบใดที่ดีกว่า

(สมมติว่าข้อความสามารถเป็นภาษาเช่นจีนหรือญี่ปุ่นนอกเหนือจากภาษาอื่น ๆ )

หมายเหตุ:จากคำตอบและความคิดเห็นด้านล่างดูเหมือนว่าใน Notepad lingo, Unicode คือ UTF-16 (Little Endian), Unicode Big Endian คือ UTF-16 (Big Endian) และ UTF-8 นั้นดี UTF-8

dunno ไหนดีกว่า: เลื่อยหรือค้อน :-)

Unicode ไม่ใช่ UTF

มีบทความบางส่วนที่เกี่ยวข้องกับหัวเรื่องในขณะนี้:

• UTF-8 มุ่งเน้นไปที่การลดขนาดไบต์สำหรับการแสดงอักขระจากชุด ASCII (การแทนความยาวผันแปร: อักขระแต่ละตัวจะมีขนาด 1 ถึง 4 ไบต์และอักขระ ASCII จะพอดีกับ 1 ไบต์) ในฐานะที่เป็นโจเอลวางไว้:

“ ดูเลขศูนย์ทั้งหมด!” พวกเขาพูดเพราะพวกเขาเป็นคนอเมริกันและพวกเขากำลังมองหาข้อความภาษาอังกฤษซึ่งไม่ค่อยได้ใช้รหัสจุดเหนือ U + 00FF พวกเขายังเป็นพวกฮิปปี้เสรีในแคลิฟอร์เนียที่ต้องการอนุรักษ์ (หัวเราะเยาะ) หากพวกเขาเป็นชาวเท็กซัสพวกเขาคงไม่คิดที่จะดื่มด่ำกับจำนวนไบต์เป็นสองเท่า แต่ wimps ของชาว California เหล่านั้นไม่สามารถเข้าใจความคิดของการเพิ่มจำนวนของที่เก็บข้อมูลที่ใช้สำหรับสายอักขระ

• UTF-32 มุ่งเน้นไปที่ความครบถ้วนสมบูรณ์และความยาวคงที่โดยใช้ 4 ไบต์สำหรับตัวละครทั้งหมด มันเป็นการแปลที่ตรงไปตรงมามากที่สุดการจับคู่โดยตรงกับโค้ด Unicode ชี้ไปที่ 4 ไบต์ เห็นได้ชัดว่ามันมีขนาดไม่ใหญ่มาก

• UTF-16 เป็นการประนีประนอมโดยใช้เวลาส่วนใหญ่ 2 ไบต์ แต่ขยายเป็น 2 * 2 ไบต์ต่ออักขระเพื่อแทนอักขระบางตัวซึ่งไม่รวมอยู่ใน Basic Multilingual Plane (BMP)

โปรดดูขั้นต่ำสุดยอดอย่างแน่นอนผู้พัฒนาซอฟต์แวร์ทุกรายต้องรู้อย่างแน่นอนเกี่ยวกับ Unicode และชุดอักขระ (ไม่มีข้อแก้ตัว!)

สำหรับภาษายุโรป UTF-8 นั้นเล็กกว่า สำหรับภาษาตะวันออกความแตกต่างไม่ชัดเจนนัก

ทั้งสองจะจัดการอักขระ Unicode ที่เป็นไปได้ทั้งหมดดังนั้นจึงไม่ควรสร้างความแตกต่างในความเข้ากันได้

มีการเข้ารหัสอักขระ Unicode มากกว่าที่คุณคิด

• UTF 8

  การเข้ารหัส UTF-8 คือความกว้างของตัวแปรตั้งแต่ 1-4 ไบต์โดยมีบิตบนของแต่ละไบต์ที่สงวนไว้เป็นบิตควบคุม บิตนำหน้าของไบต์แรกระบุจำนวนไบต์ทั้งหมดที่ใช้สำหรับอักขระนั้น ค่าสเกลาร์ของจุดรหัสของตัวละครคือการต่อเชื่อมของบิตที่ไม่ได้ควบคุม ในตารางนี้xแสดงถึงค่าต่ำสุด 8 บิตของค่า Unicodeyแสดงถึง 8 บิตสูงกว่าถัดไปและzแสดงถึงบิตที่สูงกว่านั้น

  Unicode              Byte1     Byte2     Byte3     Byte4
  U+0000-U+007F       0xxxxxxx            
  U+0080-U+07FF       110yyyxx  10xxxxxx          
  U+0800-U+FFFF       1110yyyy  10yyyyxx  10xxxxxx    
  U+10000-U+10FFFF    11110zzz  10zzyyyy  10yyyyxx  10xxxxxx
  

• UCS-16
• UCS-16BE
• UCS-16LE
  
  
• UTF-16
• UTF-16BE
• UTF-16LE
  
  
• UTF-32
• UTF-32-BE

"Unicode" เป็นอีกคำหนึ่งสำหรับ "UTF-16" ซึ่งเป็นการเข้ารหัสอักขระ Unicode ที่ตั้งค่าเป็นสิบหกบิตต่ออักขระ UTF-8 เข้ารหัสเป็นแปดบิตต่อตัวอักษร

ในทั้งสองกรณีโอเวอร์โฟลว์ใด ๆ จะถูกจัดสรรให้กับอีก 16 หรือแปดบิต

ข้อได้เปรียบที่แท้จริงเพียงอย่างเดียวของไฟล์ขนาดเล็กเช่นไฟล์ข้อความคือขนาดไฟล์ที่ได้ โดยทั่วไป UTF-8 จะสร้างไฟล์ที่เล็กกว่า แต่ความแตกต่างนี้อาจมีความชัดเจนน้อยลงด้วยข้อความภาษาจีน / ญี่ปุ่น

ในคำเดียว Unicode เป็นชุดตัวอักษรในขณะที่ Unicode Big Endian และ utf-8 เป็นการเข้ารหัสสองตัวซึ่งใช้ในการจัดเก็บอักขระเป็น 01 บนคอมพิวเตอร์