UTF-8 จะสามารถรองรับภาษาต่างประเทศที่มีตัวละครใหม่นับล้านตัวได้หรือไม่?

ในกรณีที่มีการบุกรุกจากมนุษย์ต่างดาวและเราถูกบังคับให้สนับสนุนภาษาของพวกเขาในทุกระบบคอมพิวเตอร์ที่มีอยู่ของเรา UTF-8 ได้รับการออกแบบมาเพื่อให้สามารถใช้อักขระจำนวนมากได้หรือไม่?

(แน่นอนเราไม่ทราบว่ามนุษย์ต่างดาวมีภาษาจริง ๆ มีวิธีสื่อสารกันหรือไม่ แต่เพื่อการโต้แย้งโปรดลองจินตนาการว่าพวกเขาทำ)

ตัวอย่างเช่นหากภาษาของพวกเขาประกอบด้วยร่ายมนตร์ที่ค้นพบใหม่สัญลักษณ์และ / หรือการรวมตัวอักษร UTF-8 ในทางทฤษฎีสามารถขยายได้ในลักษณะที่ไม่แตกหักเพื่อรวมร่ายมนตร์ใหม่เหล่านี้และยังรองรับซอฟต์แวร์ที่มีอยู่ทั้งหมดหรือไม่

ฉันสนใจมากขึ้นถ้าร่ายมนตร์ไกลเกินขีด จำกัด ขนาดปัจจุบันและต้องการไบต์เพิ่มขึ้นเพื่อแทนร่ายมนตร์เดียว ในกรณีที่ไม่สามารถขยายUTF-8 ได้หรือไม่นั่นพิสูจน์ได้ว่าข้อได้เปรียบเดียวของ UTF-32 นั้นคือขนาดของตัวอักษรที่ต่ำกว่าหรือไม่?

มาตรฐาน Unicode มีพื้นที่เหลือเฟือมากมาย codepoints Unicode จัดอยู่ใน "ระนาบ" และ "บล็อก" จากจำนวนเครื่องบินทั้งหมด 17 ลำปัจจุบันยังไม่ได้กำหนด 11รายการ เครื่องบินแต่ละลำมีตัวอักษร 65,536 ตัวดังนั้นจึงมีรหัส codepoints ครึ่งล้านสำหรับภาษาต่างประเทศ (ยกเว้นว่าเราเติมอีโมจิทั้งหมดก่อนที่จะทำการติดต่อครั้งแรก) ในฐานะของ Unicode 8.0 มีเพียง 120,737 รหัสคะแนนเท่านั้นที่ได้รับมอบหมายทั้งหมด (ประมาณ 10% ของความจุทั้งหมด) โดยประมาณว่าเป็นจำนวนเดียวกันกับที่ไม่ได้ถูกมอบหมาย แต่สงวนไว้สำหรับการใช้งานเฉพาะส่วนบุคคล โดยรวมแล้ว 974,530 codepoints ยังไม่ได้ถูกมอบหมาย

UTF-8 เป็นการเข้ารหัสเฉพาะของ Unicode และปัจจุบันถูก จำกัด ไว้ที่สี่ octets (ไบต์) ต่อจุดโค้ดซึ่งตรงกับข้อ จำกัด ของ UTF-16 โดยเฉพาะอย่างยิ่ง UTF-16 รองรับ 17 เครื่องบินเท่านั้น ก่อนหน้านี้ UTF-8 รองรับ 6 octets ต่อ codepoint และถูกออกแบบมาเพื่อรองรับเครื่องบิน 32768 โดยหลักการแล้วข้อ จำกัด 4 ไบต์นี้สามารถยกขึ้นได้ แต่นั่นจะทำลายโครงสร้างองค์กรปัจจุบันของ Unicode และต้องการให้ UTF-16 เลิกใช้งาน - ไม่น่าจะเกิดขึ้นในอนาคตอันใกล้นี้โดยพิจารณาว่ามันยึดมั่นในระบบปฏิบัติการและการเขียนโปรแกรมอย่างไรบ้าง ภาษา

เหตุผลเดียวที่ทำให้ UTF-16 ยังคงใช้งานได้ทั่วไปคือมันเป็นส่วนขยายของการเข้ารหัส UCS-2 ที่มีข้อบกพร่องซึ่งรองรับเฉพาะ Unicode เครื่องบินเดียวเท่านั้น มิฉะนั้นจะสืบทอดคุณสมบัติที่ไม่พึงประสงค์จากทั้ง UTF-8 (ไม่ใช่ความกว้างคงที่) และ UTF-32 (ไม่ใช่ ASCII ที่เข้ากันได้, เสียพื้นที่สำหรับข้อมูลทั่วไป) และต้องมีเครื่องหมายลำดับไบต์เพื่อประกาศ endianness ระบุว่าแม้ปัญหาเหล่านี้ UTF-16 ยังเป็นที่นิยม แต่ฉันก็ไม่ได้มองโลกในแง่ดีเกินไปว่าจะมีการเปลี่ยนแปลงด้วยตัวเองในไม่ช้า หวังว่าเจ้านายคนต่างด้าวใหม่ของเราจะเห็นอุปสรรคนี้กฎของพวกเขาและในภูมิปัญญาของพวกเขาขับไล่ UTF-16 จากใบหน้าของแผ่นดิน

หากขยาย UTF-8 ได้จริงเราควรดูค่าสูงสุดที่แน่นอนที่สามารถเป็นตัวแทนได้ UTF-8 มีโครงสร้างดังนี้:

Char. number range  |        UTF-8 octet sequence
   (hexadecimal)    |              (binary)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

(คัดลอกมาจาก RFCอย่างไร้ยางอาย) เราเห็นว่าไบต์แรกจะควบคุมจำนวนไบต์ที่ตามมาที่ประกอบขึ้นเป็นอักขระปัจจุบันเสมอ

หากเราขยายให้มีขนาดสูงสุด 8 ไบต์เราจะได้รับการแทนค่าที่ไม่ใช่ Unicode เพิ่มเติม

111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111110 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111111 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

การคำนวณการแทนค่าสูงสุดที่เป็นไปได้ที่เทคนิคนี้อนุญาตให้เราทำได้

  10000000₂
+ 00100000₂ * 01000000₂
+ 00010000₂ * 01000000₂^2
+ 00001000₂ * 01000000₂^3
+ 00000100₂ * 01000000₂^4
+ 00000010₂ * 01000000₂^5
+ 00000001₂ * 01000000₂^6
+ 00000001₂ * 01000000₂^7

หรือในฐาน 10:

  128
+  32 * 64
+  16 * 64^2
+   8 * 64^3
+   4 * 64^4
+   2 * 64^5
+   1 * 64^6
+   1 * 64^7

ซึ่งให้จำนวนสูงสุดของการเป็นตัวแทนของเราเป็น 4,468,982,745,216

ดังนั้นหากตัวละคร4 พันล้าน ( หรือล้านล้านตามที่คุณต้องการ ) เพียงพอที่จะเป็นตัวแทนของภาษาต่างประเทศฉันค่อนข้างมั่นใจว่าเราสามารถทำได้โดยใช้ความพยายามเพียงเล็กน้อยขยาย UTF-8 ปัจจุบันเพื่อเอาใจคนต่างด้าวคนใหม่ของเรา ;-)

RFC3629จำกัด UTF-8 สูงสุดสี่ไบต์ต่อตัวอักษรโดยมีค่าสูงสุด 0x10FFFF ซึ่งอนุญาตให้ใช้จุดรหัสสูงสุด 1,112,064 เห็นได้ชัดว่าข้อ จำกัด นี้สามารถลบออกและขยายมาตรฐานได้ แต่สิ่งนี้จะพิสูจน์ได้ว่าการเปลี่ยนแปลงที่เกิดขึ้นกับโค้ดที่มีอยู่ซึ่งทำงานได้ถึงขีด จำกัด นั้น

จากมุมมอง data-file สิ่งนี้จะไม่เป็นการเปลี่ยนแปลงที่ผิดปกติเนื่องจากมาตรฐานทำงานบนพื้นฐานที่ว่าหากบิตที่สำคัญที่สุด (MSB) ของแต่ละไบต์ถูกตั้งค่าไบต์ต่อไปจะเป็นส่วนหนึ่งของการเข้ารหัส แม้แต่ก่อน RFC3629 มาตรฐานก็ถูก จำกัด ที่ 31 บิตทำให้ MSB ของไบต์ที่สี่ไม่ได้ตั้งค่า

การขยายมาตรฐานเกินกว่า 0x10FFFF จะทำให้ความเข้ากันได้ของข้อมูลบางส่วนของ UTF-8 กับ UTF-16 นั้นลดลง

จริงๆแล้วมีเพียงโค้ด Unicode code-points 2 รหัสเท่านั้นที่ใช้สำหรับร่ายมนตร์จำนวนมากอย่างไม่ จำกัด หากพวกเขากำลังรวมตัวอักขระ

เปรียบเทียบตัวอย่างเช่นสองวิธีที่ Unicode ถอดรหัสอักษรเกาหลีฮันกึล: อังกูลพยางค์และอังกูล Jamo อักขระ웃 in Hangul Syllabelsเป็นจุดรหัสเดียวC6C3ในขณะที่Hangul Jamoมันคือสามจุดรหัส110B(ㅇ) 116E(ㅜ) 11B9(ㅅ) เห็นได้ชัดว่าการใช้อักขระที่รวมกันนั้นใช้รหัสจุดน้อยลงอย่างมาก แต่มีประสิทธิภาพน้อยกว่าสำหรับการเขียนเนื่องจากจำเป็นต้องใช้ไบต์มากขึ้นในการเขียนอักขระแต่ละตัว

ด้วยเคล็ดลับนี้ไม่จำเป็นต้องไปเกินจำนวนรหัสจุดที่สามารถเข้ารหัสในปัจจุบันใน UTF-8 หรือ UTF-16

ฉันเดาว่ามันเป็นเรื่องเกี่ยวกับมนุษย์ต่างดาวที่น่ารังเกียจถ้าภาษาของพวกเขาเกิดขึ้นต้องใช้จำนวนไบต์ต่อข้อความมากกว่าภาษาทางโลก หากพวกเขาไม่เป็นไรพูดแทนตัวละครแต่ละล้านตัวโดยใช้ความสับสน 100 พันตัวอักษรแล้วไม่มีปัญหา ในทางตรงกันข้ามถ้าถูกบังคับให้ใช้ไบต์มากกว่า Earthlings ทำให้พวกเขารู้สึกเหมือนพลเมืองชั้นสองเราอาจจะอยู่ในความขัดแย้งบางอย่าง ( ไม่แตกต่างจากสิ่งที่เรามีอยู่แล้วสังเกตกับ UTF-8 )

แก้ไข: คำถามนี้ระบุว่า "ตัวละครใหม่นับล้านตัว" ทำให้ง่ายต่อการตอบ:

ไม่ Utf-8 เป็นการเข้ารหัส Unicode Unicode มี codespace ซึ่งอนุญาตให้codepoints 1,114,112 แตกต่างกันและน้อยกว่าหนึ่งล้านถูกกำหนดในปัจจุบัน ดังนั้นจึงเป็นไปไม่ได้ที่จะสนับสนุนตัวละครใหม่หลายล้านตัวใน Unicode ตามคำนิยามไม่มีการเข้ารหัส Unicode สามารถรองรับอักขระได้มากกว่าที่ Unicode กำหนดไว้ (แน่นอนว่าคุณสามารถโกงได้โดยการเข้ารหัสระดับต่อไป - ข้อมูลประเภทใดก็ได้ที่สามารถแสดงด้วยอักขระสองตัวหลังจากทั้งหมด)

ในการตอบคำถามเดิม:

Unicode ไม่รองรับภาษาดังกล่าวรองรับอักขระ - สัญลักษณ์ที่ใช้แสดงภาษาในรูปแบบที่เป็นลายลักษณ์อักษร

ไม่ใช่มนุษย์ทุกภาษาที่มีการเขียนเป็นตัวแทนดังนั้น Unicode จึงไม่สนับสนุนภาษามนุษย์ทุกภาษา นอกจากนี้สัตว์จำนวนมากสื่อสารกัน แต่ไม่มีภาษาเขียน ยกตัวอย่างเช่นปลาวาฬมีรูปแบบของการสื่อสารที่ซับซ้อนพอที่จะเรียกภาษา แต่ไม่มีรูปแบบการเขียนใด ๆ (และไม่สามารถจับได้ด้วยสัทสัทอักษรที่มีอยู่) ดังนั้นแม้แต่ Unicode จึงไม่รองรับภาษาทั้งหมดในโลก

สิ่งที่เลวร้ายยิ่งกว่าคือภาษาของผึ้ง ไม่เพียง แต่มีรูปแบบที่เป็นลายลักษณ์อักษรเท่านั้นไม่สามารถแสดงความหมายในรูปแบบที่เป็นลายลักษณ์อักษรได้อย่างมีความหมาย ภาษาเป็นประเภทของการเต้นรำซึ่งโดยทั่วไปแล้วชี้ไปในทิศทาง แต่ขึ้นอยู่กับตำแหน่งปัจจุบันของดวงอาทิตย์ ดังนั้นการเต้นรำจึงมีคุณค่าทางข้อมูล ณ สถานที่และเวลาที่แสดง การเป็นตัวแทนสัญลักษณ์หรือข้อความจะต้องมีข้อมูล (ที่ตั้งตำแหน่งของดวงอาทิตย์) ซึ่งภาษาของผึ้งในปัจจุบันไม่สามารถแสดง

แม้แต่รูปแบบการสื่อสารที่เป็นลายลักษณ์อักษรหรือเป็นสัญลักษณ์อาจไม่สามารถแสดงเป็น Unicode ได้ ตัวอย่างเช่นภาพหรือการ์ตูนที่ไม่มีคำพูดไม่สามารถรับการสนับสนุนโดย Unicode เนื่องจากชุดของ glyphs ไม่ได้ จำกัด คุณจะสังเกตเห็นการสื่อสารด้วยภาพจำนวนมากในสภาพแวดล้อมระหว่างประเทศเช่นสนามบินดังนั้นจึงเป็นไปไม่ได้เลยที่มนุษย์ต่างดาวที่เดินทางไปในอวกาศจะมีวิวัฒนาการในการใช้ภาษาภาพ

แม้ว่าเผ่าพันธุ์มนุษย์ต่างดาวมีภาษาที่มีระบบการเขียนที่มีชุดสัญลักษณ์ จำกัด ระบบนี้อาจไม่สามารถรองรับใน Unicode ได้ Unicode คาดว่าการเขียนจะเป็นลำดับเชิงเส้นของสัญลักษณ์ สัญกรณ์ดนตรีเป็นตัวอย่างของระบบการเขียนที่ไม่สามารถแสดงใน Unicode ได้อย่างสมบูรณ์เพราะความหมายถูกเข้ารหัสทั้งตัวเลือกของสัญลักษณ์และการจัดวางแนวตั้งและแนวนอน (Unicode สนับสนุนสัญลักษณ์ดนตรีเป็นรายบุคคล แต่ไม่สามารถเข้ารหัสคะแนนได้) การแข่งขันเอเลี่ยนที่สื่อสารโดยใช้ดนตรีโพลีโฟนิก (ไม่ใช่เรื่องแปลก) หรือช่องทางการสื่อสารที่มีความซับซ้อนคล้ายกันอาจมีระบบการเขียนที่ดูเหมือนคะแนนดนตรีและ Unicode ไม่สามารถรองรับสิ่งนี้ได้

แต่ให้เถียงกันเถอะสมมติว่าทุกภาษาแม้แต่ภาษาต่างประเทศสามารถแสดงเป็นลำดับเชิงเส้นของสัญลักษณ์ที่เลือกจากเซต จำกัด Unicode นั้นใหญ่พอสำหรับการรุกรานเอเลี่ยนหรือไม่? ปัจจุบัน Unicode มี codepoints ที่ไม่ได้รับมอบหมายน้อยกว่าหนึ่งล้าน ภาษาจีนมีอักขระนับแสนตัวตามพจนานุกรมภาษาจีนที่ครอบคลุมมากที่สุด (ปัจจุบัน Unicode ไม่สนับสนุนทั้งหมดเป็นอักขระที่ต่างกัน) ดังนั้นเพียงสิบภาษาที่มีความซับซ้อนของจีนจะใช้ Unicode ทั้งหมด บนโลกเรามีระบบการเขียนที่แตกต่างกันหลายร้อย แต่โชคดีที่ส่วนใหญ่เป็นตัวอักษรมากกว่าอุดมคติและดังนั้นจึงมีตัวละครจำนวนน้อย หากทุกภาษาที่เขียนใช้อักษรจีนเช่นเดียวกับยูนิโค้ดคงไม่ใหญ่พอสำหรับโลก การใช้ตัวอักษรมาจากการพูดซึ่งใช้จำนวนหน่วยเสียงที่ จำกัด เท่านั้น แต่นั่นเป็นลักษณะเฉพาะสำหรับสรีรวิทยาของมนุษย์ ดังนั้นแม้แต่ดาวเคราะห์ต่างด้าวเพียงดวงเดียวที่มีระบบการเขียนเชิงอุดมคติเพียงโหลเดียวก็อาจเกินกว่าที่ Unicode สามารถรองรับได้ ตอนนี้ให้พิจารณาว่ามนุษย์ต่างดาวคนนี้ได้รุกรานดาวเคราะห์ดวงอื่นก่อนโลกแล้วหรือยังและรวมถึงระบบการเขียนของพวกเขาในชุดอักขระที่ต้องได้รับการสนับสนุน

การขยายหรือแก้ไขการเข้ารหัสปัจจุบันหรือการแนะนำการเข้ารหัสใหม่จะไม่สามารถแก้ปัญหานี้ได้เนื่องจากข้อ จำกัด อยู่ในจำนวนรหัสจุดที่ Unicode รองรับ

ดังนั้นคำตอบน่าจะเป็นไม่