ไลบรารี่มาตรฐาน C ++ รองรับ Unicode ได้ดีแค่ไหน?
ชะมัด.
การสแกนอย่างรวดเร็วผ่านสิ่งอำนวยความสะดวกห้องสมุดที่อาจให้การสนับสนุน Unicode ให้ฉันรายการนี้:
- ไลบรารีสตริง
- ห้องสมุดรองรับหลายภาษา
- ไลบรารีอินพุต / เอาต์พุต
- ไลบรารีนิพจน์ปกติ
ฉันคิดว่าทั้งหมด แต่คนแรกให้การสนับสนุนที่น่ากลัว ฉันจะกลับไปที่รายละเอียดเพิ่มเติมหลังจากผ่านคำถามอื่นของคุณอย่างรวดเร็ว
ไม่std::stringทำในสิ่งที่ควร?
ใช่. ตามมาตรฐาน C ++ นี่คือสิ่งที่std::stringและพี่น้องควรทำ:
เท็มเพลตคลาสbasic_stringอธิบายถึงวัตถุที่สามารถเก็บลำดับที่ประกอบด้วยจำนวน char-like object ที่แตกต่างกันจำนวนหนึ่งด้วยองค์ประกอบแรกของลำดับที่ตำแหน่งศูนย์
ดีstd::stringไม่ว่าเพียงแค่ปรับ นั่นมีฟังก์ชั่นเฉพาะ Unicode หรือไม่? เลขที่
ควรเป็น? อาจจะไม่. std::stringเป็นไปตามลำดับของcharวัตถุ นั่นเป็นประโยชน์ สิ่งเดียวที่น่ารำคาญก็คือมันเป็นมุมมองที่ต่ำมากของข้อความและ C ++ มาตรฐานไม่ได้ให้มุมมองที่สูงกว่า
ฉันจะใช้มันได้อย่างไร
ใช้เป็นลำดับของcharวัตถุ การแกล้งทำเป็นว่ามันเป็นเรื่องอื่นที่ต้องจบลงด้วยความเจ็บปวด
ปัญหาที่อาจเกิดขึ้นอยู่ที่ไหน
ทั่วทุกสถานที่? มาดูกัน...
ไลบรารีสตริง
ห้องสมุดสตริงให้เราbasic_stringซึ่งเป็นเพียงลำดับของสิ่งที่มาตรฐานเรียกว่า "วัตถุคล้ายถ่าน" ฉันเรียกพวกเขาว่าหน่วยรหัส หากคุณต้องการมุมมองระดับสูงของข้อความนี่ไม่ใช่สิ่งที่คุณกำลังมองหา นี่คือมุมมองของข้อความที่เหมาะสมสำหรับการทำให้เป็นอนุกรม / deserialization / storage
นอกจากนี้ยังมีเครื่องมือบางอย่างจากห้องสมุด C ที่สามารถนำมาใช้เพื่อลดช่องว่างระหว่างโลกแคบและโลก Unicode นี้c16rtomb/ mbrtoc16และ/c32rtombmbrtoc32
ห้องสมุดรองรับหลายภาษา
ห้องสมุดการแปลยังคงเชื่อว่าหนึ่งใน "วัตถุที่มีลักษณะคล้ายถ่าน" หนึ่งในนั้นมีค่าเท่ากับ "อักขระ" หนึ่งตัว แน่นอนว่ามันโง่และทำให้มันเป็นไปไม่ได้ที่จะได้รับสิ่งต่าง ๆ มากมายทำงานอย่างถูกต้องนอกเหนือจากชุดย่อยของ Unicode เช่น ASCII
ลองพิจารณาตัวอย่างเช่นสิ่งที่มาตรฐานเรียกว่า "ความสะดวกสบาย" ใน<locale>ส่วนหัว:
template <class charT> bool isspace (charT c, const locale& loc);
template <class charT> bool isprint (charT c, const locale& loc);
template <class charT> bool iscntrl (charT c, const locale& loc);
// ...
template <class charT> charT toupper(charT c, const locale& loc);
template <class charT> charT tolower(charT c, const locale& loc);
// ...
คุณคาดหวังว่าฟังก์ชั่นใด ๆ เหล่านี้จะจัดหมวดหมู่พูดอย่างถูกต้อง U + 1F34C ʙᴀɴᴀɴᴀเช่นเดียวกับในu8"🍌"หรือu8"\U0001F34C"อย่างไร มันไม่มีทางที่จะทำงานได้เพราะฟังก์ชั่นเหล่านั้นใช้หน่วยรหัสเดียวเป็นอินพุต
สิ่งนี้สามารถทำงานกับโลแคลที่เหมาะสมหากคุณใช้char32_tเท่านั้น: U'\U0001F34C'เป็นหน่วยรหัสเดียวใน UTF-32
อย่างไรก็ตามนั่นก็หมายความว่าคุณจะได้รับการแปลงแบบง่าย ๆ ด้วยtoupperและtolowerเท่านั้นซึ่งไม่ดีพอสำหรับบางภาษาเยอรมัน: "ß" พิมพ์ใหญ่เป็น "SS" ☦ แต่toupperสามารถส่งคืนหน่วยอักขระได้หนึ่งหน่วยเท่านั้น
ขั้นต่อไปwstring_convert/ wbuffer_convertและการแปลงรหัสมาตรฐานเป็นส่วน
wstring_convertจะใช้ในการแปลงระหว่างสตริงในการเข้ารหัสที่กำหนดให้เป็นสตริงในการเข้ารหัสที่กำหนดอื่น มีสองประเภทสตริงที่เกี่ยวข้องในการแปลงนี้ซึ่งมาตรฐานเรียกสตริงไบต์และสตริงกว้าง เนื่องจากข้อกำหนดเหล่านี้ทำให้เข้าใจผิดจริงๆฉันจึงต้องการใช้ "ต่อเนื่อง" และ "ดีซีเรียลไลซ์" ตามลำดับแทน†
การเข้ารหัสการแปลงระหว่างมีการตัดสินใจโดย codecvt (แง่โค้ด Conversion) wstring_convertผ่านเป็นอาร์กิวเมนต์ชนิดแม่แบบ
wbuffer_convertดำเนินการฟังก์ชั่นที่คล้ายกัน แต่เป็นบัฟเฟอร์กระแสกว้าง deserialized ที่ห่อบัฟเฟอร์กระแสไบต์อนุกรม I / O ใด ๆ จะดำเนินการผ่านบัฟเฟอร์กระแสไบต์พื้นฐานที่มีการแปลงไปและกลับจากการเข้ารหัสที่กำหนดโดยอาร์กิวเมนต์ codecvt การเขียนซีเรียลไลซ์ลงในบัฟเฟอร์นั้นจากนั้นเขียนจากมันและการอ่านจะอ่านลงในบัฟเฟอร์และจากนั้นทำการดีซีเรียลไลซ์
มาตรฐานการให้บางส่วนแม่แบบระดับ codecvt สำหรับใช้กับสิ่งอำนวยความสะดวกเหล่านี้: codecvt_utf8, codecvt_utf16, codecvt_utf8_utf16และบางส่วนcodecvtเฉพาะด้าน ร่วมกัน facets มาตรฐานเหล่านี้ให้การแปลงต่อไปนี้ทั้งหมด (หมายเหตุ: ในรายการต่อไปนี้การเข้ารหัสทางด้านซ้ายจะเป็นสตริง / streambuf ที่ต่อเนื่องกันเสมอและการเข้ารหัสทางด้านขวาจะเป็นสตริง / streambuf ที่ดีซีเรียลไลซ์เสมอซึ่งเป็นมาตรฐานที่อนุญาตการแปลงในทั้งสองทิศทาง)
- UTF-8 ↔ UCS-2 ด้วย
codecvt_utf8<char16_t>, และcodecvt_utf8<wchar_t>ที่ไหนsizeof(wchar_t) == 2;
- UTF-8 ↔ UTF-32
codecvt_utf8<char32_t>, codecvt<char32_t, char, mbstate_t>และcodecvt_utf8<wchar_t>ที่sizeof(wchar_t) == 4;
- UTF-16 ↔ UCS-2 ด้วย
codecvt_utf16<char16_t>, และcodecvt_utf16<wchar_t>ที่ไหนsizeof(wchar_t) == 2;
- UTF-16 ↔ UTF-32 ด้วย
codecvt_utf16<char32_t>, และcodecvt_utf16<wchar_t>ที่ไหนsizeof(wchar_t) == 4;
- UTF-8 ↔ UTF-16
codecvt_utf8_utf16<char16_t>, codecvt<char16_t, char, mbstate_t>และcodecvt_utf8_utf16<wchar_t>ที่sizeof(wchar_t) == 2;
- แคบ↔กว้างด้วย
codecvt<wchar_t, char_t, mbstate_t>
- ไม่มี-op
codecvt<char, char, mbstate_t>กับ
หลายสิ่งเหล่านี้มีประโยชน์ แต่มีสิ่งที่น่าอึดอัดใจอยู่มากมายที่นี่
ก่อนอื่น - ตัวแทนระดับสูงศักดิ์สิทธิ์! รูปแบบการตั้งชื่อนั้นยุ่ง
จากนั้นมีการสนับสนุน UCS-2 มากมาย UCS-2 เป็นการเข้ารหัสจาก Unicode 1.0 ที่ถูกแทนที่ในปี 1996 เพราะรองรับเฉพาะเครื่องบินแบบหลายภาษาขั้นพื้นฐานเท่านั้น เหตุใดคณะกรรมการจึงคิดว่าเป็นที่น่าพอใจที่จะให้ความสำคัญกับการเข้ารหัสที่ถูกแทนที่เมื่อ 20 ปีก่อนฉันไม่รู้‡ มันไม่เหมือนกับการรองรับการเข้ารหัสเพิ่มเติมที่ไม่ดีหรืออะไรก็ตาม แต่ UCS-2 ปรากฏบ่อยเกินไปที่นี่
ฉันจะบอกว่าchar16_tมีความหมายชัดเจนสำหรับการจัดเก็บหน่วยรหัส UTF-16 อย่างไรก็ตามนี่เป็นส่วนหนึ่งของมาตรฐานที่คิดเป็นอย่างอื่น codecvt_utf8<char16_t>ไม่มีอะไรเกี่ยวข้องกับ UTF-16 ตัวอย่างเช่นwstring_convert<codecvt_utf8<char16_t>>().to_bytes(u"\U0001F34C")จะคอมไพล์ได้ดี แต่จะล้มเหลวโดยไม่มีเงื่อนไข: อินพุตจะถูกใช้เป็นสตริง UCS-2 u"\xD83C\xDF4C"ซึ่งไม่สามารถแปลงเป็น UTF-8 ได้เนื่องจาก UTF-8 ไม่สามารถเข้ารหัสค่าใด ๆ ในช่วง 0xD800-0xDFFF
ยังคงอยู่ที่ด้านหน้า UCS-2 ไม่มีวิธีการอ่านจากสตรีม UTF-16 ไบต์ไปยังสตริง UTF-16 ด้วย facets เหล่านี้ หากคุณมีลำดับ UTF-16 ไบต์คุณจะไม่สามารถทำการ deserialize ให้เป็นสตริงchar16_tได้ นี่เป็นเรื่องที่น่าแปลกใจเพราะมันเป็นการแปลงอัตลักษณ์ที่มากหรือน้อย แม้ว่าที่น่าแปลกใจมากขึ้นคือความจริงที่ว่ามีการสนับสนุนการดีซีเรียลไลซ์จากสตรีม UTF-16 ไปเป็นสตริง UCS-2 ด้วยcodecvt_utf16<char16_t>ซึ่งจริงๆแล้วเป็นการแปลงที่สูญเสียไป
การสนับสนุน UTF-16-as-bytes นั้นค่อนข้างดี แต่มันรองรับการตรวจจับ endianess จาก BOM หรือเลือกอย่างชัดเจนในโค้ด นอกจากนี้ยังรองรับการผลิตผลผลิตที่มีและไม่มี BOM
มีความเป็นไปได้ในการแปลงที่น่าสนใจอีกมากที่ขาดไป ไม่มีวิธีใดในการดีซีเรียลไลซ์จากสตรีมหรือสตริง UTF-16 ลงในสตริง UTF-8 เนื่องจาก UTF-8 ไม่ได้รับการสนับสนุนในรูปแบบที่ดีซีเรียลไลซ์
และที่นี่โลกแคบ / กว้างแยกจากโลก UTF / UCS อย่างสมบูรณ์ ไม่มีการแปลงระหว่างการเข้ารหัสแบบแคบ / กว้างแบบเก่ากับการเข้ารหัสแบบ Unicode
ไลบรารีอินพุต / เอาต์พุต
ไลบรารี I / O สามารถใช้เพื่ออ่านและเขียนข้อความในการเข้ารหัส Unicode โดยใช้wstring_convertและwbuffer_convertสิ่งอำนวยความสะดวกที่อธิบายไว้ข้างต้น ฉันไม่คิดว่าจะมีอะไรอีกมากมายที่จะต้องได้รับการสนับสนุนจากห้องสมุดมาตรฐานนี้
ไลบรารีนิพจน์ปกติ
ฉันได้อธิบายเกี่ยวกับปัญหากับC ++ regexes และ Unicodeใน Stack Overflow มาก่อน ฉันจะไม่ทำซ้ำจุดเหล่านี้ทั้งหมด แต่เพียงระบุว่า C ++ regexes ไม่มีการสนับสนุน Unicode ระดับ 1 ซึ่งเป็นขั้นต่ำที่เปลือยเปล่าเพื่อให้สามารถใช้งานได้โดยไม่ต้องใช้ UTF-32 ทุกที่
แค่นั้นแหละ?
ใช่แค่นั้นแหละ นั่นคือฟังก์ชั่นที่มีอยู่ มีฟังก์ชัน Unicode มากมายที่ไม่สามารถมองเห็นได้เช่นการทำให้เป็นมาตรฐานหรืออัลกอริทึมการแบ่งส่วนข้อความ
U + 1F4A9 มีวิธีใดบ้างที่จะได้รับการสนับสนุน Unicode ที่ดีขึ้นใน C ++?
สงสัยปกติ: ห้องไอซียูและBoost.Locale
string สตริงไบต์ไม่น่าแปลกใจคือสตริงไบต์เช่นcharวัตถุ อย่างไรก็ตามแตกต่างจากตัวอักษรสตริงกว้างซึ่งมักจะเป็นอาร์เรย์ของwchar_tวัตถุ "สตริงกว้าง" ในบริบทนี้ไม่จำเป็นต้องเป็นสตริงของwchar_tวัตถุ ในความเป็นจริงมาตรฐานไม่ได้กำหนดอย่างชัดเจนว่า "wide string" หมายถึงอะไรดังนั้นเราจึงเหลือที่จะเดาความหมายจากการใช้งาน เนื่องจากคำศัพท์มาตรฐานนั้นเลอะเทอะและสับสนฉันจึงใช้ชื่อของฉันเองในความชัดเจน
การเข้ารหัสเช่น UTF-16 สามารถจัดเก็บเป็นลำดับของchar16_tซึ่งไม่มีความเอนเอียง หรือพวกเขาสามารถเก็บไว้เป็นลำดับของไบต์ซึ่งมี endianness (ไบต์คู่ต่อเนื่องแต่ละคู่สามารถแสดงchar16_tค่าที่แตกต่างกันขึ้นอยู่กับ endianness) มาตรฐานรองรับทั้งสองรูปแบบเหล่านี้ ลำดับของchar16_tมีประโยชน์มากสำหรับการจัดการภายในในโปรแกรม ลำดับของไบต์เป็นวิธีการแลกเปลี่ยนสตริงดังกล่าวกับโลกภายนอก คำที่ฉันจะใช้แทน "ไบต์" และ "กว้าง" จึงเป็น "อนุกรม" และ "ดีซีเรียลไลซ์"
‡หากคุณกำลังจะพูดว่า "แต่ใช้ Windows!" ถือของคุณ🐎🐎 Windows ทุกรุ่นตั้งแต่ Windows 2000 ใช้ UTF-16
☦ใช่ฉันรู้เกี่ยวกับgroßes Eszett (ẞ) แต่แม้ว่าคุณจะเปลี่ยนสถานที่เยอรมันทั้งหมดในชั่วข้ามคืนเพื่อรับßตัวพิมพ์ใหญ่เป็นẞยังมีอีกหลายกรณีที่สิ่งนี้จะล้มเหลว ลองใช้ตัวพิมพ์ใหญ่ U + FB00 ʟᴀᴛɪɴsᴍᴀʟʟʟɪɢᴀᴛᴜʀᴇғғ ไม่มีʟᴀᴛɪɴᴄᴀᴘɪᴛᴀʟʟɪɢᴀᴛᴜʀᴇғғ; มันเป็นตัวพิมพ์ใหญ่ถึงสอง Fs หรือ U + 01F0 ʟᴀᴛɪɴsᴍᴀʟʟʟᴇᴛᴛᴇʀᴊᴡɪᴛʜᴄᴀʀᴏɴ; ไม่มีทุน precomposed; มันเป็นตัวพิมพ์ใหญ่ถึงเมืองหลวง J และรอนรวมกัน