ควรยกเลิกการเข้ารหัสอักขระนอกเหนือจาก UTF-8 (และอาจจะ UTF-16 / UTF-32) หรือไม่

สัตว์เลี้ยงของฉันกำลังมองหาโครงการซอฟต์แวร์จำนวนมากที่มีภูเขาของรหัสสำหรับการสนับสนุนชุดอักขระ อย่าเข้าใจฉันผิดฉันทุกคนเข้ากันได้และฉันดีใจที่ผู้แก้ไขข้อความให้คุณเปิดและบันทึกไฟล์ในชุดอักขระหลายชุด สิ่งที่ทำให้ฉันรำคาญคือการแพร่กระจายของการเข้ารหัสอักขระที่ไม่ใช่สากลนั้นมีชื่อว่า "การสนับสนุน Unicode ที่เหมาะสม" แทนที่จะเป็น "ปัญหา"

ตัวอย่างเช่นสมมติฉันเลือกใน PostgreSQL และสนับสนุนชุดอักขระ PostgreSQL เกี่ยวข้องกับการเข้ารหัสสองประเภท:

• การเข้ารหัสไคลเอ็นต์: ใช้ในการสื่อสารระหว่างไคลเอ็นต์และเซิร์ฟเวอร์
• การเข้ารหัสเซิร์ฟเวอร์: ใช้เพื่อจัดเก็บข้อความภายในฐานข้อมูล

ฉันสามารถเข้าใจได้ว่าทำไมการสนับสนุนการเข้ารหัสลูกค้าจำนวนมากเป็นสิ่งที่ดี ช่วยให้ลูกค้าที่ไม่ทำงานใน UTF-8 สามารถสื่อสารกับ PostgreSQL โดยไม่จำเป็นต้องทำการแปลง สิ่งที่ฉันไม่ได้รับคือ: ทำไม PostgreSQL จึงรองรับการเข้ารหัสเซิร์ฟเวอร์หลายเครื่อง ไฟล์ฐานข้อมูล (เกือบทุกครั้ง) ไม่สามารถใช้งานร่วมกันได้จากรุ่น PostgreSQL หนึ่งไปยังรุ่นถัดไปดังนั้นความเข้ากันได้ข้ามรุ่นจึงไม่ใช่ปัญหาที่นี่

UTF-8 เป็นชุดอักขระมาตรฐานที่เข้ากันได้กับ ASCII เท่านั้นที่สามารถเข้ารหัสรหัสสถานี Unicode ทั้งหมด (ถ้าฉันผิดให้ฉันรู้) ฉันอยู่ในค่ายที่ UTF-8 เป็นชุดตัวละครที่ดีที่สุดแต่ฉันก็ยินดีที่จะใส่ชุดอักขระสากลอื่น ๆ เช่น UTF-16 และ UTF-32

ฉันเชื่อว่าชุดอักขระที่ไม่ใช่สากลควรเลิกใช้แล้ว มีเหตุผลที่น่าสนใจที่พวกเขาไม่ควร?

ตั้งแต่ที่คุณพูดถึง PostgreSQL ฉันสามารถพูดได้ด้วยสิทธิ์บางอย่างว่าเหตุผลหลักที่ทำไมการเข้ารหัสที่ไม่ใช่ UTF8 ฝั่งเซิร์ฟเวอร์ได้รับการสนับสนุนในรายละเอียดเช่นนี้คือญี่ปุ่นต้องการมัน เห็นได้ชัดว่าการแปลงแบบไปกลับที่เหมือนกันระหว่าง Unicode และการเข้ารหัส "ดั้งเดิม" ของญี่ปุ่นนั้นเป็นไปไม่ได้เสมอไปและในบางกรณีตารางการแปลงอาจแตกต่างกันระหว่างผู้ขาย มันงุนงงจริงๆ แต่ก็ชัดเจน (การสนับสนุนชุดอักขระที่กว้างขวางเป็นเหตุผลหนึ่งที่ทำให้ PostgreSQL ได้รับความนิยมในญี่ปุ่น)

เนื่องจากเรากำลังพูดถึงระบบฐานข้อมูลหนึ่งในงานหลักคือเพื่อให้สามารถจัดเก็บและเรียกใช้ข้อมูลได้อย่างน่าเชื่อถือตามที่ผู้ใช้กำหนดดังนั้นการแปลงชุดอักขระที่สูญเสียบางครั้งจะไม่บิน หากคุณกำลังจัดการกับเว็บเบราว์เซอร์กล่าวโดยที่ทุกสิ่งที่สำคัญคือผลลัพธ์นั้นดูดีแล้วคุณอาจหลีกเลี่ยงการสนับสนุนการเข้ารหัสน้อยลง แต่ในระบบฐานข้อมูลคุณมีข้อกำหนดเพิ่มเติม

เหตุผลอื่น ๆ ที่กล่าวถึงในคำตอบอื่น ๆ ก็นำมาใช้เป็นข้อโต้แย้งที่สนับสนุน แต่ตราบใดที่ญี่ปุ่นไม่สามารถรองรับการตั้งค่าตัวอักษรได้

เหตุผลสองประการที่ชัดเจน: ขึ้นอยู่กับข้อมูลที่คุณจัดเก็บการแปลงเป็นรูปแบบที่แตกต่างกันอาจใช้เวลาสักครู่และมีห้องเพิ่มเติม หากคุณกำลังเก็บข้อมูล 400 เมกะไบต์การเพิ่มความต้องการในการจัดเก็บเป็นสองเท่าไม่ใช่เรื่องใหญ่ แต่ถ้าคุณเก็บ 400 เทราไบต์ก็จะเริ่มมีความหมายเพิ่มขึ้นอีกเล็กน้อย การแปลงข้อมูล 400 เทราไบต์จาก (พูด) Shift-JIS เป็น UTF-x อาจใช้เวลาสักครู่เช่นกัน

สิ่งนี้จะกลายเป็นเรื่องยากโดยเฉพาะถ้าคุณมีการรับประกันความพร้อมใช้งาน (เช่น) รับประกันว่าฐานข้อมูลจะพร้อมใช้งานสำหรับทุกคนยกเว้น 10 นาทีจากปีใดก็ตามและคุณมีฐานข้อมูลที่อัปเดตหลายร้อยครั้งต่อวินาที โปรดทราบว่าคุณยังสามารถจัดการ Conversion ที่สำคัญในสถานการณ์เช่นนี้ได้ แต่ก็ไม่ใช่สิ่งที่จะต้องดำเนินการเบา ๆ ในบางกรณีอาจใช้เวลาหลายปีในการวางแผนให้พร้อมสำหรับการแปลง

หากคุณเริ่มต้นด้วยฐานข้อมูลที่ (เช่น) รองรับเฉพาะ ASCII อาจมีเหตุผลที่ดีที่จะโต้แย้งว่ามันสมเหตุสมผลที่จะเพิ่มการสนับสนุนการเข้ารหัสทั้งหมด - แต่ถ้าคุณสนับสนุนแล้วมีน้อยที่จะได้รับจากการลดลง สนับสนุนพวกเขา

โดยเฉพาะอย่างยิ่งโปรดทราบว่าคุณอาจได้รับอะไรข้างทางในการทำให้รหัสง่ายขึ้นหรืออะไรทำนองนั้น พวกเขายังคงต้องการรูทีนการแปลงทั้งหมดเพื่อจัดการกับการแปลงระหว่างไคลเอนต์และเซิร์ฟเวอร์ต่อไป ดังนั้นการทิ้งการสนับสนุนอาจหมายถึงการวางการเรียกฟังก์ชันหนึ่ง (เล็กน้อย) ในเส้นทาง "เขียนไปยังดิสก์" และ "อ่านจากดิสก์" แต่น้อย (ถ้ามี) หากคุณสนับสนุนการเข้ารหัสสองแผ่นบนดิสก์คุณจะไม่ได้รับสิ่งนั้น - คุณยังคงมีการเรียกใช้ฟังก์ชันที่นั่นดังนั้นสิ่งที่คุณต้องทำจริง ๆ ก็คือการ จำกัด ช่วงของการเข้ารหัสที่สนับสนุนโดยฟังก์ชันนั้น

อย่างน้อยถ้าฉันออกแบบสิ่งนี้ฉันอาจจะเขียน core ของฐานข้อมูลเพื่อทำงานใน UCS-4 แล้วมีรูทีนการแปลงระหว่าง core และ disk และระหว่าง core และผู้ใช้ ฉันต้องการใช้ชุดเดียวกันของการปฏิบัติในทั้งสองกรณีเพื่อให้ง่ายเส้นทางที่จะช่วยให้การจัดเก็บดิสก์ที่จะใช้ว่าชุดเดียวกันของการเข้ารหัสเป็นลูกค้าได้รับอนุญาตให้ใช้งาน

มีปัญหาสองสามข้อในการจัดเก็บ UTF-8 บนเซิร์ฟเวอร์เท่านั้น:

1. ขีด จำกัด ของVARCHAR(20)คอลัมน์คืออะไร นั่นคือ 20 ไบต์หรือ 20 "ตัวอักษร" (และใน Unicode สิ่งที่เป็น "ตัวอักษร" เมื่อคุณใช้การรวมตัวอักษรมัดและอื่น ๆ เข้าบัญชี?) CHAR(20)ที่จริงแล้วมันเกี่ยวกับที่ใดที่มันต้องสำรองพื้นที่ทั้งหมดที่เป็นไปได้: ฉันเชื่อใน MySQL มันสงวนจำนวน 4 เท่าของจำนวนไบต์สำหรับคอลัมน์ที่เข้ารหัส UTF-8 (80 ไบต์ดังนั้นCHAR(20)) เพื่อจัดการกรณีที่เลวร้ายที่สุด
2. คุณต้องทำการแปลงการเข้ารหัสอย่างต่อเนื่องระหว่างการเข้ารหัสเซิร์ฟเวอร์และการเข้ารหัสลูกค้าของคุณ คุณสามารถยืนยันว่าคุณต้องการหยุดการสนับสนุนการเข้ารหัสไคลเอนต์หลายรายการเช่นกัน แต่ถ้าคุณไม่ทำเช่นนั้นสตริงทั้งหมดจะต้องถูกแปลงตลอดเวลา หากคุณสามารถจับคู่การเข้ารหัสเซิร์ฟเวอร์และการเข้ารหัสไคลเอนต์การแปลงไม่จำเป็น
3. ตามที่คนอื่น ๆ ระบุไว้ UTF-8 ค่อนข้างมีประสิทธิภาพสำหรับการจัดเก็บข้อความภาษาอังกฤษ แต่ไม่มีประสิทธิภาพมากสำหรับภาษาอื่น - ภาษาเอเชียตะวันออกโดยเฉพาะ คุณสามารถอนุญาตให้ใช้ UTF-16 หรือ UTF-8 ได้ตามความเหมาะสม หรือบีบอัดข้อความ แต่นั่นทำให้การจัดทำดัชนีและการค้นหาไม่มีประสิทธิภาพ

ฉันเห็นด้วยกับคุณแล้ว: การเข้ารหัสแบบดั้งเดิมนั้นส่วนใหญ่ไม่มีจุดหมายและ Unicode นั้นเป็นการเข้ารหัสที่ดีที่สุดสำหรับการใช้งานใหม่ทั้งหมด ถ้าฉันกำลังเขียนเซิร์ฟเวอร์ฐานข้อมูลตั้งแต่ต้นวันนี้ฉันจะสนับสนุน Unicode เท่านั้นและไม่สนับสนุนการเข้ารหัสแบบเดิมเลย

ข้อแตกต่างคือ PostgreSQL และเซิร์ฟเวอร์ฐานข้อมูลอื่น ๆ ส่วนใหญ่ที่ใช้อยู่ในปัจจุบันมีอยู่ก่อนที่ Unicode จะเป็นตัวเลือกที่ทำงานได้ ดังนั้นพวกเขาจึงได้รับการสนับสนุนการเข้ารหัสแบบดั้งเดิม (แน่นอนพวกเขาไม่ได้รับมรดกมาก่อน) และไม่มีจุดใดที่ฉีกรหัสทั้งหมดออกไปด้วยเหตุผลทางอุดมการณ์

การเข้ารหัสที่ไม่ใช่สากล (และโดยเฉพาะไบต์เดียว) มีสถานที่: ในระบบที่:

• มีหน่วยความจำไม่เพียงพอที่จะจัดเก็บฐานข้อมูลอักขระ Unicode
• มีแบบอักษรไบต์เดียวฮาร์ดรหัสใน ROM
• ไม่มีการเข้าถึงอินเทอร์เน็ตเพื่อให้แหล่งที่มาของไฟล์ที่เข้ารหัสแตกต่างกัน

วันนี้เป็นจริงสำหรับอุปกรณ์ฝังตัวบางประเภท แต่บนเดสก์ทอปและในห้องเซิร์ฟเวอร์, การเข้ารหัสที่ไม่ใช่ Unicode ควรจะยาวล้าสมัยโดยขณะนี้

UTF-8 ดีที่สุดสำหรับคุณผู้พูดภาษาอังกฤษที่เป็นกลาง¹ หากคุณเป็นคนญี่ปุ่นตัวละครของคุณประมาณ 99% จะใช้เวลา 3-4 ไบต์แทนที่จะเป็นสองตัวใน UTF-16

ภาษาถิ่นที่ไม่ใช่ละตินประสบกับ UTF-8 ในระดับขนาดมาก อย่าลืมว่าภายในสองสามปีลูกค้าของคุณส่วนใหญ่อาจเป็นคนจีนและคนจีนมีตัวอักษรนับล้าน คุณไม่สามารถรักษามันไว้ได้อย่างมีประสิทธิภาพด้วย UTF-8

มิฉะนั้นผมเกลียดมันเมื่อฉันมีเอกสารข้อความที่ไม่อยู่ใน UTF- บางสิ่งบางอย่าง ฉันมักจะออกนอกเส้นทางของฉันถ้าฉันต้องการการเข้ารหัสที่เหมาะสม ในหนังสือของฉันการเข้ารหัสที่ไม่ใช่ Unicode นั้นตายแล้ว

_{1. อย่าเอาส่วนที่เห็นแก่ตัวเป็นการส่วนตัว ฉันต้องการสร้างภาพประกอบที่มีสีสันและฉันไม่ได้ตั้งใจ}

ยูนิโค้ดเสียพื้นฐานและไม่น่าจะได้รับการแก้ไข มันต้องถูกแทนที่ด้วยสิ่งที่ดีกว่าสิ่งที่เป็นสากลอย่างแท้จริง หากมีสิ่งใดต้องการลดลงก็เป็น Unicode

ตัวอย่างปัญหาเกี่ยวกับ Unicide:

• UTF8 เป็นแฮ็คที่สมเหตุสมผล แต่ซอฟต์แวร์ที่ใช้ UTF16 ส่วนใหญ่เสีย แอพ Windows ส่วนใหญ่ที่รองรับ Unicode ใช้ UTF16 รวมถึงระบบปฏิบัติการของตัวเอง ปัญหาที่พบบ่อยที่สุดไม่รองรับมากกว่าระนาบพื้นฐานเช่นตัวอักษรหลายคำ

• การรวมกันของฮันเป็นหายนะที่ไม่ยอมแพ้ เป็นไปไม่ได้ที่จะผสมข้อความภาษาญี่ปุ่น / จีน / เกาหลีในเอกสารเดียวโดยไม่มีข้อมูลเมตาเพิ่มเติมและยากต่อการตรวจสอบว่าควรใช้แบบอักษรใด

• ตัวละครผสมเป็นความหายนะอีกครั้ง รูปแบบการเข้ารหัสที่สมเหตุสมผลยิ่งขึ้นจะจับคู่อักขระหนึ่งตัวกับโค้ดเดียวซึ่งทำให้สตริงการประมวลผลมีสติค่อนข้างดี Unicode ไม่ Unicode นั้นไม่สอดคล้องกัน - ตัวอักษรฮั่นส่วนใหญ่เป็นชุดค่าผสม แต่ไม่ได้เข้ารหัสเช่นนี้โดยที่ตัวอักษรผสมของยุโรปนั้น

• ชื่อของคนบางคนไม่สามารถเขียนได้อย่างถูกต้องใน Unicode หรือมีแนวโน้มสูงที่จะแสดงอย่างไม่ถูกต้องเนื่องจากปัญหาที่กล่าวถึงข้างต้น สิ่งนี้อาจมีผลกระทบรุนแรงเช่นเมื่อพยายามขึ้นเครื่องบินด้วยหนังสือเดินทางที่ไม่ตรงกับสิ่งที่พิมพ์ (ไม่ถูกต้อง) บนตั๋ว

เนื่องจากปัญหาเหล่านี้และอื่น ๆ ซอฟต์แวร์ที่ไม่ใช่ภาษาอังกฤษจำนวนมากไม่สามารถใช้ Unicode และอาศัยการเข้ารหัสอักขระท้องถิ่น นี่เป็นเรื่องปกติโดยเฉพาะอย่างยิ่งกับซอฟต์แวร์ญี่ปุ่นและจีน

ตามหลักแล้ว Unicode ควรถูกคัดค้าน การเข้ารหัสอักขระ TRON เป็นสิ่งที่ดีมากสำหรับ Unicode และสามารถใช้งานร่วมกับซอฟต์แวร์ที่มีอยู่ซึ่งไม่ได้รับการปรับปรุง

อาจจะเป็นการเขียน แต่ไม่ใช่สำหรับการอ่าน

มีเนื้อหาที่มีอยู่จำนวนมากที่ใช้การเข้ารหัสเหล่านั้นและการเข้ารหัสบางอย่างเช่น base64 ไม่ไปที่ใดก็ได้เพราะโปรโตคอลข้อความบางฉบับกำหนดให้เป็นวิธีในการฝังข้อมูลไบนารี

ปัญหาที่แท้จริงคือการตรวจจับการเข้ารหัสอัตโนมัติซึ่งนำไปสู่ช่องโหว่ด้านความปลอดภัย ฉันจะไม่รังเกียจที่จะเห็นการเข้ารหัสที่คลุมเครือเช่นUTF-7เพียงแค่หายไป

การตรวจจับอัตโนมัติยังมีแนวโน้มที่จะจัดการกับเนื้อหาที่สร้างขึ้นโดยการเรียงสตริงไบต์อย่างไร้เดียงสาอย่างไร้เดียงสา

ฉันยอมรับได้ว่าการเข้ารหัสอักขระเริ่มต้นสำหรับฐานข้อมูลและแอปพลิเคชันใหม่ควรเป็นตัวแปร UTF บางประเภท ฉันจะเลือกใช้ UTF-16 เป็นการส่วนตัวเนื่องจากดูเหมือนจะเป็นการแลกเปลี่ยนที่สมเหตุสมผลเกี่ยวกับพื้นที่และความซับซ้อน (มากกว่า UTF-8) ที่กล่าวว่าการเข้ารหัสอักขระบางตัวยังคงสมเหตุสมผลในบางกรณี

• หากคุณกำลังจัดเก็บ / ถ่ายโอนข้อความ base64 คุณจะต้องใช้ ASCII เท่านั้นและคุณสามารถทำได้ด้วยโปรโตคอลที่เข้ารหัส 7 บิตเช่นอีเมล ค่าใช้จ่ายเพิ่มเติมของ UTF-8 ไม่จำเป็น
• ไฟล์และข้อมูลที่มีอยู่จำนวนมากถูกสร้างขึ้นจากการเข้ารหัสอักขระที่เก่ากว่าเหล่านี้ความสามารถในการอ่านเป็นสิ่งสำคัญ

โปรดทราบว่ามีอัลกอริทึมการทำให้เป็นมาตรฐาน UTF 4 แบบ หากคุณมีความกังวลเกี่ยวกับตัวละครหลาย codepoint คุณสามารถใช้หนึ่งในสองขั้นตอนวิธีการทำให้ปกติที่ยุบลงในตัวอักษรเดียว codepoint เทียบเท่า ความแตกต่างระหว่างพวกเขาจะทำอย่างไรกับความเท่าเทียมกันตรรกะกับความสมดุลทางกายภาพของตัวละคร