ฉันสงสัยว่าไฟล์ข้อความบางไฟล์เก็บวิธีการเข้ารหัสตามเนื้อหาข้อความไว้เพื่อถอดรหัสในภายหลังหรือไม่
คำตอบของ Mark Szymanski นั้นถูกต้อง - ไม่มีข้อมูลการเข้ารหัสที่ชัดเจนในไฟล์ข้อความธรรมดา - นั่นคือคำจำกัดความของ "ไฟล์ข้อความธรรมดา", "ธรรมดา" หมายถึงข้อเท็จจริงที่ว่าไม่มีเมตาดาต้าในไฟล์
อย่างไรก็ตามบางแอพพลิเคชั่นจะวางเครื่องหมายคำสั่ง (BOM) ในไฟล์ข้อความที่เข้ารหัสเป็น UTF-16 หรือ UTF-32 / UCS-4 BOM ไม่ได้มีไว้เพื่อระบุการเข้ารหัส (มันบ่งบอกถึงลำดับไบต์ตามที่ชื่อระบุไว้) แต่แอปพลิเคชันจำนวนมากจะใช้การแสดงตนของ BOM เพื่อรับรู้ UTF-16 / UTF-32 ดังนั้นจึงทำหน้าที่เป็นตัวบ่งชี้การเข้ารหัส
หรือเป็นหน้าที่ของผู้ดูข้อความในการเดาวิธีการเข้ารหัสสำหรับไฟล์ข้อความที่กำหนดและการคาดเดาอาจไม่ถูกต้องเสมอไป? ถ้าใช่ตัวแสดงข้อความจะเดาได้อย่างไร
ใช่โปรแกรมอ่านข้อความสามารถเดาได้เท่านั้น โดยปกติจะใช้การวิเคราะห์พฤติกรรมบางอย่าง:
- ในการเข้ารหัสบางส่วน (โดยเฉพาะอย่างยิ่งใน UTF-8) ลำดับไบต์ทั้งหมดไม่ถูกต้อง ดังนั้นแอปพลิเคชันสามารถลองถอดรหัสไฟล์เป็น UTF-8 ได้ หากสำเร็จไฟล์อาจเป็น UTF-8 ถ้ามันล้มเหลวโดยการหาลำดับไบต์ที่ไม่ถูกต้องมันจะไม่ นี่คือวิธีการ
vimทำงานเช่นโดยค่าเริ่มต้น: มันจะพยายามใช้ UTF-8 ก่อนเมื่ออ่านไฟล์; หากล้มเหลวก็จะกลับไปที่ ISO-8859-1
- ในการเข้ารหัส 8 บิตที่เก่ากว่าส่วนใหญ่ลำดับไบต์ใด ๆ ที่ถูกต้อง ในกรณีนี้บางครั้งคุณสามารถเดาการเข้ารหัสโดยดูที่ฮิสโทแกรมของไบต์ (ความถี่ของลำดับไบต์ / ไบต์ที่แตกต่างกัน) Internet Explorer เคยทำเช่นนี้เพื่อ "เดา" การเข้ารหัสของหน้า อย่างไรก็ตามนี่เป็นข้อผิดพลาดได้ง่ายดังนั้นโปรแกรมบางโปรแกรมจึงทำเช่นนี้
ในกรณีส่วนใหญ่โปรแกรมต้องได้รับการบอกกล่าวอย่างชัดเจนว่าการเข้ารหัสไฟล์ข้อความคืออะไรมิฉะนั้นจะไม่สามารถอ่านได้อย่างถูกต้อง