แปลงไฟล์จำนวนมากเป็นการเข้ารหัสเดียวกัน

ฉันต้องการตรวจสอบให้แน่ใจว่าไฟล์ทั้งหมดของฉันได้รับการเข้ารหัสอย่างถูกต้องใน UTF-8 ในที่เก็บโครงการขนาดใหญ่ มีเครื่องมือสำหรับสิ่งนั้นหรือวิธีการที่จะใช้เครื่องมือ unix หรือไม่?

โดยทั่วไปไม่มีวิธีการทำเช่นนี้ UTF-8 ไม่มี "หมายเลขมายากล" หรือเครื่องหมายดังนั้นคุณสามารถพิสูจน์ได้ว่าไฟล์ไม่ได้อยู่ใน UTF-8 (หากมีลำดับที่ไม่ถูกต้อง) แต่ไม่ใช่ว่าเป็น

อย่างไรก็ตามคุณสามารถใช้วิธีแก้ปัญหาได้ สิ่งที่ใช้งานได้จริงนั้นขึ้นอยู่กับข้อมูลของคุณ

แนวคิดหนึ่ง:

• ทำรายการไฟล์ทั้งหมดที่เป็นไฟล์ข้อความและมีอักขระที่ไม่ใช่ ASCII ส่วนที่สองนั้นใช้ perl หรือคล้ายกันได้ง่าย สิ่งแรกจะขึ้นอยู่กับไฟล์ที่คุณมี Unix fileจะตรวจสอบอักขระที่ไม่ใช่ ASCII ด้วย แต่มีความน่าเชื่อถือน้อยกว่า (ตรวจสอบเฉพาะจุดเริ่มต้นของไฟล์)
• หากรายการมีขนาดเล็กตรวจสอบไฟล์ด้วยตนเอง มิฉะนั้นตรวจสอบสิ่งที่ถูกต้อง UTF-8 (อีกครั้ง perl มีโมดูลสำหรับสิ่งนี้หรือใช้เครื่องมือเช่นiconvหรือrecode) ไฟล์ UTF-8 ที่ถูกต้องน่าจะโอเค ส่วนที่เหลือจะต้องได้รับการตรวจสอบด้วยมือ (เว้นแต่คุณจะทราบวิธีการเข้ารหัสอย่างชัดเจน)