ทำไม wc -m และ wc -c ต่างกัน?

ในฐานะโปรแกรมเมอร์ C ฉันรู้สึกประหลาดใจที่เห็นว่าwc -c(ซึ่งนับจำนวนไบต์) และwc -m(ซึ่งนับจำนวนอักขระ) ผลลัพธ์ผลลัพธ์ที่แตกต่างกันมากสำหรับไฟล์ข้อความขนาดยาวของฉัน ฉันได้รับการบอกเสมอว่าsizeof(char)มี 1 ไบต์

qdii@nomada ~/Documents $ wc -c sentences.csv
102990983 sentences.csv
qdii@nomada ~/Documents $ wc -m sentences.csv
89023123 sentences.csv

คำอธิบายใด ๆ

charพิมพ์ในซีเป็นหนึ่งไบต์ แต่มันมีไว้สำหรับอักขระ ASCII; มีการเข้ารหัสความกว้างของตัวแปรเช่น UTF-8 ที่สามารถรับได้หลายไบต์ต่อตัวอักษร wcใช้mbrtowc(3)ฟังก์ชันเพื่อถอดรหัสลำดับหลายไบต์ขึ้นอยู่กับสถานที่ตั้งโดยLC_CTYPEตัวแปรสภาพแวดล้อม หากคุณตั้งค่าภาษาให้ถูกต้องคุณควรได้ผลลัพธ์เดียวกันทุกกรณี ตัวอย่างเช่น:

qdii@nomada ~/Documents $ LC_CTYPE="C" wc -m sentences.csv
102990983 sentences.csv

เดาสิ

1. โลแคลของคุณใช้การเข้ารหัส UTF-8 และ

2. ประมาณ 10% ของไฟล์ของคุณประกอบด้วยอักขระที่ต้องใช้อ็อกเท็ตมากกว่าหนึ่งตัวในการเข้ารหัสเป็น UTF-8

โดยวิธีการจากman wc:

   -c, --bytes
          print the byte counts

   -m, --chars
          print the character counts