บรรทัด `uniq 'ของฉันหรือ` sort -u' หายไปไหนด้วยอักขระ Unicode บางตัว

เกิดอะไรขึ้นในข้อมูลโค้ดต่อไปนี้ ฉันไม่ได้รับผลลัพธ์ที่คาดหวัง

ฉันคิดว่ามันเป็นข้อผิดพลาด แต่มันเกิดขึ้นสำหรับ 2 โปรแกรมที่แตกต่างกัน (uniq และ sort) ดังนั้นฉันสงสัยว่ามันเป็นบางสิ่งที่ต้องทำกับ ... อืมฉันไม่รู้ว่า ... ดังนั้นคำถาม

ตัวอย่าง 3 (4 จาก) แรกทำงานได้ แต่ 4 ล้มเหลว!

ฉันคาดว่าจะมีพฤติกรรมแบบเดียวกันสำหรับตัวละครทุกตัว
กล่าวคือ เพื่อพิมพ์ 2 บรรทัด (จากอินพุต 3 บรรทัด) ... แต่ในกรณีที่ 4 ฉันได้รับเพียง 1 บรรทัด (สำหรับทั้งคู่sort -uและuniq); สอง lins ที่เหมือนกันเพิ่งหายไป!

ฉันได้แปลงเอาท์พุท '\ n' เป็นพื้นที่เพื่อความกะทัดรัด

ฉันใช้uniqและเรียงลำดับจาก (GNU coreutils) 7.4 ... ทำงานบน Ubuntu 10.04.3 LTS desktop

สคริปต์:

{
  locale -k LC_COLLATE
  echo
  for c1 in x 〼 ;do 
    for c2 in z 〇 ;do 
      echo -n "asis   : "; echo -e "$c1\n$c2\n$c2"          |tr '\n' ' ';echo
      echo -n "uniq   : "; echo -e "$c1\n$c2\n$c2" |uniq    |tr '\n' ' ';echo
      echo -n "sort -u: "; echo -e "$c1\n$c2\n$c2" |sort -u |tr '\n' ' ';echo
      echo
    done
    echo
  done
}

ผลลัพธ์:

collate-nrules=4
collate-rulesets=""
collate-symb-hash-sizemb=2081
collate-codeset="UTF-8"

asis   : x z z 
uniq   : x z 
sort -u: x z 

asis   : x 〇 〇 
uniq   : x 〇 
sort -u: 〇 x 


asis   : 〼 z z 
uniq   : 〼 z 
sort -u: 〼 z 

asis   : 〼 〇 〇 
uniq   : 〼 
sort -u: 〼 

# In the last example (of 4) where did the '〇' go? .. U+3007 IDEOGRAPHIC NUMBER ZERO
#

เวอร์ชั่นย่อ: การเปรียบเทียบไม่ทำงานในยูทิลิตี้บรรทัดคำสั่ง

อีกรุ่น: strcollฟังก์ชั่นพื้นฐานเพื่อเปรียบเทียบสองสายคือ คำอธิบายไม่เป็นประโยชน์มาก แต่วิธีการดำเนินการเกี่ยวกับความคิดคือการแปลงทั้งสองสตริงเป็นรูปแบบบัญญัติและจากนั้นเปรียบเทียบทั้งสองรูปแบบบัญญัติ ฟังก์ชั่นstrxfrmสร้างรูปแบบบัญญัตินี้

ลองสังเกตรูปแบบบัญญัติของสตริงสองสามข้อ (ด้วย GNU libc ภายใต้ Debian squeeze):

$ export LC_ALL=en_US.UTF-8
$ perl -C255 -MPOSIX -le 'print "$_ ", unpack("h*", strxfrm($_)) foreach @ARGV' b a A à 〼 〇
b d010801020
a c010801020
A c010801090
à 101010102c6b
〼 101010102c6b102c6b102c6b
〇 101010102c6b102c6b102c6b

อย่างที่คุณเห็น〼และ〇มีรูปแบบมาตรฐานที่เหมือนกัน ฉันคิดว่าเป็นเพราะตัวละครเหล่านี้ไม่ได้กล่าวถึงในตารางเปรียบเทียบของen_US.UTF-8สถานที่ อย่างไรก็ตามพวกมันอยู่ในสถานที่ของญี่ปุ่น

$ export LC_ALL=ja_JP.UTF-8
$ perl -C255 -MPOSIX -le 'print "$_ ", unpack("h*", strxfrm($_)) foreach @ARGV' 〼 〇 
〼 303030
〇 3c9b

ซอร์สโค้ดสำหรับข้อมูลโลแคล (ใน Debian squeeze) นั้น/usr/share/i18n/locales/en_USรวม/usr/share/i18n/locales/iso14651_t1_commonอยู่ด้วย ไฟล์นี้ไม่มีรายการU3007หรือหรือU303Cจะไม่รวมอยู่ในช่วงที่ฉันสามารถหาได้

ฉันไม่คุ้นเคยกับกฎในการสร้างคำสั่งเปรียบเทียบแต่จากสิ่งที่ฉันเข้าใจการใช้ถ้อยคำที่เกี่ยวข้องคือ

สัญลักษณ์ UNDEFINED จะถูกตีความว่าเป็นการรวมถึงค่าชุดอักขระที่เข้ารหัสทั้งหมดที่ไม่ได้ระบุอย่างชัดเจนหรือผ่านสัญลักษณ์รูปไข่ (…) หากไม่มีการระบุสัญลักษณ์ UNDEFINED และชุดอักขระที่เข้ารหัสปัจจุบันมีอักขระที่ไม่ได้ระบุไว้ในส่วนนี้ยูทิลิตี้จะออกข้อความเตือนและวางตัวอักษรดังกล่าวไว้ท้ายคำสั่งการจัดเรียงอักขระ

ดูเหมือนว่า Glibc จะไม่สนใจอักขระที่ไม่ได้ระบุแทน ฉันไม่ทราบว่ามีข้อบกพร่องของความเข้าใจเกี่ยวกับข้อมูลจำเพาะ POSIX ของฉันหรือไม่หากฉันพลาดบางสิ่งในการกำหนดสถานที่ของ Glibc หรือหากมีข้อผิดพลาดในคอมไพเลอร์ที่ตั้งของ Glibc

หากต้องการsortสตริง Unicode ที่"ปลอดภัย" อาจดูได้ที่msort:

[... ] Msort ช่วยเพิ่มความยืดหยุ่นในการเลือกเขตข้อมูลคีย์ชนิดการเปรียบเทียบเพิ่มเติมความสามารถในการใช้กฎการจัดเรียงจากตำแหน่งที่ตั้งต่าง ๆ บนคีย์ที่แตกต่างกันความสามารถในการจัดการหมายเลขในระบบตัวเลขที่ไม่ใช่ตะวันตกและตัวเลือกอื่น ๆ ใน GNU sort และ BSD sort ในขณะที่ msort เข้าใจ Unicode, GNU sort และ BSD sort ไม่ [ ... ]

http://www.billposer.org/Software/msort.html