วิธีที่สวยงามในการค้นหาไฟล์ UTF-8 ด้วย BOM?

สำหรับวัตถุประสงค์ในการดีบักฉันจำเป็นต้องค้นหาไดเร็กทอรีซ้ำสำหรับไฟล์ทั้งหมดที่ขึ้นต้นด้วยเครื่องหมายคำสั่งไบต์ UTF-8 (BOM) โซลูชันปัจจุบันของฉันคือเชลล์สคริปต์แบบธรรมดา:

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

หรือหากคุณต้องการหนึ่งบรรทัดสั้น ๆ ที่อ่านไม่ได้:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

ใช้ไม่ได้กับชื่อไฟล์ที่มีตัวแบ่งบรรทัด แต่ไม่ควรคาดหวังไฟล์ดังกล่าว

มีวิธีแก้ปัญหาที่สั้นกว่าหรือสวยงามกว่านี้ไหม?

มีโปรแกรมแก้ไขข้อความหรือมาโครที่น่าสนใจสำหรับโปรแกรมแก้ไขข้อความหรือไม่?

แล้วคำสั่งง่ายๆที่ไม่เพียงแค่ค้นหา แต่ยังล้าง BOM ที่น่ารังเกียจ? :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

ฉันชอบ "ค้นหา" :)

คำเตือนข้างต้นจะแก้ไขไฟล์ไบนารีที่มีอักขระสามตัวดังกล่าว

หากคุณต้องการเพียงแค่แสดงไฟล์ BOM ให้ใช้ไฟล์นี้:

grep -rl $'\xEF\xBB\xBF' .

วิธีที่ดีที่สุดและง่ายที่สุดใน Windows:

Total Commander →ไปที่ root dir ของโปรเจ็กต์→ค้นหาไฟล์ ( Alt+ F7) →ประเภทไฟล์ *. * →ค้นหาข้อความ "EF BB BF" →เลือกช่องทำเครื่องหมาย 'Hex' →ค้นหา

และคุณจะได้รับรายชื่อ :)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

โซลูชันส่วนใหญ่ที่ให้ไว้ข้างต้นจะทดสอบมากกว่าบรรทัดแรกของไฟล์แม้ว่าจะมีบางส่วน (เช่นโซลูชันของ Marcus) ก็กรองผลลัพธ์ โซลูชันนี้จะทดสอบเฉพาะบรรทัดแรกของแต่ละไฟล์ดังนั้นจึงควรเร็วกว่าเล็กน้อย

หากคุณยอมรับผลบวกเท็จ (ในกรณีที่มีไฟล์ที่ไม่ใช่ข้อความหรือในกรณีที่ไม่น่าจะมี ZWNBSP อยู่ตรงกลางไฟล์) คุณสามารถใช้ grep:

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

ฉันจะใช้สิ่งที่ชอบ:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

ซึ่งจะช่วยให้มั่นใจได้ว่า BOM เกิดขึ้นโดยเริ่มจากไบต์แรกของไฟล์

คุณสามารถใช้grepเพื่อค้นหาพวกมันและ Perl เพื่อตัดออกได้ดังนี้:

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

สำหรับผู้ใช้ Windows โปรดดูสิ่งนี้ (สคริปต์ PHP ที่ดีสำหรับการค้นหาBOMในโครงการของคุณ)

วิธีแก้ปัญหามากเกินไปคือphptags(ไม่ใช่viเครื่องมือที่มีชื่อเดียวกัน) ซึ่งมองหาสคริปต์ PHP โดยเฉพาะ:

phptags --warn ./

จะแสดงผลลัพธ์ดังนี้:

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

และ--whitespaceโหมดนี้จะแก้ไขปัญหาดังกล่าวโดยอัตโนมัติ (เรียกซ้ำ แต่ยืนยันว่าจะเขียนสคริปต์. php เท่านั้น)

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 ใส่ null \ 0 ระหว่างชื่อไฟล์แต่ละชื่อแทนที่จะใช้บรรทัดใหม่
• xargs -0 คาดหวังอาร์กิวเมนต์ที่คั่นด้วยค่าว่างแทนการแยกบรรทัด
• grep -l แสดงรายการไฟล์ที่ตรงกับนิพจน์ทั่วไป
• regex ^\xeff\xbb\xbfไม่ถูกต้องทั้งหมดเนื่องจากจะจับคู่ไฟล์ UTF-8 ที่ไม่ใช่ BOMed หากมีช่องว่างความกว้างเป็นศูนย์ที่จุดเริ่มต้นของบรรทัด

ฉันใช้สิ่งนี้เพื่อแก้ไขไฟล์ JavaScript เท่านั้น:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

หากคุณกำลังมองหาไฟล์ UTF คำสั่ง file จะใช้งานได้ มันจะบอกว่าการเข้ารหัสของไฟล์คืออะไร หากมีอักขระที่ไม่ใช่ ASCII อยู่ในนั้นจะมี UTF

file *.php | grep UTF

แม้ว่าจะไม่สามารถทำงานซ้ำได้ คุณสามารถปรับแต่งคำสั่งแฟนซีเพื่อทำให้มันวนซ้ำได้ แต่ฉันเพิ่งค้นหาแต่ละระดับทีละรายการดังต่อไปนี้จนกว่าฉันจะหมดเลเวล

file */*.php | grep UTF