จะค้นหาการเข้ารหัสไฟล์ผ่านสคริปต์บน Linux ได้อย่างไร

ฉันต้องการค้นหาการเข้ารหัสของไฟล์ทั้งหมดที่อยู่ในไดเรกทอรี มีวิธีหาการเข้ารหัสที่ใช้หรือไม่

fileคำสั่งจะไม่สามารถที่จะทำเช่นนี้

การเข้ารหัสที่ฉันสนใจคือ: ISO-8859-1 หากการเข้ารหัสเป็นอย่างอื่นฉันต้องการย้ายไฟล์ไปยังไดเรกทอรีอื่น

encaเสียงเหมือนคุณกำลังมองหา สามารถคาดเดาและแปลงระหว่างการเข้ารหัสได้ เพียงแค่ดูที่หน้าคน

หรือล้มเหลวนั้นใช้file -i(linux) หรือfile -I(osx) นั่นจะส่งข้อมูลประเภท MIME สำหรับไฟล์ซึ่งจะรวมถึงการเข้ารหัสชุดอักขระ ฉันพบman-pageสำหรับมันเช่นกัน :)

file -bi <file name>

หากคุณต้องการทำสิ่งนี้เพื่อกลุ่มไฟล์

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - ไลบรารีตัวตรวจจับการเข้ารหัสที่พอร์ตจาก Mozilla

การใช้งาน:

~> uchardet file.java 
UTF-8

ลีนุกซ์รุ่นต่าง ๆ (Debian / Ubuntu, OpenSuse-packman, ... ) จัดเตรียมไบนารี

นี่คือตัวอย่างสคริปต์โดยใช้ไฟล์ -I และ iconv ซึ่งทำงานบน MacOsX สำหรับคำถามของคุณคุณต้องใช้ mv แทน iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

เป็นการยากที่จะตรวจสอบว่าเป็น iso-8859-1 หากคุณมีข้อความที่มีอักขระเพียง 7 บิตที่อาจเป็น iso-8859-1 แต่คุณไม่รู้ หากคุณมีอักขระ 8 บิตแสดงว่าอักขระภูมิภาคด้านบนมีการเข้ารหัสตามลำดับเช่นกัน ดังนั้นคุณจะต้องใช้พจนานุกรมเพื่อเดาคำที่ดีกว่าและกำหนดจากที่นั่นต้องใช้ตัวอักษรใด ในที่สุดหากคุณตรวจพบว่ามันอาจเป็น utf-8 กว่าคุณแน่ใจว่าไม่ใช่ iso-8859-1

การเข้ารหัสเป็นสิ่งที่ยากที่สุดที่ต้องทำเพราะคุณไม่มีทางรู้ว่าไม่มีอะไรบอกคุณ

ใน Debian คุณสามารถใช้encguess:

$ encguess test.txt
test.txt  US-ASCII

ในการแปลงการเข้ารหัสจาก 8859 เป็น ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

ด้วย Python คุณสามารถใช้โมดูล chardet: https://github.com/chardet/chardet

นี่ไม่ใช่สิ่งที่คุณสามารถทำได้ในทางที่จะเข้าใจผิด ความเป็นไปได้อย่างหนึ่งคือการตรวจสอบตัวละครทุกตัวในไฟล์เพื่อให้แน่ใจว่าไม่มีตัวอักษรใด ๆ อยู่ในช่วง0x00 - 0x1fหรือ0x7f -0x9fตามที่ฉันได้กล่าวมาสิ่งนี้อาจเป็นจริงสำหรับไฟล์จำนวนเท่าใดก็ได้

ความเป็นไปได้อีกอย่างหนึ่งคือการค้นหาคำเฉพาะในไฟล์ในทุกภาษาที่รองรับและดูว่าคุณสามารถค้นหา

ตัวอย่างเช่นค้นหาเทียบเท่าภาษาอังกฤษ "และ", "แต่", "ถึง", "ของ" และอื่น ๆ ในภาษาที่รองรับทั้งหมดของ 8859-1 และดูว่าพวกเขามีเหตุการณ์จำนวนมากภายใน ไฟล์.

ฉันไม่ได้พูดถึงการแปลตามตัวอักษรเช่น:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

แม้ว่าจะเป็นไปได้ ฉันกำลังพูดถึงคำทั่วไปในภาษาเป้าหมาย (สำหรับทุกอย่างที่ฉันรู้ไอซ์แลนด์ไม่มีคำว่า "และ" - คุณอาจต้องใช้คำของพวกเขาสำหรับ "ปลา" [ขอโทษที่มันเป็นโปรเฟสเซอร์เล็ก ๆ น้อย ๆ ฉันไม่ได้ หมายถึงความผิดใด ๆ เพียงแสดงจุด])

ฉันรู้ว่าคุณสนใจคำตอบทั่วไปมากขึ้น แต่สิ่งที่ดีใน ASCII มักจะดีในการเข้ารหัสอื่น ๆ นี่คือ Python หนึ่งบรรทัดเพื่อดูว่าอินพุตมาตรฐานเป็น ASCII หรือไม่ (ฉันค่อนข้างมั่นใจว่ามันใช้งานได้ใน Python 2 แต่ฉันเพิ่งทดสอบบน Python 3 เท่านั้น)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

หากคุณกำลังพูดถึงไฟล์ XML (ISO-8859-1) การประกาศ XML ภายในไฟล์นั้นจะระบุการเข้ารหัส: <?xml version="1.0" encoding="ISO-8859-1" ?>
ดังนั้นคุณสามารถใช้นิพจน์ทั่วไป (เช่นกับperl) เพื่อตรวจสอบทุกไฟล์สำหรับสเปคดังกล่าว
ข้อมูลเพิ่มเติมสามารถพบได้ที่นี่: วิธีการตรวจสอบการเข้ารหัสไฟล์ข้อความ

ใน php คุณสามารถตรวจสอบได้ดังนี้:

การระบุรายการเข้ารหัสอย่างชัดเจน:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

"mb_list_encodings" ที่แม่นยำยิ่งขึ้น:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

ในตัวอย่างแรกคุณจะเห็นว่าฉันใส่รายการการเข้ารหัส (ตรวจจับลำดับรายการ) ที่อาจจับคู่ หากต้องการผลลัพธ์ที่แม่นยำยิ่งขึ้นคุณสามารถใช้การเข้ารหัสที่เป็นไปได้ทั้งหมดผ่าน: mb_list_encodings ()

หมายเหตุฟังก์ชัน mb_ * ต้องการ php-mbstring

apt-get install php-mbstring

ใน Cygwin สิ่งนี้ดูเหมือนจะใช้ได้กับฉัน:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

ตัวอย่าง:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

คุณสามารถไพพ์นั้นเพื่อ awk และสร้างคำสั่ง iconv เพื่อแปลงทุกอย่างเป็น utf8 จากการเข้ารหัสซอร์สที่สนับสนุนโดย iconv

ตัวอย่าง:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

คุณสามารถแยกการเข้ารหัสไฟล์เดียวด้วยคำสั่ง file ฉันมีไฟล์ sample.html ด้วย:

$ file sample.html 

sample.html: เอกสาร HTML, ข้อความ Unicode UTF-8 ที่มีบรรทัดที่ยาวมาก

$ file -b sample.html

เอกสาร HTML, UTF-8 Unicode text มีบรรทัดที่ยาวมาก

$ file -bi sample.html

text / html; charset = UTF-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

UTF-8

ฉันใช้สคริปต์ต่อไปนี้เพื่อ

1. ค้นหาไฟล์ทั้งหมดที่ตรงกับ FILTER ด้วย SRC_ENCODING
2. สร้างการสำรองข้อมูลของพวกเขา
3. แปลงเป็น DST_ENCODING
4. (ไม่บังคับ) ลบข้อมูลสำรอง

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

ด้วยคำสั่งนี้:

for f in `find .`; do echo `file -i "$f"`; done

คุณสามารถแสดงรายการไฟล์ทั้งหมดในไดเรกทอรีและไดเรกทอรีย่อยและการเข้ารหัสที่สอดคล้องกัน

ด้วย Perl ให้ใช้ Encode :: Detect