มีวิธีที่สะดวกในการจัดประเภทไฟล์เป็น "binary" หรือ "text" หรือไม่?

ยูทิลิตี้ Unix มาตรฐานต้องการgrepและdiffใช้ฮิวริสติกบางอย่างเพื่อจัดประเภทไฟล์เป็น "text" หรือ "binary" ( grepเอาต์พุตของEg อาจมีบรรทัดที่เหมือนBinary file frobozz matchesกัน)

มีการทดสอบที่สะดวกที่สามารถนำไปใช้ในzshสคริปต์เพื่อดำเนินการจัดหมวดหมู่ "ข้อความ / ไบนารี" ที่คล้ายกัน? (นอกเหนือจากที่ต้องการgrep '' somefile | grep -q Binary)

(ฉันตระหนักว่าการทดสอบใด ๆ เช่นนั้นจำเป็นต้องเป็นแบบฮิวริสติกและไม่สมบูรณ์ดังนั้น)

หากคุณขอfileเพียงประเภท mimeคุณจะได้รับสิ่งที่แตกต่างกันเช่นtext/x-shellscriptและapplication/x-executableอื่น ๆ แต่ฉันคิดว่าถ้าคุณเพียงตรวจสอบส่วน "ข้อความ" คุณควรได้รับผลลัพธ์ที่ดี เช่น ( -bไม่มีชื่อไฟล์ในเอาต์พุต):

file -b --mime-type filename | sed 's|/.*||'

อีกวิธีหนึ่งที่จะใช้isutf8จากmoreutilsคอลเลกชัน

มันออกด้วย 0 หากไฟล์นั้นถูกต้อง UTF-8 หรือ ASCII หรือลัดวงจรพิมพ์ข้อความแสดงข้อผิดพลาด (เงียบด้วย-q) และออกด้วย 1 อย่างอื่น

ถ้าคุณชอบวิธีแก้ปัญหาที่ GNU ใช้grepคุณสามารถใช้

isbinary() {
  LC_MESSAGES=C grep -Hm1 '^' < "${1-$REPLY}" | grep -q '^Binary'
}

มันค้นหา NUL ไบต์ในบัฟเฟอร์แรกอ่านจากไฟล์ (ไม่กี่กิโลไบต์สำหรับไฟล์ปกติ แต่อาจจะน้อยกว่ามากสำหรับไพพ์หรือซ็อกเก็ตหรืออุปกรณ์บางอย่างเช่น/dev/random) ในโลแคล UTF-8 นอกจากนี้ยังติดธงตามลำดับไบต์ที่ไม่ได้สร้างอักขระ UTF-8 ที่ถูกต้อง ถือว่าLC_ALLไม่มีการตั้งค่าเป็นภาษาที่ไม่ใช่ภาษาอังกฤษ

${1-$REPLY}รูปแบบช่วยให้คุณสามารถใช้มันเป็นzshรอบคัดเลือก glob:

ls -ld -- *(.+isbinary)

จะแสดงรายการไฟล์ไบนารี

คุณสามารถลองกำหนดว่าiconvสามารถอ่านไฟล์ได้หรือไม่ สิ่งนี้มีประสิทธิภาพน้อยกว่าfile(ซึ่งเพิ่งอ่านมาสองสามไบต์ตั้งแต่ต้น) แต่จะให้ผลลัพธ์ที่เชื่อถือได้มากขึ้น:

ENCODING=utf-8
if iconv --from-code="$ENCODING" --to-code="$ENCODING" your_file.ext > /dev/null 2>&1; then
    echo text
else
    echo binary
fi

สิ่งนี้ทำให้iconvไม่มีการใช้งานทั่วไป แต่ถ้าพบข้อมูลที่ไม่ถูกต้อง (UTF-8 ที่ไม่ถูกต้องในตัวอย่างนี้) มันจะ barf และออก

คุณสามารถเขียนสคริปต์ที่โทรfileและใช้คำสั่งกรณีและปัญหาเพื่อตรวจสอบกรณีที่คุณสนใจ

ตัวอย่างเช่น

#!/bin/sh
case $(file "$1") in
(*script*|*\ text|*\ text\ *)
    echo text
    ;;
(*)
    echo binary
    ;;
esac

แม้ว่าแน่นอนอาจมีหลายกรณีที่น่าสนใจ เพียงตรวจสอบstringsบนสำเนาของlibmagicฉันเห็นประมาณ 200 กรณีเช่น

Konqueror cookie text
Korn shell script text executable
LaTeX 2e document text
LaTeX document text
Linux Software Map entry text
Linux Software Map entry text (new format)
Linux kernel symbol map text
Lisp/Scheme program text
Lua script text executable
LyX document text
M3U playlist text
M4 macro processor script text

บางคนใช้สตริง "ข้อความ" เป็นส่วนหนึ่งของประเภทที่แตกต่างกันเช่น

SoftQuad troff Context intermediate   
SoftQuad troff Context intermediate for AT&T 495 laser printer
SoftQuad troff Context intermediate for HP LaserJet

เช่นเดียวกันscriptอาจเป็นส่วนหนึ่งของคำ แต่ฉันไม่เห็นปัญหาในกรณีนี้ แต่สคริปต์ควรตรวจสอบ"text"ว่าเป็นคำที่ไม่ย่อย

เพื่อเป็นการเตือนความจำfileเอาต์พุตไม่ใช้คำอธิบายที่แม่นยำซึ่งมักจะมี "สคริปต์" หรือ "ข้อความ" กรณีพิเศษเป็นสิ่งที่ต้องพิจารณา ผู้ติดตามแสดงความคิดเห็นว่าการ--mime-typeทำงานในขณะที่วิธีการนี้จะไม่สำหรับ.svgไฟล์ อย่างไรก็ตามในการทดสอบฉันเห็นผลลัพธ์เหล่านี้สำหรับไฟล์ svg:

$ ls -l *.svg
-r--r--r-- 1 tom users  6679 Jul 26  2012 pumpkin_48x48.svg
-r--r--r-- 1 tom users 17372 Jul 30  2012 sink_48x48.svg
-r--r--r-- 1 tom users  5929 Jul 25  2012 vile_48x48.svg
-r--r--r-- 1 tom users  3553 Jul 28  2012 vile-mini.svg
$ file *.svg
pumpkin_48x48.svg: SVG Scalable Vector Graphics image
sink_48x48.svg:    SVG Scalable Vector Graphics image
vile-mini.svg:     SVG Scalable Vector Graphics image
vile_48x48.svg:    SVG Scalable Vector Graphics image
$ file --mime-type *.svg
pumpkin_48x48.svg: image/svg+xml
sink_48x48.svg:    image/svg+xml
vile-mini.svg:     image/svg+xml
vile_48x48.svg:    image/svg+xml

ซึ่งฉันเลือกหลังจากที่เห็นไฟล์พันไฟล์แสดงเพียง 6 กับ "ข้อความ" ในผลลัพธ์ประเภท mime การจับคู่ "xml" ที่ส่วนท้ายของเอาต์พุต mime-type อาจมีประโยชน์มากกว่าพูดตรงกับ "SVG" แต่การใช้สคริปต์เพื่อทำสิ่งนั้นจะนำคุณกลับไปสู่คำแนะนำที่ทำไว้ที่นี่

ผลลัพธ์ของfileต้องมีการปรับแต่งในบางสถานการณ์และไม่น่าเชื่อถือ 100% (มันสับสนโดยสคริปต์ Perl หลายตัวของฉันเรียกพวกเขาว่า "ข้อมูล")

มีการนำไปปฏิบัติมากกว่าหนึ่งfileรายการ หนึ่งที่ใช้บ่อยที่สุดทำงานในlibmagicซึ่งสามารถใช้จากโปรแกรมที่แตกต่างกัน (อาจจะไม่โดยตรงจากzshแต่pythonสามารถ)

ตามตารางเปรียบเทียบการทดสอบไฟล์สำหรับเชลล์, Perl, Ruby และ Python , Perl มี-Tตัวเลือกที่สามารถใช้เพื่อให้ข้อมูลนี้ zshแต่มันแสดงรายการคุณลักษณะไม่มีเทียบเคียง

อ่านเพิ่มเติม:

• zsh glob qualifier เพื่อแยกไฟล์ไบนารี

fileมีตัวเลือก--mime-encodingที่พยายามตรวจจับการเข้ารหัสของไฟล์

 $file --mime-encoding Documents/poster2.pdf 
Documents/poster2.pdf: binary
 $file --mime-encoding projects/linux/history-torvalds/Makefile 
projects/linux/history-torvalds/Makefile: us-ascii
 $file --mime-encoding graphe.tex 
Dgraphe.tex: us-ascii
 $file --mime-encoding software.tex 
software.tex: utf-8

คุณสามารถใช้file --mime-encoding | grep binaryเพื่อตรวจสอบว่าไฟล์เป็นไฟล์ไบนารีหรือไม่ มันทำงานได้อย่างน่าเชื่อถือแม้ว่ามันจะสับสนโดยตัวอักษรที่ไม่ถูกต้องเพียงตัวเดียวในไฟล์ข้อความขนาดยาว

ตัวอย่างเช่นฉันใช้นามแฝงcatเชลล์สคริปต์ต่อไปนี้เพื่อหลีกเลี่ยงการทำลายเทอร์มินัลโดยการเปิดไฟล์ไบนารีโดยไม่ได้ตั้งใจ:

#! /bin/sh -

[ ! -t 1 ] && exec /bin/cat "$@"
for i
do
    if file --mime-encoding -- "$i" | grep -q binary
    then
        hexdump -C -- "$i"
    else
        /bin/cat -- "$i"
    fi
done

หมวดหมู่โดยพลการ ก่อนที่จะตอบวิธีจัดหมวดหมู่คุณต้องมีคำจำกัดความที่เข้มงวด เพื่อให้มีความหมาย, คุณต้องการวัตถุประสงค์

ดังนั้นคุณต้องการจะทำอย่างไรกับการจำแนกประเภทนี้?

• หากคุณต้องการเลือก ascii / binary ใน FTP สิ่งสำคัญคืออย่าโอนไฟล์ไบนารีเป็น ascii (มิฉะนั้นไฟล์จะเสียหาย) ดังนั้นคุณควรทดสอบว่าไฟล์เป็นข้อความธรรมดา, html, rtf และอื่น ๆ แต่สงสัยเลือกไบนารี และคุณอาจต้องการทดสอบว่าไฟล์มีชุดย่อยเช่น 0x0A, 0x0D และ 0x20-0x7F เท่านั้น
• หากคุณต้องการถ่ายโอนไฟล์ในบางโปรโตคอล (POP3, SMTP) คุณต้องทดสอบเพื่อเลือกว่าจะเข้ารหัสใน base64 หรือเปล่า ในกรณีนี้คุณควรทดสอบว่ามีอักขระที่ไม่รองรับหรือไม่
• กรณีอื่น ๆ ... อาจมีคำจำกัดความอื่น ๆ

perl -e'chomp(my$f=<>);print "binary$/" if -B $f;print "text$/" if -T _'

จะทำมัน ดูเอกสารประกอบสำหรับ-Bและ-T (ค้นหาในหน้านั้นสำหรับสตริงThe -T and -B switches work as follows)

ฉันสนับสนุนhttps://github.com/audreyr/binaryornot มันไม่มี wrapper บรรทัดคำสั่ง (แต่) แต่นี่เป็น Python library ที่ง่ายพอที่จะโทรหาได้จาก CLI มันใช้ฮิวริสติกที่มีประสิทธิภาพพอสมควรในการพิจารณาว่าไฟล์เป็นข้อความหรือไบนารี

ฉันตอนนี้คำตอบนี้เก่าไปหน่อย แต่ฉันคิดว่าเพื่อนของฉันสอนให้ฉัน "แฮ็ค" ที่ดีในการทำเช่นนี้

คุณใช้diffคำสั่งและตรวจสอบไฟล์ของคุณกับไฟล์ข้อความทดสอบ:

$ diff filetocheck testfile.txt

ตอนนี้ถ้าfiletocheckเป็นไฟล์ไบนารีเอาต์พุตจะเป็น:

Binary files filetocheck and testfile.txt differ

วิธีนี้คุณสามารถใช้ประโยชน์จากdiffคำสั่งและเช่นเขียนฟังก์ชั่นที่จะตรวจสอบในสคริปต์