จะ grep ไฟล์ข้อความที่มีข้อมูลไบนารีได้อย่างไร?

ผลตอบแทน grep

ไฟล์ไบนารี test.log ตรงกัน

ตัวอย่างเช่น

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

ฉันหวังว่าผลลัพธ์จะแสดงบรรทัดที่ 1 และบรรทัดที่ 3 (รวมสองบรรทัด)

เป็นไปได้ไหมที่จะใช้การtrแปลงข้อมูลที่พิมพ์ไม่ได้ให้เป็นข้อมูลที่อ่านได้เพื่อให้ grep ทำงานอีกครั้ง

คุณสามารถเรียกใช้ไฟล์ข้อมูลผ่านcat -vเช่น

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

ซึ่งสามารถนำไปประมวลผลเพิ่มเติมเพื่อลบขยะ สิ่งนี้คล้ายคลึงกับคำถามของคุณเกี่ยวกับการใช้trงานมากที่สุด

grep -a

มันไม่ง่ายไปกว่านั้น

วิธีหนึ่งคือการจัดการไฟล์ไบนารีเป็นข้อความต่อไปด้วย grep --textแต่อาจส่งผลให้ข้อมูลไบนารีถูกส่งไปยังเทอร์มินัลของคุณ นั่นไม่ใช่ความคิดที่ดีจริงๆหากคุณกำลังใช้งานเทอร์มินัลที่ตีความสตรีมเอาต์พุต (เช่น VT / DEC หรืออื่น ๆ อีกมากมาย)

หรือคุณสามารถส่งไฟล์ของคุณผ่านtrคำสั่งต่อไปนี้:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

สิ่งนี้จะเปลี่ยนอะไรก็ได้ที่น้อยกว่าอักขระเว้นวรรค (ยกเว้นขึ้นบรรทัดใหม่) และอะไรก็ตามที่มากกว่า 126 เป็น.อักขระโดยเหลือเพียงสิ่งที่พิมพ์ได้

หากคุณต้องการให้อักขระ "ผิดกฎหมาย" ทุกตัวถูกแทนที่ด้วยอักขระอื่นคุณสามารถใช้โปรแกรม C ต่อไปนี้ซึ่งเป็นตัวกรองอินพุตมาตรฐานคลาสสิก:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

ซึ่งจะทำให้คุณ{{NN}}ที่NNเป็นรหัสฐานสิบหกสำหรับตัวละคร คุณสามารถปรับprintfรูปแบบเอาต์พุตที่คุณต้องการได้

คุณสามารถดูการทำงานของโปรแกรมนั้นได้ที่นี่โดยที่:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

คุณสามารถใช้ "สตริง" เพื่อแยกสตริงจากไฟล์ไบนารีตัวอย่างเช่น

strings binary.file | grep foo

คุณสามารถบังคับให้ grep ดูไฟล์ไบนารีด้วย:

grep --binary-files=text

คุณอาจต้องการเพิ่ม-o( --only-matching) เพื่อที่คุณจะได้ไม่ต้องพูดพล่อยๆแบบไบนารีมากมายที่จะทำให้เทอร์มินัลของคุณแย่ลง

เริ่มต้นด้วย Grep 2.21 ไฟล์ไบนารีจะได้รับการปฏิบัติที่แตกต่างกัน :

เมื่อค้นหาข้อมูลไบนารีตอนนี้ grep อาจถือว่าไบต์ที่ไม่ใช่ข้อความเป็นตัวยุติบรรทัด สิ่งนี้สามารถเพิ่มประสิทธิภาพได้อย่างมาก

ดังนั้นสิ่งที่เกิดขึ้นตอนนี้คือด้วยข้อมูลไบนารีไบต์ที่ไม่ใช่ข้อความทั้งหมด (รวมถึงบรรทัดใหม่) จะถือว่าเป็นตัวยุติบรรทัด หากคุณต้องการเปลี่ยนพฤติกรรมนี้คุณสามารถ:

• ใช้--text. วิธีนี้จะช่วยให้มั่นใจได้ว่ามีเพียงการขึ้นบรรทัดใหม่เท่านั้นที่เป็นตัวยุติบรรทัด

• ใช้--null-data. สิ่งนี้จะช่วยให้มั่นใจได้ว่ามีเพียงไบต์ว่างเท่านั้นที่เป็นตัวยุติบรรทัด

grep -a จะบังคับให้ grep ค้นหาและส่งออกจากไฟล์ที่ grep คิดว่าเป็นไบนารี grep -a re test.log

ดังที่ James Selvakumar กล่าวไว้แล้วgrep -aเคล็ดลับทำ -a หรือ --text บังคับให้ Grep จัดการอินพุตสตรีมเป็นข้อความ ดู Manpage http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

ลอง

cat test.log | grep -a somestring

คุณทำได้

strings test.log | grep -i

สิ่งนี้จะแปลงให้เอาต์พุตเป็นสตริงที่อ่านได้เป็น grep

คุณยังสามารถลองใช้เครื่องมือWord Extractor Word Extractor สามารถใช้กับไฟล์ใดก็ได้ในคอมพิวเตอร์ของคุณเพื่อแยกสตริงที่มีข้อความ / คำของมนุษย์ออกจากรหัสไบนารี (แอปพลิเคชัน exe, DLL)

นี่คือสิ่งที่ฉันใช้ในระบบที่ไม่ได้ติดตั้งคำสั่ง "สตริง"

cat yourfilename | tr -cd "[:print:]"

สิ่งนี้จะพิมพ์ข้อความและลบอักขระที่ไม่สามารถพิมพ์ได้ในคราวเดียวซึ่งแตกต่างจาก "ชื่อไฟล์ cat -v" ซึ่งต้องมีการประมวลผลภายหลังเพื่อลบสิ่งที่ไม่ต้องการออก โปรดทราบว่าข้อมูลไบนารีบางส่วนอาจพิมพ์ได้ดังนั้นคุณจะยังคงพูดพล่อยๆระหว่างสิ่งดีๆ ฉันคิดว่าสตริงช่วยขจัดคำพูดพล่อยๆนี้ได้เช่นกันถ้าคุณสามารถใช้สิ่งนั้นได้