ใครบ้างที่รู้เครื่องมือในการตรวจจับและรายงานรูปแบบการทำซ้ำในไฟล์บันทึก [ปิด]

ฉันต้องตรวจสอบไฟล์บันทึกเสียงรบกวนขนาดใหญ่ (500m / วัน) จากแอปพลิเคชัน Java (log4j) ตอนนี้ฉันดูไฟล์ด้วยตนเอง grep สำหรับ "ข้อผิดพลาด" และอื่น ๆ อย่างไรก็ตามควรเป็นไปได้ที่เครื่องมือจะสังเกตเห็นรูปแบบการทำซ้ำในไฟล์นับพวกเขาและจัดทำข้อมูลเจาะลึกสำหรับรายละเอียดของแต่ละรายการ ใครรู้เครื่องมือดังกล่าวหรือไม่ ข้อความหรือ UI บนเว็บน่าจะดี

ฉันเคยได้ยินคนที่ใช้การกรองแบบเบย์ในไฟล์บันทึกเพื่อสังเกตเห็นสิ่งที่น่าสนใจเมื่อเทียบกับรายการบันทึกประจำ พวกเขาใช้ตัวกรองสแปมโดยที่รายการที่ไม่น่าสนใจประจำนั้นถูกพิจารณาว่าเป็น "ดี" ในขณะที่รายการที่ผิดปกติถูกพิจารณาว่าเป็น "สแปม" และการใช้สีนั้นพวกเขาสามารถเปลี่ยนผ่านได้

มันฟังดูคล้ายกับการเรียนรู้สิ่งต่าง ๆ สำหรับฉัน แต่หลังจากนั้นฉันก็ไม่เห็นมันในทางปฏิบัติ แต่ได้ยินมาจากเบียร์

Splunkทำงานได้อย่างมหัศจรรย์สำหรับสิ่งของประเภทนี้ ฉันใช้ภายในเพื่อรวบรวมบันทึกทั้งหมดและทำการค้นหาอย่างรวดเร็วผ่านทางอินเทอร์เฟซที่ใช้เบราว์เซอร์ที่ยอดเยี่ยม

syslog-ng มีรูปแบบชื่อคุณสมบัติ คุณสามารถสร้างรูปแบบและจับคู่รายการบันทึกในเวลาจริงจากนั้นส่งรายการเหล่านั้นไปยังไฟล์บันทึกแยก

ในขณะที่มองหา syslog-ng และ patterndb (+1 สำหรับคำตอบข้างบน) ฉันพบเครื่องมือบนเว็บชื่อ ELSA: http://code.google.com/p/enterprise-log-search-and-archive/ . มันเป็น F / OSS ใน perl พร้อมเว็บอินเตอร์เฟสและน่าจะเร็วจริงๆ

ฉันยังไม่ได้ลอง แต่เมื่อฉันกรองโดยใช้ patterndb ฉันจะลองใช้ ELSA

ลองชนชั้น
ฉันไม่แน่ใจว่ามันจะทำงานกับรูปแบบ log4j หรือไม่ แต่คุณอาจเขียนตัวกรองแบบกำหนดเองได้
Petit ไม่มีเว็บอินเตอร์เฟสแสดงกราฟในเชลล์ของคุณ (ASCII art ftw!)
มันมีประโยชน์มากในการดูข้อความที่เกิดซ้ำอย่างรวดเร็วและคิดออกเมื่อเกิดขึ้นหรือเริ่มเกิดขึ้นบ่อยขึ้น

หากคุณใช้เดเบียน / บีบบนเซิร์ฟเวอร์ของคุณดู log2mail: http://packages.debian.org/squeeze/log2mail

Glogg เป็นตัวสำรวจบันทึกข้อมูลที่ดีมากเนื่องจากคุณมีความเป็นไปได้ที่จะสร้างฐานตัวกรองบนสายอักขระและเส้นสีหรือดึงข้อมูลเหตุการณ์ทั้งหมดที่เกิดขึ้นกับสตริง

http://glogg.bonnefon.org/

Splunk มักจะเป็นทางออกที่ดีสำหรับเรื่องนี้ แต่คุณบอกว่ามันแพงเกินไปสำหรับคุณ ดังนั้นผมจึงขอแนะนำให้คุณไปดูที่LogstashหรือGrayLog

คุณสามารถลอง LogXtender ของ SEQREL ซึ่งจะตรวจจับรูปแบบและรวบรวมบันทึกที่คล้ายกันโดยอัตโนมัติ วิธีนี้คือการสร้างนิพจน์ทั่วไปได้ทันทีและใช้แคช regex เพื่อจับคู่บันทึกอื่น ๆ ด้วยการตรวจสอบ taxonomy เพิ่มเติมสามารถเพิ่ม granularity เพิ่มเติมได้ รุ่นฟรีสามารถดาวน์โหลดได้ภายใต้https://try.logxtender.net