ทางเลือกใน Splunk?

ฉันประทับใจSplunkโดยเฉพาะอย่างยิ่งรุ่นที่ 4 กราฟสวยแจ้งเตือน (สำหรับองค์กรเท่านั้น) และรวดเร็วแม่นยำค้นหา มันเป็นผลิตภัณฑ์ที่ยอดเยี่ยม

อย่างไรก็ตามค่าใช้จ่ายสูงเกินไปที่จะพิจารณาการใช้การผลิตเต็มรูปแบบสำหรับ บริษัท ของเรา สิ่งที่เราต้องการจริงๆคือสามารถจัดทำดัชนีบันทึกต่าง ๆ ในที่ส่วนกลางและทำการค้นหาอย่างสมเหตุสมผล การมีการแจ้งเตือนตามการค้นหาที่บันทึกไว้นั้นดีมากเช่นกัน เราไม่ได้ไปไกลกว่านั้นจริงๆ

อันที่จริงแล้วการใช้งานที่ใหญ่ที่สุดของเรานั้นคือการปรับใช้แอปพลิเคชันใหม่ ทุกอย่างได้รับการบันทึกผ่าน log4net ไปยังบันทึกเหตุการณ์บน Windows หรือไฟล์ข้อความบน Linux Splunk ทำให้ง่ายต่อการค้นหาอย่างรวดเร็วเพื่อให้แน่ใจว่าทุกส่วนของแอปใช้งานได้ - ซึ่งช่วยให้เราประหยัดเวลาได้มากเมื่อเทียบกับการค้นหาแหล่งบันทึกส่วนตัว

มีทางเลือกอะไรบ้างในตลาดนี้? ฉันมีความรู้สึกที่จมราคา Splunk สูงมากเพราะพวกเขามีผลิตภัณฑ์ที่ดีที่สุดโดยไกลและพวกเขารู้ว่า เราต้องการให้เซิร์ฟเวอร์ทำงานบน Windows

ฉันจะเปิดให้เป็นแบบแยกโดยใช้หนึ่งผลิตภัณฑ์สำหรับบันทึกทั่วไป (รวบรวมผ่าน syslog / Snare) และผลิตภัณฑ์เฉพาะสำหรับแอปที่กำหนดเองของเรา (เช่นLog4Net Dashboard )

จะใช้เซิร์ฟเวอร์ syslog อย่างเช่นกีวีส่งไปยัง SQL Server (อาจเปิดใช้งาน fulltext) หรือไม่

ฉันหวังว่าค่าใช้จ่ายควรต่ำกว่า 5 ตัวเลขเป็น USD (และใช่ฉันรู้ว่าเราถูกเราเริ่มต้นด้วยเงินเพียงเล็กน้อยและ BizSpark จะดูแลใบอนุญาต MS ทั้งหมดของเรา)

แก้ไข: ฉันควรเพิ่มเรามีเซิร์ฟเวอร์ทางกายภาพประมาณ 10 แห่ง, 20 VMs และไฟร์วอลล์และสวิตช์คู่ 90% เป็น Windows

หมายเหตุ: ทั้งหมดนี้เกี่ยวกับ Linux และซอฟต์แวร์ฟรีซึ่งเป็นสิ่งที่ฉันใช้เป็นส่วนใหญ่ แต่คุณควรใช้ไคลเอ็นต์ syslog บน Windows เพื่อส่งบันทึกไปยังเซิร์ฟเวอร์ Linux syslog

การเข้าสู่เซิร์ฟเวอร์ SQL: ด้วยเครื่องจักรเพียง ~ 30 เครื่องคุณควรใช้ได้กับ syslog-centralized ใดก็ได้ที่เหมือนกันและแบ็กเอนด์ SQL ฉันใช้syslog-ngและ MySQL บน Linux สำหรับสิ่งนี้

ส่วนหน้าสวย ๆสำหรับกราฟเป็นปัญหาหลัก - ดูเหมือนว่ามีการแฮ็กหน้าขึ้นมาจำนวนมากซึ่งจะหยิบรายการจากบันทึกและแสดงจำนวนการเข้าชมการแจ้งเตือน ฯลฯ แต่ฉันไม่พบอะไรแบบบูรณาการและสะอาด ยอมรับว่านี่คือสิ่งสำคัญที่คุณกำลังมองหา ... (หากฉันพบสิ่งที่ดีแล้วฉันจะอัปเดตส่วนนี้!)

การแจ้งเตือน : ฉันใช้SECบนเซิร์ฟเวอร์ Linux เพื่อค้นหาสิ่งที่ไม่ดีที่เกิดขึ้นในบันทึกและแจ้งเตือนฉันด้วยวิธีการต่างๆ มันมีความยืดหยุ่นอย่างเหลือเชื่อและไม่ฉูดฉาดเหมือน Splunk มีแบบฝึกหัดที่ดีที่จะช่วยแนะนำคุณสมบัติที่เป็นไปได้มากมาย

ฉันยังใช้Nagiosสำหรับกราฟของสถิติต่างๆและการแจ้งเตือนบางอย่างที่ฉันไม่ได้รับจากบันทึก (เช่นเมื่อบริการไม่ทำงาน ฯลฯ ) สามารถปรับแต่งเพื่อเพิ่มกราฟของสิ่งที่คุณต้องการได้อย่างง่ายดาย ฉันได้เพิ่มกราฟของรายการเช่นจำนวนการเข้าชมที่ทำกับเซิร์ฟเวอร์ http โดยให้ตัวแทนใช้ปลั๊กอินcheck_logfilesเพื่อนับจำนวนการเข้าชมในบันทึก

โดยรวมแล้วขึ้นอยู่กับเวลาที่คุณต้องเสียค่าใช้จ่ายในการติดตั้งเนื่องจากมีตัวเลือกมากมายที่คุณสามารถใช้ได้ แต่ไม่รวมอยู่ในรูปแบบ Splunk และอาจต้องใช้ความพยายามมากขึ้นในการทำสิ่งที่คุณต้องการ กราฟ Nagios ตรงไปตรงมาเพื่อตั้งค่า แต่ไม่ให้ข้อมูลเชิงประวัติจากคุณก่อนที่จะเพิ่มกราฟในขณะที่ Splunk (และส่วนหน้าอื่น ๆ ) คุณสามารถมองย้อนกลับไปที่บันทึกที่ผ่านมาและกราฟสิ่งที่คุณเพิ่งทำ คิดว่าจะดูจากพวกเขา

โปรดทราบว่ารูปแบบฐานข้อมูล SQL และการจัดทำดัชนีจะมีผลอย่างมากต่อความเร็วของการสืบค้นดังนั้นความคิดของคุณเกี่ยวกับการจัดทำดัชนีข้อความจะทำให้เพิ่มความเร็วในการค้นหาอย่างมาก ฉันไม่แน่ใจว่า MySQL หรือ PostgreSQL จะทำสิ่งที่คล้ายกันหรือไม่

แก้ไข : MySQL จะทำการจัดทำดัชนีข้อความแบบเต็ม แต่เฉพาะในตาราง MyISAMก่อนหน้า MySQL 5.6 5.6 การสนับสนุนได้รับการเพิ่มสำหรับ InnoDB

แก้ไข : Postgresql สามารถค้นหาข้อความแบบเต็มของหลักสูตร: http://www.postgresql.org/docs/9.0/static/textsearch.html

เล็งไปที่ * ระวังมากกว่า windows แต่octopussyรองรับ windows และดูเหมือนว่าจะเล็งไปที่วัตถุชนิดเดียวกัน

ฉันพยายามแก้ปัญหาการตรวจสอบจำนวนมาก - แต่ฉันต้องการตรวจสอบ windows เป็นหลัก ระบบส่วนใหญ่มุ่งไปที่การตรวจสอบ SNMP ซึ่งจัดการเพื่อดึงข้อมูลจำนวนมากโดยไม่ต้องมีตัวแทน

นี่คือระบบบางส่วนที่ฉันได้ลองไปแล้ว:

Nagios - โอเพ่นซอร์ส หมูในการกำหนดค่า แต่ให้คะแนนสูงและดูเหมือนยืดหยุ่นมาก ดูเหมือนจะเป็นตัวนับส่วนใหญ่และไม่อนุญาตให้มีการเรียกใช้สคริปต์จากระยะไกลดังนั้นจึงไม่สามารถใช้เพื่อรับปัญหาการตั้งค่า Ala MS system center หรือ Kaseya ไม่มีเอเจนต์ แต่ไร้ประโยชน์เป็นหลักหากไม่มีเครื่องมือ NSclient ติดตั้งในไคลเอนต์แต่ละตัว

Cacti - เครื่องมือสร้างกราฟที่สวยงามและตรงไปตรงมาตามการดึงสถิติ snmp agentless

OpsView - ขึ้นอยู่กับ Nagios แต่ง่ายต่อการกำหนดค่าและมีส่วนหน้าที่ดีกว่า

HypericHQ - ติดตั้งและใช้งาน Windows ได้ง่าย เวอร์ชันพื้นฐานนั้นฟรีและไม่มากมาย มีองค์กร HypericHQ ในเชิงพาณิชย์ ต้องติดตั้ง Agent ในแต่ละไคลเอนต์

Zabbix - อีกหนึ่งเครื่องมือตรวจสอบที่ดี มันใช้งานง่ายกว่า nagios มีตัวแทนที่คุณสามารถติดตั้งบน windows และเครื่องไคลเอนต์ ฉันสำรวจมันไปซักพักแล้ว

Zenoss - โอเพ่นซอร์ส ฉันประทับใจมากกับอาชีพของ Zenoss มันเป็นจอมอนิเตอร์ที่ใช้ SNMP และมีส่วนขยายจำนวนมากเพื่อให้สามารถตรวจสอบผลิตภัณฑ์ของ HP, บริการ windows, เซิร์ฟเวอร์ ms sql, mysql ส่วนขยายทั้งหมดทำงานผ่าน SNMP ดังนั้นจึงไม่จำเป็นต้องติดตั้งบนเครื่องไคลเอ็นต์ ฉันยังไม่ได้สำรวจทั้งหมดและดูเหมือนจะมีฟังก์ชั่นมากมายที่ฉันยังไม่ได้ใช้ประโยชน์ มันขึ้นอยู่กับ Zope ดังนั้นถ้าคุณไม่ติดตั้ง Zope เร็วขึ้นฉันขอแนะนำให้คุณดาวน์โหลด VM ที่เตรียมไว้ล่วงหน้า - มันทำงานได้เหมือนฝันตรงจากกล่อง

ในเชิงพาณิชย์คุณสามารถดูเครื่องมือสองสามอย่าง:

Kaseya - ราคาประมาณ 6k ต่อปีสำหรับ 250 nodes ถ้าฉันจำได้อย่างถูกต้อง แต่เป็นเครื่องมือที่ยอดเยี่ยมและมีชุมชนผู้ใช้ที่ใช้งานมาก มันมุ่งเป้าไปที่ตลาด msp และช่วยให้การตรวจสอบระบบหลาย บริษัท มันสามารถใช้ภายในโดยไม่มีปัญหา

GFI Hounddog - เรียบง่ายกว่า Kaseya แต่ราคาถูกมากในขณะนี้ ดูคุ้มค่าแน่นอน

มีโซลูชั่นจำนวนมากที่จำหน่ายในระบบ MSP แต่โดยพื้นฐานแล้วจะมีการรวมจอภาพ + ผู้ดูแลระบบระยะไกลเข้าด้วยกัน

เอียน

สำหรับ syslogging แบบรวมศูนย์ที่มีคุณสมบัติที่ยอดเยี่ยมมากมายฉันอดไม่ได้ที่จะแนะนำrsyslogให้มากพอ มันเป็นเซิร์ฟเวอร์โอเพ่นซอร์ส syslog ที่สามารถใช้งานได้อย่างมีความสุขเช่นเดียวกับการแทนที่สำหรับ syslogd ปกติที่คุณรู้จักและชื่นชอบ ตอนนี้มันเป็น syslog daemon ที่เป็นทางเลือกสำหรับ Ubuntu และฉันคิดว่า Red Hat & Fedora อาจจะไปตามทางนั้นเช่นกัน ฉันพบว่ามันง่ายกว่ามากที่จะเริ่มต้นใช้งานและทำสิ่งที่คุณต้องการว่า syslog-ng

ขณะนี้ในร้านค้าของเราเรามีเซิร์ฟเวอร์ rsyslog ส่วนกลางสองแห่ง (หนึ่งแห่งในแต่ละไซต์) ซึ่งรับบันทึกสำหรับเซิร์ฟเวอร์นับร้อย ฉันได้รับอีเมลแจ้งเตือนอัตโนมัติเมื่อใดก็ตามที่บางสิ่งใน syslog เรียกใช้การแจ้งเตือนหรือสูงกว่า (แน่นอนว่ามีการปรับแต่งแอพบางแอพอาจเป็นตัวตื่นตกใจเล็กน้อย) ฉันอาจจะทำสิ่งที่ฉลาดกว่านี้เช่นทำให้มันส่งไปยัง nagios หรือเช่นนั้น แต่มันครอบคลุมเราเพียงพอสำหรับความต้องการของเราในตอนนี้

ทั้งหมดนี้จะเข้าสู่ฐานข้อมูล mysql เช่นกัน (นอกจากนี้ยังรองรับ Oracle หรือ postgresql หากเป็นวิธีที่คุณหมุน)

นอกจากนี้ยังมีส่วนหน้าเว็บและตัวแทน windowsสำหรับการส่งบันทึกเหตุการณ์ไปยังเซิร์ฟเวอร์ rsyslog เช่นกัน เห็นได้ชัดว่าส่วนหน้าของเว็บนั้นไม่ลื่นเหมือน splunk แต่ได้งานที่ต้องทำสำหรับ $ 0

ลองดูที่http://www.codeplex.com/polymon

โอเพ่นซอร์สของมันใช้ SQL Server ที่แบ็กเอนด์และมี UI ที่เป็นแฟนซี

ฉันยอมรับว่า Splunk นั้นยอดเยี่ยม สำหรับขนาดเล็กตระหง่านสภาพแวดล้อมลินุกซ์แม้ว่าคุณอาจต้องการที่จะมองไปที่สิ่งที่ต้องการepylog

เราใช้มันในสถานที่แห่งหนึ่งที่ฉันเคยทำงานและมันก็ยอดเยี่ยมสำหรับสิ่งที่เราต้องการ

ไม่แน่ใจว่ามันจัดการกับข้อความ Windows syslog ที่ส่งไปยังตัวรวบรวม Linux syslog ได้ดีเพียงใด แต่อาจคุ้มค่ากับการถ่ายทำ

เพียงเชื่อมโยงคำตอบของฉันที่อื่น:

Splunk มีราคาแพงน่าขนลุก: อะไรคือทางเลือก?

แก้ไข (โครงการใหม่):

โครงการLogStashและGraylog2ดูน่าสนใจมาก

นี่คือคู่ของวิดีโอ: หนึ่ง สอง

สิ่งที่ชอบGFI EventsManagerอาจทำเคล็ดลับได้ประมาณ $ 4k

• การวิเคราะห์บันทึกเหตุการณ์รวมถึง SNMP Traps, บันทึกเหตุการณ์ Windows, บันทึก W3C และ Syslog
• การแจ้งเตือนแบบเรียลไทม์ SNMPv2 กับดักแจ้งเตือนรวมอยู่ด้วย
• ดูรายงานเกี่ยวกับข้อมูลความปลอดภัยที่สำคัญที่เกิดขึ้นตอนนี้
• การบันทึกเหตุการณ์จากส่วนกลาง
• ลบ "เสียงรบกวน" หรือเหตุการณ์เล็ก ๆ น้อย ๆ ที่ทำขึ้นเป็นอัตราส่วนขนาดใหญ่ของเหตุการณ์ความปลอดภัยทั้งหมด
• ตรวจสอบและแจ้งเตือนตลอด 24 ชั่วโมง 7 วัน 365 วัน
• ตรวจสอบสถานะของ GFI EventsManager และเครือข่ายของคุณแบบกราฟิกด้วยการตรวจสอบสถานะในตัว
• รองรับสภาพแวดล้อมเสมือนจริง

หากคุณกำลังมองหาทดแทน SysLog คุณอาจต้องการที่จะต้องพิจารณา syslog พาณิชย์ / ทดแทน rsyslog เช่น LogLogic, http://loglogic.com เรา (เป็นที่ที่ฉันทำงาน) มีชุดบันทึกอุปกรณ์จัดเก็บข้อมูลและชุดรายงานที่ครบถ้วน โดยพื้นฐานแล้วความสามารถในการรวบรวมข้อความ 100,000 ข้อความต่อวินาทีเจ็บและจัดทำดัชนีเพื่อให้สามารถทำการค้นหาได้

คุณสามารถลอง logscape จาก liquidlabs - คล้ายกับ splunk แต่มีคุณสมบัติที่แตกต่างกันเล็กน้อยเช่นกัน .... http://www.liquidlabs-cloud.com/products/logscape.html

ฉันทำสิ่งที่แบ็กเอนด์ SQL ในงานก่อนหน้า (มันคือ MySQL โดยวิธี), พร้อมด้วยสคริปต์, ส่วนต่อประสาน Drupal พร้อมกับสคริปต์ PHP ที่กำหนดเอง, งาน

สุจริตมันใช้เวลามากเกินไปชั่วโมงและยังไม่ Splunk

ขณะนี้ฉันกำลังทดสอบ Splunk แทน ใช่มันไม่ฟรี แต่ดูที่ภาพใหญ่จริง ๆ แล้วมันอาจจะถูกกว่า

คุณเคยลอง php-syslog-ng หรือยัง http://code.google.com/p/php-syslog-ng/

ฉันโพสต์หัวข้อ dupe: Splunk มีราคาแพงน่าขนลุก: อะไรคือทางเลือก?

xpolog และโซลูชันเชิงพาณิชย์ที่จริงจังทั้งหมดคือ BIG $ (แม้ว่าจะน้อยกว่าความกล้าหาญส่วนใหญ่จะเป็น 5 หลักได้อย่างง่ายดาย!)

Sooooo, สิ่งที่เราทำในที่สุด (สาเหตุความกล้าหาญมากเกินไป $):

1) เราต้องการ syslog ง่ายๆไปยัง sql db ไปป์ไลน์

2) เราลองกีวี syslog สิ่งนี้ใช้งานได้ดีเยี่ยมเป็นเวลาหนึ่งสัปดาห์หยุดทำงานและการสนับสนุนกีวีไม่สามารถแก้ไขได้ ดังนั้นเราจึงทิ้งกีวี

3) เราลอง winsyslog สุนัขตัวเก่าของแอพเราไม่ต้องการเรียนรู้

4) เราใช้แอพ. net นี้ฟรี: http://www.aonaware.com/syslog.htm

voila เรามีข้อความ syslog ในฐานข้อมูลของเรา

เรามีความสุขมาก. ใช้เวลา $ 0 บางชั่วโมง แต่ไม่มากเกินไป

เราใช้ Splunk ที่นี่และฉันรู้สึกตกใจกับราคาที่พวกเขาบอกคุณ การวิเคราะห์พื้นฐานที่เรามอบให้นั้นอยู่ที่ประมาณ $ 1k US ต่อข้อมูล 1GB มันมีค่าใช้จ่ายสูง แต่ทรงพลังและรวดเร็วในการพัฒนาด้วย ขึ้นอยู่กับแหล่งข้อมูลของคุณและสิ่งที่คุณต้องการจะทำกับมันสคริปต์ไพ ธ อนและ Perl บางตัวอาจให้ข้อมูลที่คล้ายกันจำนวนมากแก่คุณ ความแตกต่างที่สำคัญคือเวลาและการเรียนรู้ที่จะใช้ภาษาในการประมวลผลข้อความอย่างแท้จริง คุณจะไม่สามารถรับข้อมูล IP แบบเรียลไทม์ (เช่น syslog) แม้ว่าคุณจะสามารถแก้ไขได้โดยรับ syslogger และส่งออกข้อมูลไปยังไฟล์ข้อความ ขออภัยฉันไม่สามารถชี้คุณไปยังโซลูชันเฉพาะ สิ่งที่เราไม่สามารถใช้ splunk ได้เพราะเราใช้สคริปต์ python, perl และ bash

ELSA - ค้นหาบันทึกองค์กรและเก็บถาวร

คุณสมบัติหลัก:

• ค้นหาข้อความแบบเต็มกับคำใด ๆ ในข้อความหรือฟิลด์แยกวิเคราะห์
• จัดกลุ่มตามเขตข้อมูลใด ๆ และจัดทำรายงานตามผลลัพธ์
• กำหนดการค้นหา
• แจ้งเตือนเมื่อมีการค้นหายอดนิยมเกี่ยวกับบันทึกใหม่
• บันทึกการค้นหา, อีเมล์บันทึกผลการค้นหา
• สร้างตั๋วเหตุการณ์ขึ้นอยู่กับผลการค้นหา (พร้อมปลั๊กอิน)
• ระบบปลั๊กอินที่สมบูรณ์สำหรับผลลัพธ์
• ส่งออกผลลัพธ์เป็นลิงก์ถาวรหรือใน Excel, PDF, CSV และ HTML
• การรวม LDAP แบบเต็มสำหรับการอนุญาต
• สถิติสำหรับเคียวรีตามผู้ใช้และขนาดบันทึกและจำนวน
• สถาปัตยกรรมแบบกระจายเต็มสามารถจัดการโหนด n กับแบบสอบถามทั้งหมดที่ดำเนินการในแบบคู่ขนาน
• บีบอัดไฟล์เก็บถาวรที่มีอัตราส่วนมากกว่า 10: 1

รายละเอียดประสิทธิภาพ:

สำหรับการระบุระบบตามลำดับความสำคัญ: ขนาดของดิสก์, RAM, ความเร็วดิสก์, จำนวนของ CPU ปัจจัยด้านประสิทธิภาพที่เหนือกว่าคือตัวสร้างดัชนีและค้นหา daemon ของ Sphinx ดังนั้นโปรดอ้างถึง sphinxsearch.com สำหรับเอกสาร สถิติที่ฉันได้รับมาจากระบบขนาดใหญ่ (16 CPU, 144 GB RAM, 12 TB HD) แต่คุณจะได้รับประสิทธิภาพที่เหมือนกันในระบบที่มี 4 CPU, RAM 8 GB และ HD ขนาดอื่น ๆ ตามขนาดเชิงเส้น ระบบแรกรันบนเบลด IBM ที่มี RAM ขนาด 4 GB และไดร์ฟ SAN ที่ช้าและดำเนินการในอัตราเดียวกัน แต่ 4 GB กำลังตัดให้ใกล้เคียงกัน

รายละเอียดประสิทธิภาพและรายการคุณสมบัติหลักรวมถึงคำอธิบายสถาปัตยกรรม: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

รหัส: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

รายละเอียดเกี่ยวกับโครงการ: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

หากคุณกำลังมองหาทางเลือกที่เหมาะสมกับ Splunk - ลอง LogZilla ( http://www.logzilla.pro ) มันปรับขนาดได้ดีหรือดีกว่า Splunk (คุณสามารถค้นหาบันทึกมากกว่า 300m ในเวลาประมาณ 1-2 วินาที) และเป็นค่าใช้จ่าย 1/10 ได้อย่างง่ายดาย พวกเขามีการสาธิตการทำงานที่http://demo.logzilla.pro