เครื่องมือที่ดีที่สุดสำหรับการตรวจสอบการสำรองข้อมูล ฯลฯ และสถิติที่ได้รับความนิยมจากข้อมูลนั้น [ปิด]

ฉันได้ทำการค้นคว้าเรื่อง nagios, opennms และ zenoss แล้ว แต่ไม่มั่นใจว่าฉันได้พบสิ่งที่ฉันกำลังมองหา

แรงผลักดันหลักสำหรับฉันในตอนนี้คือความสามารถในการตรวจสอบการสำรองข้อมูล ซึ่งรวมถึง mysql, mssql และในที่สุดก็มีการสำรองข้อมูลระบบไฟล์บางส่วน

เรามีเครื่องมือที่ล้อมกระบวนการสำรองข้อมูลสำหรับระบบที่แตกต่างกันเหล่านี้และรวบรวมสถิติ ดังนั้นรายการที่ชอบ:

• จำนวนฐานข้อมูลที่สำรอง
• ขนาดของไฟล์สำรองข้อมูล db
• ขนาดของไฟล์สำรอง db ที่ถูกบีบอัด
• เวลาในการสำรองข้อมูล
• เวลาที่จะซิปไฟล์

ฉันต้องการให้ A) มีการแจ้งเตือนหากงานไม่ทำงานตามกำหนดเวลา B) สามารถตั้งค่าขีด จำกัด บนสถิติที่จะเรียกใช้การแจ้งเตือน C) ฉันต้องการแนวโน้มและกราฟสถิติ

ฉันวางแผนที่จะส่งข้อมูลนี้ไปยังแอปพลิเคชันตรวจสอบผ่าน HTTP POST หรือแอปพลิเคชันตรวจสอบสามารถดึงข้อมูลจากไฟล์บันทึกได้เช่นกัน

อย่างไรก็ตามเราจะมีกระบวนการอื่น ๆ ด้วยสถิตยศาสตร์ "อื่น ๆ " (จากมุมมองของระบบการตรวจสอบ) สถิตที่จะต้องการตรวจสอบและแนวโน้มดังนั้นความยืดหยุ่นเป็นสิ่งสำคัญมาก

เครื่องมือหรือเครื่องมือควรสามารถทำการตรวจสอบทั่วไปและแนวโน้มของอินเทอร์เฟซเครือข่ายโหลดเซิร์ฟเวอร์ ฯลฯ เมื่อเราได้รับการตรวจสอบการสำรองข้อมูลแล้วเราจะต้องรวมรายการเหล่านั้นด้วย

ขอบคุณ

ติดตามผล :

ฉันตัดสินใจลองสิ่งต่อไปนี้ตามลำดับที่กำหนด:

• Zabbix: ดูเหมือนจะเป็น "ร้านค้าครบวงจร" มากกว่าร้านอื่น ๆ และติดตั้งได้ง่ายใน Ubuntu Lucid RC
• OpsView
• Nagios w / nagvis, pnp4nagios, nagiosgraph
• ปลั๊กอิน cacti w / npc
• Munin: แผลเป็นเล็กน้อยจากความเรียบง่าย แต่นี่อาจเป็นพรในระยะยาว

จะโพสต์กลับมาเมื่อฉันได้ตัดสินใจอาจใช้เวลาสักครู่จนกว่าจะเกิดขึ้น

แทนที่จะเขียนวิธีการตรวจสอบของคุณเองฉันขอแนะนำให้คุณใช้เครื่องมือที่มีอยู่เพื่อให้ฟังก์ชั่นการตรวจสอบและการแจ้งเตือนขั้นพื้นฐานทั้งหมดได้รับการใช้งานแล้ว หากคุณเลือก Nagios คุณจะได้รับการตรวจสอบพื้นฐานของทรัพยากรเซิร์ฟเวอร์และเครือข่ายโดยไม่เสียค่าใช้จ่ายและปลั๊กอินต่อไปนี้ควรให้ส่วนที่เหลือที่คุณต้องการ:

check_file_ages_in_dirsจะบอกคุณว่ามีไฟล์สำรองอยู่หรือไม่ นี่คือโพสต์บล็อกที่ฉันเขียนด้วยตัวอย่างพื้นฐาน

check_fileสามารถตรวจสอบขนาดไฟล์และเนื้อหา (โดยใช้ regexes) ดังนั้นคุณสามารถส่งออกสถิติการสำรองข้อมูลของคุณไปยังไฟล์และตรวจสอบพวกเขา

สิ่งหนึ่งที่คุณจะไม่ได้รับจาก Nagios คือแนวโน้มและกราฟ ฉันขอแนะนำให้ดูMuninเพราะมันง่ายในการติดตั้งและเช่นเดียวกับ Nagios มีปลั๊กอินเสริม

นี่ควรจะง่ายต่อการติดตั้งกับ zabbix

การตั้งค่ากำหนดเอง (และมีประสิทธิภาพมาก) เกณฑ์เป็นเรื่องง่าย - คุณสามารถเขียนนิพจน์ที่คุณชอบดังนั้นบางอย่างเช่น "แจ้งให้ฉันทราบหากเซิร์ฟเวอร์มากกว่า 3 ใน 5 เซิร์ฟเวอร์เหล่านี้ไม่มีการสำรองข้อมูลสำเร็จ" เป็นไปได้ คุณสามารถใช้ระดับความรุนแรงและการเลื่อนระดับได้ 6 ระดับเพื่อให้ได้การแจ้งเตือนและการแจ้งเตือนที่ยืดหยุ่น

zabbix มีความสามารถในการจัดเก็บข้อมูลและการแสดงภาพข้อมูลทั้งหมดถูกเก็บไว้ในฐานข้อมูลและเพื่อสร้างกราฟตัวชี้วัดเดียวที่คุณไม่ต้องการการกำหนดค่าใด ๆ - คุณเพียงแค่ได้รับกราฟสำหรับ "ฟรี" สำหรับการจัดเก็บข้อมูลระยะยาวและการคำนวณหาค่าเฉลี่ยหนึ่งชั่วโมง

สำหรับการรับข้อมูลของคุณเกี่ยวกับการสำรองข้อมูลลงใน zabbix นั้นมีความเป็นไปได้หลายอย่าง คุณสามารถอ่านได้จากไฟล์คุณสามารถเรียกใช้คำสั่งที่กำหนดเองคุณสามารถผลักมันจากเครื่องที่ถูกตรวจสอบโดยใช้ commandline utility zabbix_sender ... และอาจมีแนวทางที่เป็นไปได้อีกเล็กน้อย

การขยายเป็นเรื่องง่าย - คำสั่งที่กำหนดเองใด ๆ ที่ส่งคืนข้อมูลสามารถใช้เพื่อรวบรวมจัดเก็บและแสดงภาพข้อมูลนั้นได้

แน่นอนการตรวจสอบทั่วไปของระบบปฏิบัติการแอปพลิเคชันอุปกรณ์ snmp และ ipmi และอื่น ๆ เป็นไปได้

การกระทำ

การสำรองข้อมูลได้รับการบงการโดยbackupninja ฉันใช้มันเป็นเพียงเสื้อคลุมสำหรับสคริปต์ทุบตีของฉัน - มีบันทึกสำรองเดียว แต่ละสคริปต์เริ่มต้นด้วย

 function handle {
         echo Error
         error problem occured
 }
 set -e
 trap handle ERR

ดังนั้นฉันจึงได้รับข้อผิดพลาดในบันทึกเมื่อใดก็ตามที่คำสั่งใด ๆ [เช่น mysqldump หรือ rsync] ล้มเหลว

การสำรองข้อมูลทั้งหมดจบลงในที่เก็บrdiffดังนั้นฉันจึงมีวันเพิ่มขึ้นอีก n วัน

การสำรองข้อมูลทั้งหมดจะถูกส่งโดยใช้ rsync ไปยังเซิร์ฟเวอร์จัดเก็บข้อมูลกลาง

บนเซิร์ฟเวอร์จัดเก็บข้อมูลสำรองทั้งหมดได้รับการตรวจสอบทุกวันและหลังจากการตรวจสอบความถูกต้องของข้อมูลบนดิสก์ภายในเครื่องพวกเขาจะถูกคัดลอกไปยังไดรฟ์ usb ภายนอก

การตรวจสอบ

backupninja.log บนเซิร์ฟเวอร์ทั้งหมดได้รับการตรวจสอบโดย nagios ฉันตรวจสอบว่าพวกเขามีเพียงข้อความ DEBUG และ INFO สิ่งอื่นใดที่ทำให้เกิดการแจ้งเตือน

การสำรองข้อมูลทุกครั้ง 'สัมผัส' ไฟล์ทดสอบสถานะและความสดใหม่ซึ่งถูกตรวจสอบบนเซิร์ฟเวอร์ที่เก็บข้อมูลสำรองกลางด้วย nagios

นอกจากนี้ที่สำคัญยิ่งกว่านั้น sql dumps ได้รับการตรวจสอบขนาดของพวกเขา [ไม่ใช่แค่ความสดใหม่] และความสมบูรณ์ [เช่นเมื่อสิ้นสุด mysql dumps ฉันคาดว่าจะมีการประทับเวลาใหม่ใน

- การถ่ายโอนข้อมูลเสร็จสมบูรณ์ใน 2010-04-22 23:21:02

ไฟล์เก็บถาวร rdiff ทั้งหมดได้รับการตรวจสอบทุกวันก่อนที่ข้อมูลจะถูกซิงค์กับไดรฟ์ USB จากนั้นทำการซิงค์อีกครั้ง ดังนั้นแม้ว่าการถ่ายโอนทุกคืนจะถูกขัดจังหวะฉันจะมีที่เก็บข้อมูลที่สอดคล้องกันบนดิสก์ USB ผลลัพธ์ของการตรวจสอบถูกบันทึกลงในไฟล์ซึ่งเนื้อหาและความสดใหม่ถูกตรวจสอบโดย nagios

ดิสก์ usb รับการหมุนทุกสัปดาห์และเก็บไว้แบบออฟไลน์ในกรณี สิ่งนี้อาจ overkill สำหรับข้อมูลจำนวนมาก แต่ทำงานได้ดีสำหรับ ~ 300GB ของการเปลี่ยนแปลงไฟล์ / ทิ้งช้า

แนวโน้ม

ฉันใช้ปลั๊กอินmuninแบบกำหนดเองอย่างง่ายเพื่อพล็อตขนาดของ diff / data สำหรับที่เก็บ rdiff แต่ละอัน

เวลาที่ใช้ในการดำเนินการสามารถตรวจสอบได้ในบันทึก backupninja แต่ตอนนี้ฉันไม่สนใจมัน

nagios สามารถทำแนวโน้มได้ แต่คุณต้องส่งออก perfdata ( http://nagios.sourceforge.net/docs/1_0/perfdata.html ) ในปลั๊กอินของคุณ หากคุณใช้ pnp4nagios http://docs.pnp4nagios.org/pnp-0.4/startทุกอย่างจะถูกทำกราฟให้คุณ

ฉันพบว่าการใช้ opsview http://www.opsview.org/นั้นง่ายกว่าการกำหนดค่า nagios และ pnp4nagios เป็นพิเศษหากคุณเป็นผู้ดูแลระบบที่เข้าใจใน linux เพียงคนเดียว Opsview เป็น nagios ที่มี webui ที่ยอดเยี่ยมที่ช่วยให้การกระทำเกือบทั้งหมดจากเว็บเบราว์เซอร์ เนื่องจากมันเป็น nagios คุณสามารถใช้ปลั๊กอิน nagios ทั้งหมดที่คุณเคยใช้ในอดีต เครื่องมือที่ยอดเยี่ยม

Nagiosสำหรับการแจ้งเตือนและCactiสำหรับการสร้างกราฟรวมถึงบางเชลล์หรือสคริปต์ Perl จะทำสิ่งที่คุณต้องการ ด้วยการรวมกันของพวกเขาเข้าด้วยกันคุณสามารถทำอะไรที่สวยมากขึ้นอยู่กับปริมาณของความพยายามที่คุณยินดีที่จะใส่

ผมขอแนะนำให้OpenNMS แพคเกจเป็นโอเพนซอร์สอย่างสมบูรณ์สนับสนุนอย่างแข็งขันและปรับปรุงอย่างสม่ำเสมอ สำหรับการอ้างอิงที่ฉันพบในการกำหนดค่าข้อมูลวิกิพีเดียของพวกเขาเพื่อตรวจสอบ Symantec Backup Exec

จากเว็บไซต์ของพวกเขา ..

OpenNMS เป็นแพลตฟอร์มการจัดการเครือข่ายระดับองค์กรแรกของโลกที่พัฒนาภายใต้รูปแบบโอเพ่นซอร์ส ประกอบด้วยโครงการโอเพ่นซอร์สที่สนับสนุนชุมชนรวมถึงบริการเชิงพาณิชย์การฝึกอบรมและองค์กรสนับสนุน

การเปิดเผยข้อมูล: ฉันไม่มีผลประโยชน์เชิงพาณิชย์ที่นี่ แต่เจ้าของกลุ่ม OpenNMSซึ่งเป็น "บริการเชิงพาณิชย์การฝึกอบรมและองค์กรสนับสนุน" ที่กล่าวถึงข้างต้นเป็นเพื่อนของฉัน

สามารถทำได้อย่างง่ายดายด้วย Circonus ( http://circonus.com/ ) เรานำเข้าการวัดเช่นนี้เป็นประจำด้วย Resmon XML DTD