การประเมินความเสียหายของอุปกรณ์หลังจากเกิดฟ้าผ่า - ฉันควรวางแผนมากกว่านี้หรือไม่?

หนึ่งในเว็บไซต์ของลูกค้าของฉันได้รับผลกระทบโดยตรงจากสัปดาห์ก่อน (บังเอิญเมื่อวันศุกร์ที่ 13! )

ฉันอยู่ห่างไกลจากไซต์ แต่ทำงานกับคนที่อยู่นอกสถานที่ฉันค้นพบความเสียหายแปลก ๆ ลิงก์อินเทอร์เน็ตทั้งคู่ไม่ทำงานเซิร์ฟเวอร์ส่วนใหญ่ไม่สามารถเข้าถึงได้ ความเสียหายส่วนใหญ่เกิดขึ้นในMDFแต่IDF ที่เชื่อมต่อกับเส้นใยหนึ่งตัวก็หายไป 90% ของพอร์ตในสมาชิกสวิทช์สแต็ก พอสวิทช์สำรองเพียงพอที่จะแจกจ่ายสายเคเบิลที่อื่นและ reprogram แต่มีการหยุดทำงานในขณะที่เราไล่ล่าอุปกรณ์ที่ได้รับผลกระทบ ..

นี่เป็นอาคารใหม่ / คลังสินค้าและการวางแผนมากมายไปสู่การออกแบบห้องเซิร์ฟเวอร์ ห้องเซิร์ฟเวอร์หลักของAPC SmartUPS RT 8000VA เป็นระบบแปลงคู่ออนไลน์ของAPCซึ่งได้รับการสนับสนุนจากเครื่องกำเนิดไฟฟ้า มีการกระจายพลังงานที่เหมาะสมไปยังอุปกรณ์ที่เชื่อมต่อทั้งหมด มีการจำลองข้อมูลนอกสถานที่และสำรองระบบ

ในทุกความเสียหาย (ที่ฉันรู้) คือ:

• ล้มเหลวบัตรสาย 48 พอร์ตบนสวิตช์ Cisco 4507R-E
• สวิตช์ Cisco 2960 ล้มเหลวในสแต็ก 4 สมาชิก (อุ้ย ... สายเคเบิลเรียงซ้อนหลวม)
• พอร์ตที่ไม่สม่ำเสมอหลายแห่งบนสวิตช์ Cisco 2960
• HP ProLiant DL360 G7 มาเธอร์บอร์ดและแหล่งจ่ายไฟ
• ตัวเชื่อมโยงElfiq WAN
• โมเด็มโทรสาร Multitech หนึ่งตัว
• WiMax / เสาอากาศอินเทอร์เน็ตไร้สายคงที่และหัวฉีดไฟฟ้า
• อุปกรณ์เชื่อมต่อ PoE จำนวนมาก (โทรศัพท์ VoIP, จุดเชื่อมต่อ Cisco Aironet, กล้องรักษาความปลอดภัย IP)

ปัญหาส่วนใหญ่เชื่อมโยงกับการสูญเสียสวิตช์เบลดทั้งหมดใน Cisco 4507R-E สิ่งนี้มีเครือข่าย VMware NFS บางส่วนและอัปลิงค์ไปยังไฟร์วอลล์ของไซต์ โฮสต์ VMWare ล้มเหลว แต่ HA ดูแลการเชื่อมต่อเครือข่ายพื้นที่เก็บข้อมูลของ VM เมื่อคืนค่าแล้ว ฉันถูกบังคับให้ต้องรีบูท / จ่ายพลังงานอุปกรณ์จำนวนหนึ่งเพื่อล้างสถานะพลังงานขี้ขลาด ดังนั้นเวลาในการพักฟื้นจึงสั้น แต่ฉันอยากรู้ว่าควรเรียนรู้บทเรียนอะไร ...

• ควรมีการป้องกันอะไรเพิ่มเติมเพื่อป้องกันอุปกรณ์ในอนาคต
• ฉันจะเข้าใกล้การรับประกันและการเปลี่ยนได้อย่างไร Cisco และ HP กำลังเปลี่ยนสินค้าภายใต้สัญญา เครื่องมือสร้างสมดุลการเชื่อมโยง Elfiq WAN มีราคาแพงมีการแจ้งเตือนบนเว็บไซต์ของตนว่าโดยทั่วไปแล้วพูดว่า "แย่มากใช้เครือข่ายอุปกรณ์ป้องกันไฟกระชาก " (ดูเหมือนว่าพวกเขาคาดหวังความล้มเหลวประเภทนี้)
• ฉันอยู่ในวงการไอทีมานานพอที่จะพบกับความเสียหายจากพายุไฟฟ้าในอดีต แต่มีผลกระทบ จำกัด มาก เช่นอินเทอร์เฟซเครือข่ายของพีซีราคาถูกหรือการทำลายของสวิตช์ขนาดเล็ก
• มีอะไรอีกบ้างที่ฉันสามารถทำได้เพื่อตรวจสอบอุปกรณ์ที่อาจเป็นขุยหรือฉันต้องรอพฤติกรรมแปลก ๆ
• นี่เป็นเพียงโชคร้ายทั้งหมดหรือสิ่งที่ควรนำมาใช้ในการกู้คืนจากความเสียหาย?

ด้วย $$$ ที่เพียงพอคุณสามารถสร้างความซ้ำซ้อนในสภาพแวดล้อมได้ทุกประเภท แต่อะไรคือความสมดุลที่สมเหตุสมผลของการออกแบบเชิงป้องกัน / รอบคอบและการใช้ทรัพยากรอย่างมีประสิทธิภาพที่นี่

สองสามงานที่ผ่านมาหนึ่งในดาต้าเซ็นเตอร์สำหรับสถานที่ที่ฉันทำงานคือหนึ่งชั้นใต้อากาศขนาดใหญ่มาก รายการโลหะที่มีขนาดใหญ่และบางชิ้นนี้เป็นสิ่งที่สูงที่สุดในพื้นที่และโดนฟ้าผ่าทุก ๆ 18 เดือน ดาต้าเซ็นเตอร์สร้างขึ้นในปี 1980 ดังนั้นฉันจะไม่เรียกมันว่าเป็นสิ่งที่ทันสมัยที่สุดรอบตัว แต่พวกเขามีประสบการณ์อันยาวนานในการจัดการกับความเสียหายจากฟ้าผ่า (บอร์ดอนุกรม comms ต้องถูกแทนที่ทุกครั้งซึ่งเป็นการทดลองถ้า บอร์ดอยู่ในระบบที่ไม่มีชิ้นส่วนใหม่ ๆ เกิดขึ้นภายใน 10 ปี)

สิ่งหนึ่งที่ถูกเลี้ยงดูมาด้วยมืออันเก่าคือกระแสไฟฟ้าที่น่าเกรงขามทั้งหมดสามารถหาทางรอบ ๆ ได้และสามารถแพร่กระจายในพื้นดินทั่วไปเมื่อสะพานเชื่อมต่อและสามารถเชื่อมต่อจากช่องว่างอากาศได้ สายฟ้าเป็นกรณีพิเศษที่มาตรฐานความปลอดภัยปกติไม่ดีพอที่จะป้องกันส่วนโค้งและจะไปไกลเท่าที่มีพลังงาน และก็มีมากมาย หากมีพลังงานเพียงพอก็สามารถอาร์คจากกริดเพดานแขวน (บางทีหนึ่งในสายแขวนถูกแขวนจากห่วงที่เชื่อมต่อกับคานอาคารในซีเมนต์) ไปด้านบนของแร็คโพสต์ 2 และจากนั้นเข้าไปใน เครือข่ายสารพัด

เช่นเดียวกับแฮ็กเกอร์มีเพียงคุณเท่านั้นที่ทำได้ ฟีดกำลังของคุณทุกคนมีเบรกเกอร์ที่ยึดแรงดันไฟฟ้าปลอม แต่อุปกรณ์เครือข่ายแรงดันไฟฟ้าต่ำของคุณแทบไม่เคยทำและแสดงถึงเส้นทางทั่วไปสำหรับกระแสไฟแรงสู่เส้นทาง

การตรวจจับชุดที่ไม่สม่ำเสมออาจเป็นสิ่งที่ฉันรู้ว่าต้องทำในทางทฤษฎี แต่ไม่ใช่ในความเป็นจริง ทางออกที่ดีที่สุดของคุณน่าจะเป็นที่ใส่เกียร์ผู้ต้องสงสัยเข้าไปในพื้นที่และจงใจนำอุณหภูมิในห้องขึ้นไปสู่ระดับสูงสุดของช่วงปฏิบัติการและดูว่าเกิดอะไรขึ้น เรียกใช้การทดสอบบางอย่างโหลด heck ออกมาจากมัน ทิ้งไว้สักสองสามวัน ความเครียดจากความร้อนที่เพิ่มขึ้นจากความเสียหายทางไฟฟ้าที่มีอยู่ก่อนหน้านี้อาจทำให้เกิดการระเบิดครั้งหนึ่ง

แน่นอนทำให้อายุการใช้งานของอุปกรณ์บางอย่างสั้นลง แต่การค้นหาว่าอันไหนที่ยาก วงจรปรับสภาพพลังงานภายในตัวจ่ายไฟอาจทำให้ส่วนประกอบต่าง ๆ เสียหายและส่งกำลังสกปรกไปยังเซิร์ฟเวอร์ซึ่งเป็นสิ่งที่คุณสามารถตรวจจับได้ด้วยการใช้อุปกรณ์พิเศษที่ออกแบบมาเพื่อทดสอบอุปกรณ์สิ้นเปลืองพลังงานเท่านั้น

ฟ้าผ่าไม่ได้สิ่งที่ฉันได้รับการพิจารณาสำหรับ DR นอกของการมีซีในสิ่งอำนวยความสะดวกที่มีสายล่อฟ้ายักษ์บนหลังคา โดยทั่วไปการนัดหยุดงานเป็นหนึ่งในสิ่งเหล่านั้นที่เกิดขึ้นไม่บ่อยนักที่จะถูกสับภายใต้ 'การกระทำของพระเจ้า' และย้ายไป

แต่ ... คุณมีแล้วตอนนี้ มันแสดงให้เห็นว่าสถานที่ของคุณมีเงื่อนไขที่ถูกต้องอย่างน้อยหนึ่งครั้ง ถึงเวลาที่จะได้รับการประเมินว่าสถานประกอบการของคุณมีแนวโน้มที่จะได้รับเงื่อนไขที่ถูกต้องและวางแผนอย่างไร หากคุณกำลังนึกถึงผลกระทบ DR ของสายฟ้าผ่าตอนนี้ฉันคิดว่าเหมาะสมแล้ว

ฉันกำลังคิดเกี่ยวกับคำถามนี้เนื่องจากเพิ่งได้รับการแก้ไขกลับไปที่ด้านบนของหน้าแรก

ฉันกำหนดอย่างอิสระสำหรับคนอย่าง sysadmin1138 ที่ต้องจัดการกับการติดตั้งที่น่าดึงดูดอย่างยิ่งต่อการโจมตีด้วยสายฟ้าขนาดใหญ่บนหลังคา DC การวางแผนฉุกเฉินเฉพาะสำหรับการนัดหยุดงานครั้งใหญ่นั้นสมเหตุสมผล แต่สำหรับพวกเราส่วนใหญ่นี่เป็นเหตุการณ์ที่เกิดขึ้นครั้งเดียวและฉันคิดว่าคำตอบที่เหมาะสมกว่าโดยทั่วไปสำหรับเราที่เหลืออาจมีค่าบางอย่าง

มันเป็นไปได้ที่จะจินตนาการทุกชนิดของภัยคุกคามภาพยนตร์เรื่องพล็อต ; สถานการณ์ที่อาจเกิดขึ้นได้อย่างแน่นอนจะทำให้การดำเนินธุรกิจของคุณลดลงอย่างแน่นอนหากพวกเขาทำเช่นนั้น แต่ไม่มีเหตุผลที่จะคิดว่ามีโอกาสสูงที่จะเกิดขึ้น คุณจะรู้ว่าสิ่งต่าง ๆ ; เครื่องบินจู่โจม / สายฟ้า / คลังน้ำมันระเบิดใกล้เคียง / สถานการณ์ที่มีความเสี่ยง

แต่ละแผนเหล่านี้มีแผนบรรเทาผลกระทบเฉพาะที่สามารถนำมาใช้ได้ แต่ฉันขอแนะนำว่า - modulo ข้อกำหนดของฉันข้างต้น - มันไม่มีเหตุผลที่จะทำเช่นนั้น เนื่องจาก Schneier พยายามที่จะชี้ให้เห็นในการแข่งขันที่เชื่อมโยงข้างต้นเพียงเพราะคุณสามารถจินตนาการถึงสิ่งที่น่ากลัวเกิดขึ้นไม่ได้ทำให้เป็นภัยคุกคามต่อการวางแผนเฉพาะที่คุ้มค่าหรือเป็นที่ต้องการ สิ่งที่จะทำให้ความรู้สึกทางธุรกิจที่ดีเป็นวัตถุประสงค์ทั่วไปดีเอกสารธุรกิจการทดสอบแผนความต่อเนื่อง

คุณควรถามตัวเองว่าค่าใช้จ่ายทางธุรกิจเป็นของการสูญเสียเว็บไซต์อย่างสมบูรณ์ในช่วงเวลาต่างๆ (เช่น 24 ชั่วโมง 96 ชั่วโมงหนึ่งสัปดาห์หนึ่งเดือน) และพยายามหาปริมาณโอกาสในการเกิดเหตุการณ์แต่ละครั้ง จะต้องมีการวิเคราะห์ต้นทุนทางธุรกิจที่ซื่อสัตย์ซื้อโดยทุกระดับของธุรกิจ ฉันทำงานที่ไซต์ที่ตัวเลขที่ยอมรับโดยทั่วไปสำหรับการหยุดทำงานอยู่ที่ 5.5 ล้านปอนด์ / ชั่วโมง (และเมื่อ 20 ปีก่อนเมื่อห้าล้านเหรียญเป็นเงินจำนวนมาก); มีตัวเลขที่ตกลงกันโดยทั่วไปทำจำนวนมากดังนั้นการตัดสินใจมากขึ้นง่ายขึ้นเพราะพวกเขาก็กลายเป็นเรื่องของคณิตศาสตร์ที่เรียบง่าย

งบประมาณของคุณคือการสูญเสียที่คาดการณ์ไว้คูณด้วยโอกาสรายปีของการสูญเสียนั้น ตอนนี้ดูสิ่งที่คุณสามารถทำได้เพื่อบรรเทาภัยคุกคามสำหรับงบประมาณ

ในบางกรณีสิ่งนี้จะถูกเรียกใช้ไปยังศูนย์ข้อมูลสแตนด์บายเต็มรูปแบบพร้อมอุปกรณ์เย็น ๆ พร้อมที่จะไปตลอด 24 ชั่วโมง 7 อาจหมายถึงศูนย์ข้อมูลสแตนด์บายขนาดเล็กเพื่อให้การโต้ตอบกับลูกค้าสามารถดำเนินการต่อด้วยจำนวนผู้ปฏิบัติการทางโทรศัพท์ที่ลดลงอย่างมากและเว็บไซต์ตัวยึดตำแหน่งเตือนการหยุดชะงัก อาจหมายถึงการเชื่อมต่ออินเทอร์เน็ตที่สองที่กำหนดเส้นทางซ้ำซ้อนที่ไซต์หลักของคุณนอนเย็นจนจำเป็น อาจหมายถึงตามที่บันทึกไว้ในเครื่องหมายเฮนเดอร์สันด้านบนการประกันภัย (แต่การประกันภัยที่ครอบคลุมความสูญเสียทางธุรกิจรวมถึงค่าใช้จ่ายในการกู้คืนจริง) หากคุณสามารถใช้งบประมาณ BC ของคุณลงในกระดาษแผ่นเดียวที่จะครอบคลุมค่าใช้จ่ายทั้งหมดที่คุณคาดหวังในกรณีที่เกิดภัยพิบัติมันอาจสมเหตุสมผลที่จะซื้อกระดาษแผ่นนั้น - แต่อย่าลืมปัจจัยความล้มเหลวของผู้จัดการการจัดจำหน่ายในแผนความเสี่ยงทางธุรกิจของคุณ มันอาจหมายถึงการอัพเกรดสัญญาการบำรุงรักษาบนอุปกรณ์หลักบางอย่างเป็นค่าใช้จ่ายสี่ชั่วโมงต่อการแก้ไขที่แพงมาก มีเพียงคุณเท่านั้นที่รู้ว่าอะไรเหมาะสมกับธุรกิจของคุณ

และเมื่อคุณมีแผนนี้คุณจำเป็นต้องทดสอบจริง ๆ (ยกเว้นข้อยกเว้นที่เป็นไปได้ของแผนประกัน) ฉันทำงานที่ไซต์ที่เรามีไซต์งานเย็นขนาดเล็กที่สมบูรณ์พร้อมที่จะตัดการขับรถ 45 นาทีจากโรงงานหลักของเรา เมื่อเรามีปัญหาที่ทำให้เครือข่ายหลักปิดตัวลงเราก็ลงเอยด้วยการพยายามแก้ไขมันแบบสดแทนที่จะตัดไปยังไซต์ที่เย็นแล้วแก้ไขแกนและตัดกลับ สาเหตุหนึ่งที่ทำให้การตัดล้มเหลวคือเราไม่รู้เลยว่าต้องใช้เวลานานแค่ไหนในการตัดและลด ดังนั้นไม่มีใครรู้จริง ๆ ว่าควรอนุญาตให้ใช้งานนานแค่ไหนโดยไม่ต้องตัดให้ดีก่อนตัดสินใจตัดดังนั้น - ค่อนข้างเข้าใจได้ - มีความสุขุมในการตัดสินใจตัด หัวรีดหลังจากเรากลับมาออนไลน์อีก 14 ชั่วโมงต่อมา ไม่ใช่เพราะการหยุดทำงานต่อเนื่องแต่เนื่องจากมีการใช้เงินจำนวนมากในสถานที่เพื่อลดการหยุดทำงานแบบวันต่อวันซึ่งไม่ได้ใช้งานในช่วงเวลาดังกล่าว

ในฐานะที่เป็นจุดสุดท้ายโปรดทราบว่าองค์ประกอบภายนอกของแผนธุรกิจของคุณไม่รับประกันว่าจะทำงานได้ ผู้บริหารระดับสูงของคุณอาจจะนั่งอยู่ที่นั่นคิดว่า " ถ้าเราใส่เซิร์ฟเวอร์ไว้ในคลาวด์พวกเขาจะอยู่ที่นั่นเสมอและเราสามารถยิงระบบดูแลระบบ " ไม่เช่นนั้น เมฆสามารถล้มเหลวเหมือนอย่างอื่น; ถ้าคุณเอาต์ซอร์ซคอมโพเนนต์ที่สำคัญไปยังผู้ให้บริการสิ่งที่คุณทำคือลบความสามารถในการประเมินโอกาสของความล้มเหลวขององค์ประกอบเหล่านั้น SLA เป็นสิ่งที่ดีมาก แต่ถ้าพวกเขาได้รับการสนับสนุนจากบทลงโทษที่ไม่ใช่ประสิทธิภาพพวกเขาไม่มีความหมาย - ทำไมผู้ให้บริการของคุณจะใช้จ่ายเงินพิเศษในการพักที่มีอยู่หากพวกเขาสามารถดึงเงินและคืนค่าบริการในช่วงเวลา ไม่พร้อม? เพื่อความน่าเชื่อถือ SLA ของคุณจะต้องได้รับโทษซึ่งใกล้เคียงกับค่าใช้จ่ายสำหรับธุรกิจของคุณ ใช่ว่าจะเป็นการเพิ่มต้นทุนการเอาท์ซอร์ส และใช่นั่นคือทั้งหมดที่คาดหวัง

มันลงมาเสมอกับจำนวนเงินที่คุณต้องการใช้ ฉันไม่มีความรู้ลึกพอที่จะพูดเรื่องนี้ได้นาน แต่ฉันเคยอยู่ในศูนย์ข้อมูลยาขนาดใหญ่ที่ได้รับสายฟ้าฟาดและพัดผ่านสิ่งที่ควรจะเป็น arrester เข็มซ้ำซ้อนทวีคูณ (และได้รับการออกแบบอย่างถูกต้อง แต่ถูกนำไปใช้ผิดดังนั้นมีบางอย่างผ่านไป)

อะไรคือขัดขวางสูงสุดที่ UPS ของคุณสามารถป้องกันได้ มันควรจะมีการจัดอันดับ เห็นได้ชัดว่าการนัดหยุดงานเป็นไปโดยตรงเกินกว่าที่กำหนดหรือสิ่งที่รั่วไหลรอบ ๆ ฟีดของ UPS เช่นพื้นดินที่ไม่ดี ดังนั้นบางทีคุณอาจจะตรวจสอบการออกแบบไฟฟ้าของคุณกำหนดวิธีการที่มีแนวโน้มการนัดหยุดงานอีกอย่างก็คือการเปรียบเทียบค่าใช้จ่ายของการหยุดทำงาน X น่าจะเป็นเมื่อเทียบกับการฟื้นฟูและอาจมีไฟฟ้าให้สิ่งอำนวยความสะดวกการสำรวจที่ดีเพื่อให้แน่ใจว่าทุกอย่างของสายดิน - และบางส่วนอ่านอย่างรวดเร็วแสดงให้เห็นว่า การลงกราวด์เพื่อความปลอดภัย / รหัสไม่เข้มข้นพอ ๆ กับการลงกราวด์เพื่อป้องกันความเสียหายจากฟ้าผ่า