IPMI sideband แชร์พอร์ต ethernet กับโฮสต์อย่างไร


23

เรามีเครื่องซูเปอร์ไมโครจำนวนมากพร้อมคุณสมบัติ IPMI / BMC เครื่องเหล่านี้บางเครื่องใช้ BMC แบบออนบอร์ดในขณะที่บางเครื่องใช้การ์ดเสริม

เรากำลังพิจารณาใช้ sideband เนื่องจากมันลดต้นทุนและความต้องการในการเดินสาย อย่างไรก็ตามรายละเอียดของแถบข้างบางอย่างไม่ค่อยสมเหตุสมผล

Sideband ต้องการสายอีเธอร์เน็ตหนึ่งสายซึ่งเสียบเข้ากับพอร์ตอีเธอร์เน็ตบนเมนบอร์ด พอร์ตเครือข่ายนี้จะถูกแชร์ระหว่างระบบ IPMI และระบบปฏิบัติการ จากสิ่งที่ฉันอ่านในคู่มือ Supermicro นี้ "ใช้ที่อยู่ MAC เดียวกับที่คุณใช้สำหรับ LAN1 สำหรับการ์ด SIMSO IPMI" อย่างไรก็ตาม IPMI จะต้องมีที่อยู่ IP ที่แตกต่างจากระบบปฏิบัติการ

เป็นไปได้อย่างไรที่จะมีสองอุปกรณ์ (ระบบปฏิบัติการและ IPMI) ที่สามารถฟังและส่งสัญญาณบนพอร์ตเครือข่ายฟิสิคัลเดียวกันนี้ได้? เมื่อแพ็กเก็ตมาถึงอินเตอร์เฟสระบบจะพิจารณาว่าแพ็คเก็ตนี้มีไว้สำหรับระบบปฏิบัติการหรือระบบ IPMI อย่างไร

แพ็กเก็ตเหล่านี้จัดการโดย CPU หรือไม่โดยใช้การขัดจังหวะ CPU หรือไม่ ระบบปฏิบัติการสามารถดูแพ็คเก็ตไปยังอินเตอร์เฟซ IPMI ได้หรือไม่?

คำตอบ:


39

ฉันจัดการเซิร์ฟเวอร์ SuperMicro จำนวนมากโดยใช้ onboard IPMI ฉันมีความสัมพันธ์รัก / เกลียดชังกับอีเธอร์เน็ตที่ใช้ร่วมกัน (aka sideband) โดยทั่วไปวิธีการทำงานของสิ่งเหล่านี้คือ LAN1 ดูเหมือนจะมีที่อยู่ MAC 2 อัน (ต่างกัน) หนึ่งอันสำหรับอินเทอร์เฟซ IPMI อีกหนึ่ง Broadcom NIC มาตรฐานของคุณ การรับส่งข้อมูลไปยังอินเทอร์เฟซ IPMI (เลเยอร์ 2 อ้างอิงจากที่อยู่ MAC) ถูกดักอย่างน่าอัศจรรย์ใต้ระดับระบบปฏิบัติการและไม่เคยเห็นสิ่งที่ระบบปฏิบัติการกำลังทำงานอยู่

คุณได้ตีหนึ่งจุดที่ดีสำหรับพวกเขาแล้ว: สายน้อย ตอนนี้ให้ฉันครอบคลุมข้อเสียบางส่วน:

  • เป็นการยากโดยเฉพาะอย่างยิ่งในการแบ่งพาร์ติชันอินเทอร์เฟซ IPMI ลงบนซับเน็ตแยกต่างหากในลักษณะที่ปลอดภัย เนื่องจากการรับส่งข้อมูลทั้งหมดไปบนสายเคเบิลเดียวกันคุณ (เกือบ) จะต้องมีอินเตอร์เฟส IPMI และอินเตอร์เฟส LAN1 บนเครือข่ายย่อย IP เดียวกันเสมอ บนเมนบอร์ดล่าสุดการ์ด IPMI ในขณะนี้รองรับการกำหนด VLAN ให้กับ IPMI NIC ดังนั้นคุณจึงสามารถแยกรูปร่างหน้าตาได้ - แต่ระบบปฏิบัติการพื้นฐานสามารถดักการรับส่งข้อมูลของ VLAN นั้นได้เสมอ ตัวควบคุม BMC รุ่นเก่าไม่อนุญาตให้เปลี่ยน VLAN เลยถึงแม้ว่าเครื่องมืออย่าง ipmitool หรือ ipmicfg จะช่วยให้คุณสามารถเปลี่ยนมันได้ แต่มันก็ไม่ทำงาน
  • คุณกำลังรวมจุดความล้มเหลวของคุณไว้ที่ศูนย์กลางบนระบบ ทำการกำหนดค่าบนสวิตช์และจัดการเพื่อตัดตัวเองอย่างใด? ขอแสดงความยินดีขณะนี้คุณได้ตัดการเชื่อมต่อเครือข่ายหลักไปยังเซิร์ฟเวอร์ของคุณและสำรองข้อมูลผ่าน IPMI ฮาร์ดแวร์ NIC ล้มเหลว ขอแสดงความยินดีปัญหาเดียวกัน
  • Early SuperMicro IPMI BMCs เป็นที่เลื่องลือในการทำสิ่งต่าง ๆ ด้วยอินเตอร์เฟสเครือข่าย ไม่ว่าจะใช้ออนบอร์ดเทียบกับพอร์ต IPMI เฉพาะนั้นมักจะถูกกำหนดที่เปิดเครื่อง (ไม่ใช่รีสตาร์ท) และจะไม่สลับจากที่นั่น หากคุณเกิดไฟฟ้าดับและสวิตช์ของคุณไม่ได้ให้พลังงานเร็วพอคุณอาจพบว่า IPMI ไม่สามารถทำงานได้เพราะมันตรวจจับการตั้งค่าผิดโดยอัตโนมัติ
  • ฉันเองมีปัญหาการเชื่อมต่อที่แปลกประหลาดและอธิบายไม่ได้จำนวนมากทำให้ IPMI ของ sideband ทำงานได้อย่างน่าเชื่อถือ บางครั้งฉันก็ไม่สามารถ ping IP ของอินเทอร์เฟซสำหรับสองสามนาที บางครั้งฉันได้รับพายุของแพ็คเก็ตบน VLAN ที่ได้รับมอบหมาย แต่การรับส่งข้อมูลทั้งหมดดูเหมือนจะลดลง

ขณะนี้ไม่มีอะไรเกี่ยวข้องกับ sideband-vs. -dedicated แต่ฉันจะทราบด้วยว่าเครื่องมือสำหรับการเข้าถึงระบบโฮสต์นั้นเขียนได้ไม่ดีนัก การ์ด IPMI ที่เก่ากว่าไม่รองรับสิ่งอื่นนอกจากการตรวจสอบความถูกต้องในท้องถิ่นทำให้การหมุนรหัสผ่านเป็นความเจ็บปวดโดยรวม หากคุณใช้ฟังก์ชั่น KVM-over-IP คุณติดอยู่กับแอปเพล็ต Java ที่ลงชื่อไม่ถูกต้องหมดอายุหรือแอปพลิเคชัน Java เดสก์ท็อปแปลก ๆ ที่ใช้งานได้บน Windows และต้องใช้การยกระดับ UAC ฉันพบว่ารายการแป้นพิมพ์ไม่มีจุดที่ดีที่สุดบางครั้งอาจมี "แป้นที่ติด" ซึ่งเป็นไปไม่ได้ที่จะพิมพ์รหัสผ่านเพื่อเข้าสู่ระบบโดยไม่ต้องลองอีก 10 ครั้ง

ในที่สุดฉันก็ได้รับ 40+ ระบบที่ทำงานกับข้อตกลงนี้ ฉันมีระบบที่ใหม่กว่าส่วนใหญ่ฉันสามารถ VLAN อินเทอร์เฟซ IPMI บนซับเน็ตแยกต่างหากและฉันส่วนใหญ่ใช้ซีเรียลคอนโซลผ่าน ipmitool ซึ่งทำงานได้ดีมาก สำหรับรุ่นต่อไปของเซิร์ฟเวอร์ฉันกำลังมองหาที่เทคโนโลยีของ Intel AMT ด้วยการสนับสนุน KVM ; เนื่องจากสิ่งนี้ทำให้มันกลายเป็นพื้นที่เซิร์ฟเวอร์ฉันสามารถเห็นการแทนที่ IPMI ด้วยสิ่งนี้


ขอบคุณสำหรับคำอธิบายโดยละเอียด คุณมีข้อมูลเพิ่มเติมใด ๆ เกี่ยวกับวิธีการรับส่งข้อมูลที่ 'ถูกดักอย่างน่าอัศจรรย์ต่ำกว่าระดับระบบปฏิบัติการและไม่เคยเห็นระบบปฏิบัติการใดที่ทำงานอยู่'? เรากำลังพยายามที่จะเข้าใจวิธีการทำงาน
Stefan Lasiewski

บริดจ์ฮาร์ดแวร์แบบง่ายจะใช้กลอุบาย
Antoine Benkemoun

คำตอบที่ดีและใช่การเชื่อมต่อจะถูกเชื่อมโยง
จิม B

2
สเตฟาน - แอนทอนและจิมอธิบายไว้ในความคิดเห็น - มันน่าจะเป็นสะพานฮาร์ดแวร์ ลองคิดดูว่ามันเหมือนกับสวิตช์ตัวเล็ก ๆ ที่นำมาใช้ในซิลิกอนโดยเชื่อมต่ออินเตอร์เฟส NIC แบบกายภาพกับ NIC เสมือน 2 ตัว - อันหนึ่งสำหรับ IPMI หนึ่งอันสำหรับคอมพิวเตอร์หลัก
natacado

ขอบคุณสำหรับคำอธิบาย นั่นเป็นวิธีที่ฉันคิดว่ามันจะได้ผล แต่เมื่อฉันพูดคุยเรื่องนี้กับคนอื่น ๆ (ผู้ดูแลระบบเครือข่ายดูแลระบบ) ฉันได้รับความขัดแย้งมากมาย
Stefan Lasiewski

4

ฉันไม่เคยใช้การ์ดเหล่านั้นมาก่อนการ์ดที่ฉันเคยใช้นั้นมี MAC ที่แตกต่างกันสำหรับการจราจร IPMI หรือพอร์ตนั้นใช้สำหรับการรับส่งข้อมูล IPMI เท่านั้น อาจเป็นไปได้ที่ IPMI จะแบ่งปัน NIC รวมถึง MAC

IPMI จะมี IP ที่แตกต่างจากระบบปฏิบัติการดังนั้นแพ็คเก็ตจะถูกนำไปใช้อย่างถูกต้องตามนั้น ทราฟฟิกของ IPMI ไม่เคยกระทบกับซีพียูทุกอย่างถูกจัดการในไอซีการจัดการแบนด์วิดท์


ฉันเห็น. การ์ด IPMI บางตัวในบางระบบจะ "แชร์ที่อยู่ MAC" (ดูเหมือน Supermicro และ Dell ทำเช่นนี้) ในขณะที่บางคนใช้ที่อยู่ MAC อื่น (IBM ทำเช่นนี้)
Stefan Lasiewski

3
บนเซิร์ฟเวอร์ Dell ของฉันอินเทอร์เฟซ IPMI มี MAC ที่แตกต่างกันแม้ว่าจะเป็นพอร์ตเครือข่ายทางกายภาพเดียวกัน
sciurus

2

ต้องการเพิ่มคำแนะนำทั่วไปที่ใช้ sideband หมายความว่าคุณไม่สามารถพูดคุยจากเซิร์ฟเวอร์กับ BMC ดูเหมือนว่าปริมาณข้อมูลจะถูกกรองออก ฉันได้ลองในชุด IBM / Dell / HP แล้ว


เพื่ออธิบายรายละเอียดเกี่ยวกับเรื่องนี้เช่นเดียวกับที่ฉันเพิ่งตี ESXI และ VMs ไม่สามารถเข้าถึง BMC (แต่โฮสต์ ext สามารถทำได้) ทำไมล่ะ? เนื่องจากทราฟฟิกขาออกบนพอร์ต NSCI (IPMI ที่ใช้ร่วมกัน) จะต้องกดสวิตช์และเด้งกลับไปที่พอร์ตเดียวกัน AFAIK สวิตช์ L2 ทั่วไปทำไม่ได้
kevinf

1

ฉันจะสำรอง bullet bullet สุดท้ายของนาตาคาโดในการตอบกลับครั้งแรกเซสชัน IPMI ของคุณจะหมดเวลาแบบสุ่ม (ฉันใช้ IPMIView จากซูเปอร์ไมโครเพื่อดูคอนโซลบนกล่องของฉัน) สิ่งต่าง ๆ เช่นการอัปเกรดเฟิร์มแวร์และการใช้พลังงานดูเหมือนจะล้มเหลวอย่างลึกลับและสุ่ม

คำตอบที่ดีนาตากาโดอย่างละเอียดอย่างไม่น่าเชื่อ


1
ตรวจสอบให้แน่ใจว่าเฟิร์มแวร์ IPMI ของคุณทันสมัยแล้ว! หากมีการตัดการเชื่อมต่อที่เพียงพอระหว่างเวอร์ชั่นเฟิร์มแวร์ IPMI และเวอร์ชั่นซอฟต์แวร์ IPMIView คุณจะได้รับข้อผิดพลาด "การเชื่อมต่อข้อผิดพลาด" ทั่วไปที่คลุมเครือเมื่อพยายามเริ่มเซสชัน KVM! การอัพเดตเฟิร์มแวร์ IPMI ล่าสุด (สามารถทำได้จากเมนูหลักยูทิลิตี้ IPMIView ภายใต้ไฟล์) แก้ไข : p
Jeff Atwood
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.