พื้นหลัง

เรามีเหตุการณ์ที่คลัสเตอร์ Windows failover ขัดข้อง ชันสูตรศพพบว่าโหนดถูก "ลบออก" ตามที่อธิบายไว้ในบทความนี้

เมื่อไม่นานมานี้เราได้โอนย้ายคลัสเตอร์นี้อย่างสมบูรณ์ไปยังสภาพแวดล้อม VMware ของเราและปรากฏว่าเหตุการณ์ที่อธิบายไว้ข้างต้นอาจเป็นสาเหตุของการหยุดทำงาน

บทความ VMware KB ที่เกี่ยวข้องเกี่ยวกับการพูดคุยนี้เกี่ยวกับการเพิ่มSmall Rx BuffersและการRx Ring #1ตั้งค่า แต่เตือนว่าการเพิ่มมากเกินไปเหล่านี้สามารถเพิ่มโอเวอร์เฮดของหน่วยความจำบนโฮสต์ได้อย่างมาก

หลังจากการตรวจสอบNetwork Interface\Packets Received Discardedเคาน์เตอร์วัดประสิทธิภาพสำหรับ Windows VM ของเรา ~ 150, 22 vNICs จากแขก 16 คนมีแพ็คเก็ตที่ถูกทิ้ง

จำนวนเล็กน้อยพอที่ฉันไม่ได้กังวลเกี่ยวกับการเก็บภาษีโฮสต์ด้วยการใช้หน่วยความจำเพิ่มเติม แต่ฉันต้องการที่จะเข้าใจวิธีการใช้หน่วยความจำสำหรับการตั้งค่าเหล่านี้และที่มาของหน่วยความจำ

คำถาม

1. ความสัมพันธ์ระหว่างจำนวนของบัฟเฟอร์และขนาดแหวนคืออะไร?
2. เราคำนวณจำนวนหน่วยความจำที่ใช้สำหรับค่าที่กำหนดของการตั้งค่าเหล่านี้ได้อย่างไร
3. เนื่องจากการตั้งค่าเหล่านี้อยู่บน NIC ภายในระบบปฏิบัติการ guest ฉันคิดว่าเป็นการตั้งค่าไดรเวอร์ นี่ทำให้ฉันคิดว่า RAM ที่ใช้อาจเป็นเพจที่มีการทำเพจหรือไม่จพู
   1. ถูกต้องหรือไม่
   2. ถ้าเป็นเช่นนั้นฉันควรจะกังวลเกี่ยวกับเรื่องนี้?
4. มีข้อกังวลที่ฉันไม่ได้คำนึงถึงที่นี่หรือไม่?

เรากำลังพยายามที่จะตรวจสอบว่ามีข้อเสียเปรียบในการตั้งค่าเหล่านี้ให้มากที่สุดบน VMs ที่ได้รับผลกระทบนอกเหนือจากการใช้งานหน่วยความจำโฮสต์ VMware หรือไม่ หากเราเพิ่มความเสี่ยงของหน่วยความจำพูลที่หมดในเกสต์เรามีแนวโน้มที่จะเริ่มต้นเล็ก ๆ

คำถามเหล่านี้บางส่วน (อาจทั้งหมด) อาจไม่เจาะจงกับ VMware หรือการจำลองเสมือน

ความสัมพันธ์ระหว่างจำนวนของบัฟเฟอร์และขนาดแหวนคืออะไร?

พวกมันเกี่ยวข้องกัน แต่เป็นอิสระ rx "ring" หมายถึงชุดบัฟเฟอร์ในหน่วยความจำที่ใช้เป็นคิวเพื่อส่งแพ็กเก็ตเครือข่ายขาเข้าจากโฮสต์ (ไฮเปอร์ไวเซอร์) ไปยัง guest (Windows VM) หน่วยความจำเครือข่ายได้รับการสงวนไว้ในเกสต์และได้รับการแมปลงในหน่วยความจำโฮสต์

เมื่อแพ็กเก็ตเครือข่ายใหม่เข้ามาในโฮสต์พวกเขาจะติดตั้งบัฟเฟอร์ที่มีอยู่ถัดไปในวงแหวน จากนั้นโฮสต์จะเรียกใช้ IRQ ในแขกซึ่งไดรเวอร์ของผู้เข้าร่วมตอบกลับโดยการแพ็คเก็ตเขาปิดวงแหวนและส่งไปยังสแต็กเครือข่ายของ guest OS ซึ่งสันนิษฐานว่าส่งไปยังแอปพลิเคชันผู้เยี่ยมชม สมมติว่าแพ็กเก็ตมาช้าพอและไดร์เวอร์เกสต์กำลังประมวลผลมันเร็วพอควรมีสล็อตว่างในวงแหวนเสมอ อย่างไรก็ตามหากแพ็กเก็ตมาเร็วเกินไปหรือแขกกำลังประมวลผลช้าเกินไปแหวนอาจเต็มและแพ็คเก็ตอาจถูกทิ้ง (ตามที่คุณเห็นในสถานการณ์ของคุณ)

การเพิ่มขนาดแหวนสามารถช่วยบรรเทาปัญหานี้ได้ หากคุณเพิ่มขึ้นจะมีสล็อตเพิ่มมากขึ้นในแหวนพร้อมกัน สิ่งนี้แบ่งออกเป็นการตั้งค่าที่สอง "Small Rx Buffers" ซึ่งเป็นจำนวนรวมของบัฟเฟอร์ที่สามารถใช้เติมช่องในวงแหวนได้ ต้องมีบัฟเฟอร์อย่างน้อยมากเท่ากับสล็อตในวงแหวน โดยทั่วไปคุณต้องการมากขึ้น เมื่อแขกรับบัฟเฟอร์ออกจากวงแหวนเพื่อมอบให้กับสแต็กเครือข่ายแขกมันอาจจะไม่ถูกส่งกลับไปยังไดรเวอร์ทันที หากเป็นเช่นนั้นการมีบัฟเฟอร์สำรองเพื่อเติมแหวนหมายความว่าคุณจะสามารถใช้งานได้นานขึ้นโดยไม่ต้องวางแพ็กเก็ต

บัฟเฟอร์ Rx Ring # 1 / Small Rx ใช้สำหรับเฟรมที่ไม่ใช่จัมโบ้ หากคุณมีการกำหนดค่า NIC เริ่มต้นนั่นเป็นเสียงกริ่งเดียวที่จะใช้

เราคำนวณจำนวนหน่วยความจำที่ใช้สำหรับค่าที่กำหนดของการตั้งค่าเหล่านี้ได้อย่างไร

สมมติว่าคุณกำลังพูดถึงเฟรมที่ไม่ใช่จัมโบ้บัฟเฟอร์แต่ละตัวต้องมีขนาดใหญ่พอที่จะเก็บแพ็คเก็ตเครือข่ายทั้งหมดได้ประมาณ 1.5kb ดังนั้นถ้าคุณมีบัฟเฟอร์ 8192 ตัวก็จะใช้ 12MB วงแหวนขนาดใหญ่จะใช้หน่วยความจำเพิ่มขึ้น แต่ตัวอธิบายมีขนาดเล็ก (ไบต์) ดังนั้นจึงเป็นบัฟเฟอร์ที่คุณต้องกังวล

เนื่องจากการตั้งค่าเหล่านี้อยู่บน NIC ภายในระบบปฏิบัติการ guest ฉันคิดว่าเป็นการตั้งค่าไดรเวอร์ นี่ทำให้ฉันคิดว่า RAM ที่ใช้อาจเป็นเพจที่มีการทำเพจหรือไม่จพู

ใช่มันเป็นพูลแบบไม่มีเพจ หากบัฟเฟอร์แหวนถูกจั่วหน้ามันอาจส่งผลให้เกิดแพ็คเก็ตที่ถูกทิ้งในขณะที่บัฟเฟอร์ถูกจั่วกลับเข้าไป

มีข้อกังวลที่ฉันไม่ได้คำนึงถึงที่นี่หรือไม่?

ฉันไม่แน่ใจว่าสิ่งนี้เกี่ยวข้องกับสถานการณ์ของคุณ แต่อาจเป็นเรื่องน่าสังเกตว่าเสียงกริ่งขนาดใหญ่จะเพิ่มการปล่อยแคชของเส้นทางเครือข่าย rx ใน microbenchmarks คุณจะเห็นว่าวงแหวนขนาดใหญ่มักจะเจ็บประสิทธิภาพ ที่กล่าวไว้ในแอปพลิเคชันในชีวิตจริงหากแพ็กเก็ตถูกทิ้งซึ่งมักจะเป็นข้อตกลงที่ใหญ่กว่าประสิทธิภาพที่เพิ่มขึ้นเล็กน้อยเมื่อเกิดการระเบิดความเร็ว

ที่มา: ฉันทำงานที่ VMware

ฉันไม่มีคำตอบสำหรับจุด 1-2-3 แต่คุณสามารถตรวจสอบกับ enginner เสมือนของคุณเกี่ยวกับการกำหนดค่าโฮสต์ Vmware ถ้าเขาเป็น VCP เขาจะเข้าใจเนื้อหา :)

คุณต้องตรวจสอบโฮสต์ของคุณเพราะปัญหา windows อาจอยู่ในโฮสต์ไม่ใช่แขก

มีคุณสมบัติฮาร์ดแวร์มากมายที่สามารถอธิบายปัญหาของคุณ directpath io, rss, vcpu, รูปแบบการจัดการพลังงาน ...

ฉันสามารถให้ลิงค์กับคุณเพื่อช่วยทีมเสมือนของคุณหรือคุณ :)

ลิงค์นี้เกี่ยวกับการปรับโฮสต์ http://buildvirtual.net/tuning-esxi-host-networking-configuration/

และไฟล์ PDF ไขมันนี้:

http://www.vmware.com/pdf/Perf_Best_Practices_vSphere5.0.pdf

และอันนี้เกี่ยวกับ RSS:

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2008925

ฉันไม่ได้อยู่ในตำแหน่งที่จะค้นหาและชี้ให้คุณไปยังหน้าที่ถูกต้อง: ดังนั้นฉันขอให้คุณค้นหารายละเอียดด้วยตัวคุณเอง ... (ขออภัย)

ใน Fail over Cluster มีการตั้งค่า 4 แบบซึ่งสามารถ tweeked ได้ และพวกเขาจะไม่ส่งผลกระทบต่อบัฟเฟอร์หรือเพจหรือไม่เพจ ... มันเปลี่ยนวิธีการล้มเหลวมากกว่าคลัสเตอร์ทำให้การตัดสินใจที่จะพิจารณาโหนด "ลบ" การตั้งค่าเหล่านี้คือ:

SameSubnetDelay SameSubnetThreshold CrossSubnetDelay CrossSubnetThreshold

พวกเขาอาจไม่แก้ปัญหาของคุณ แต่การปรับเปลี่ยนสิ่งเหล่านี้อาจทำให้คุณไม่มีปัญหาในขณะนี้ ...

เมื่อกลับมาในวันจันทร์ฉันจะตรวจสอบกลับไปที่โพสต์นี้หากคุณมีคำถามเพิ่มเติม

HTH, Edwin