“ การแจ้งเตือนขีด จำกัด พลังงาน” เกิดขึ้นกับเซิร์ฟเวอร์ 12G ของ Dell ที่มี RHEL6

เซิร์ฟเวอร์: Poweredge r620
ระบบปฏิบัติการ: RHEL 6.4
เคอร์เนล: 2.6.32-358.18.1.el6.x86_64

ฉันพบสัญญาณเตือนแอปพลิเคชันในสภาพแวดล้อมการผลิตของฉัน กระบวนการที่หิวกระหายซีพียูที่สำคัญกำลังได้รับการขาดแคลนทรัพยากรและก่อให้เกิดงานในมือ ปัญหาเกิดขึ้นกับเซิร์ฟเวอร์ Dell รุ่นที่ 12 (r620s) ทั้งหมดในคลัสเตอร์ที่ปรับใช้ล่าสุด ในฐานะที่อยู่ใกล้กับที่ผมสามารถบอกกรณีที่เกิดขึ้นนี้จะถูกจับคู่ขึ้นเพื่อการใช้ประโยชน์สูงสุดของ CPU พร้อมด้วยจำนวนมหาศาลของ "พลังขีด จำกัด ของการแจ้งเตือน" dmesgสแปมใน ข้อความที่ตัดตอนมาจากหนึ่งในเหตุการณ์เหล่านี้:

Nov  7 10:15:15 someserver [.crit] CPU12: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU0: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU6: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU14: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU18: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU2: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU4: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU16: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU0: Package power limit notification (total events = 11)
Nov  7 10:15:15 someserver [.crit] CPU6: Package power limit notification (total events = 13)
Nov  7 10:15:15 someserver [.crit] CPU14: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU18: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU20: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU8: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU2: Package power limit notification (total events = 12)
Nov  7 10:15:15 someserver [.crit] CPU10: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU22: Core power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU4: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU16: Package power limit notification (total events = 13)
Nov  7 10:15:15 someserver [.crit] CPU20: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU8: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU10: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU22: Package power limit notification (total events = 14)
Nov  7 10:15:15 someserver [.crit] CPU15: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU3: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU1: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU5: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU17: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU13: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU15: Package power limit notification (total events = 375)
Nov  7 10:15:15 someserver [.crit] CPU3: Package power limit notification (total events = 374)
Nov  7 10:15:15 someserver [.crit] CPU1: Package power limit notification (total events = 376)
Nov  7 10:15:15 someserver [.crit] CPU5: Package power limit notification (total events = 376)
Nov  7 10:15:15 someserver [.crit] CPU7: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU19: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU17: Package power limit notification (total events = 377)
Nov  7 10:15:15 someserver [.crit] CPU9: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU21: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU23: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU11: Core power limit notification (total events = 369)
Nov  7 10:15:15 someserver [.crit] CPU13: Package power limit notification (total events = 376)
Nov  7 10:15:15 someserver [.crit] CPU7: Package power limit notification (total events = 375)
Nov  7 10:15:15 someserver [.crit] CPU19: Package power limit notification (total events = 375)
Nov  7 10:15:15 someserver [.crit] CPU9: Package power limit notification (total events = 374)
Nov  7 10:15:15 someserver [.crit] CPU21: Package power limit notification (total events = 375)
Nov  7 10:15:15 someserver [.crit] CPU23: Package power limit notification (total events = 374)

Google Fu เล็ก ๆ น้อย ๆ เปิดเผยว่าสิ่งนี้มักเกี่ยวข้องกับซีพียูที่กำลังทำงานอยู่หรือแรงดันไฟฟ้าเริ่มเตะฉันไม่คิดว่าจะเกิดอะไรขึ้น เซ็นเซอร์อุณหภูมิสำหรับเซิร์ฟเวอร์ทั้งหมดในคลัสเตอร์ทำงานได้ดีนโยบาย Power Cap ถูกปิดใช้งานใน iDRAC และโปรไฟล์ระบบของฉันถูกตั้งค่าเป็น "ประสิทธิภาพ" บนเซิร์ฟเวอร์เหล่านี้ทั้งหมด:

# omreport chassis biossetup | grep -A10 'System Profile'
System Profile Settings
------------------------------------------
System Profile                                    : Performance
CPU Power Management                              : Maximum Performance
Memory Frequency                                  : Maximum Performance
Turbo Boost                                       : Enabled
C1E                                               : Disabled
C States                                          : Disabled
Monitor/Mwait                                     : Enabled
Memory Patrol Scrub                               : Standard
Memory Refresh Rate                               : 1x
Memory Operating Voltage                          : Auto
Collaborative CPU Performance Control             : Disabled

• โพสต์รายชื่อผู้รับจดหมายของ Dellอธิบายอาการเกือบจะสมบูรณ์แบบ Dell แนะนำให้ผู้เขียนลองใช้โปรไฟล์ประสิทธิภาพ แต่ไม่ได้ช่วยอะไร เขาลงเอยด้วยการใช้การตั้งค่าบางอย่างในคู่มือของ Dell สำหรับการกำหนดค่าเซิร์ฟเวอร์สำหรับสภาพแวดล้อมที่มีความหน่วงต่ำและหนึ่งในการตั้งค่าเหล่านั้น (หรือการรวมกันของมัน) ดูเหมือนว่าจะแก้ไขปัญหาได้แล้ว
• Kernel.org ข้อผิดพลาด # 36182บันทึกว่าการดีบักขีด จำกัด การขัดจังหวะพลังงานถูกเปิดใช้งานโดยค่าเริ่มต้นซึ่งทำให้ประสิทธิภาพการทำงานลดลงในสถานการณ์ที่กฎระเบียบเกี่ยวกับแรงดันไฟฟ้า CPU เริ่มทำงาน
• บทความ KB ของ RHN (จำเป็นต้องเข้าสู่ระบบ RHN) กล่าวถึงปัญหาที่ส่งผลกระทบต่อเซิร์ฟเวอร์ PE r620 และ r720 ที่ไม่ได้ใช้งานโปรไฟล์ประสิทธิภาพและแนะนำการอัปเดตให้เคอร์เนลที่วางจำหน่ายเมื่อสองสัปดาห์ก่อน ... ยกเว้นว่าเรากำลังเรียกใช้โปรไฟล์ประสิทธิภาพ ...

ทุกสิ่งที่ฉันสามารถค้นพบได้ออนไลน์กำลังทำให้ฉันอยู่ในแวดวงที่นี่ เกิดอะไรขึ้นห่า?

ไม่ใช่การควบคุมแรงดันไฟฟ้าที่ทำให้เกิดปัญหาประสิทธิภาพ แต่เคอร์เนลการดีบักขัดจังหวะที่ถูกเรียกใช้

แม้จะมีข้อมูลที่ผิดในส่วนของ Redhat หน้าเชื่อมโยงทั้งหมดอ้างถึงปรากฏการณ์เดียวกัน การควบคุมแรงดันไฟฟ้าเกิดขึ้นโดยมีหรือไม่มีโปรไฟล์ประสิทธิภาพซึ่งเป็นไปได้ว่าคุณสมบัติTurbo Boostนั้นเปิดใช้งานอยู่ โดยไม่คำนึงถึงเหตุผลความผันผวนของแรงดันไฟฟ้าเหล่านี้มีผลกระทบไม่ดีกับการหยุดชะงักของเคอร์เนลขีด จำกัด พลังงานที่เปิดใช้งานโดยค่าเริ่มต้นในเคอร์เนล 2.6.32-358.18.1.el6.x86_64

วิธีแก้ปัญหาที่ยืนยันแล้ว:

• การอัปเกรดเคอร์เนล Redhat ที่เพิ่งเปิดตัวล่าสุด (2.6.32-358.23.2.el6) ปิดใช้งานการดีบักนี้และกำจัดปัญหาประสิทธิภาพการทำงาน
• การเพิ่มพารามิเตอร์เคอร์เนลต่อไปนี้เพื่อgrub.confปิดการใช้งาน PLN:clearcpuid=229

วิธีแก้ปัญหาที่ไม่สม่ำเสมอ:

• การตั้งค่าโปรไฟล์ระบบของ "ประสิทธิภาพ" สิ่งนี้เองไม่เพียงพอที่จะปิดการใช้งาน PLN บนเซิร์ฟเวอร์ของเรา ไมล์สะสมของคุณอาจแตกต่างกันไป

วิธีแก้ไขไม่ดี :

• ขึ้นบัญชีดำโมดูลที่เกี่ยวข้อง ACPI ฉันเคยเห็นสิ่งนี้ในกระทู้หลายกระทู้ ไม่ควรทำอย่างนั้น