อะไรสามารถทำให้บริการทั้งหมดบนเซิร์ฟเวอร์ล่ม แต่ยังคงตอบสนองต่อการ ping และวิธีการคิดออก

มันเกิดขึ้นกับฉันแล้วสองครั้งภายในไม่กี่วันที่เซิร์ฟเวอร์ของฉันลงไปอย่างสมบูรณ์หมายถึง http, ssh, ftp, dns, smtp โดยทั่วไปบริการทั้งหมดหยุดตอบสนองราวกับว่าเซิร์ฟเวอร์ถูกปิดยกเว้นว่ามันยังตอบสนองต่อ ping ซึ่งเป็นสิ่งที่ฉันบุฟเฟ่ต์มากที่สุด

ฉันมีสคริปต์ php บางตัวที่ทำให้เกิดการโหลดจำนวนมาก (cpu และหน่วยความจำ) บนเซิร์ฟเวอร์ในช่วงเวลาสั้น ๆ ที่ใช้โดยผู้ใช้กลุ่มเล็ก ๆ แต่โดยปกติแล้วเซิร์ฟเวอร์ "อยู่รอด" ได้ดีกับการระเบิดเหล่านี้อย่างสมบูรณ์ ไม่ตรงกับยอดการใช้งานดังกล่าว (ฉันไม่ได้บอกว่ามันไม่เกี่ยวข้อง แต่มันไม่ได้เกิดขึ้นหลังจากนั้น)

ฉันไม่ได้ขอให้คุณสามารถบอกสาเหตุที่แท้จริงของการล่มเหล่านี้ได้อย่างน่าอัศจรรย์คำถามของฉันคือ: มีกระบวนการเดียวที่ความตายอาจทำให้บริการทั้งหมดเหล่านี้ลงไปพร้อมกันหรือไม่? สิ่งที่ตลกคือบริการเครือข่ายทั้งหมดลงไปยกเว้น ping หากเซิร์ฟเวอร์มี CPU 100% ที่กินเข้าไปในบางกระบวนการมันจะไม่ตอบสนองต่อการ ping เช่นกัน หาก apache ขัดข้องเนื่องจาก (ตัวอย่าง) สคริปต์ php ที่ใช้งานไม่ได้ซึ่งจะมีผลกับ http เท่านั้นไม่ใช่ ssh และ dns .... เป็นต้น

ระบบปฏิบัติการของฉันคือ Cent OS 5.6

ที่สำคัญที่สุดหลังจากรีบูตเซิร์ฟเวอร์อย่างหนักแล้วฉันควรดูบันทึกระบบอะไร / var / log / messages ไม่เปิดเผยสิ่งที่น่าสงสัย

( tl; drยังคงตอบสนองต่อ ping เป็นพฤติกรรมที่คาดไว้ตรวจสอบการใช้หน่วยความจำของคุณ)

คำร้องขอ ICMP echo (เช่น ping) ได้รับการจัดการโดยสแต็กเครือข่ายในเคอร์เนลโดยไม่มีการพึ่งพาอื่น

เคอร์เนลเรียกว่า "หน่วยความจำที่อยู่อาศัย" ซึ่งหมายความว่ามันจะถูกเก็บไว้ใน RAM เสมอและไม่สามารถเปลี่ยนเป็นดิสก์ได้เหมือนแอปพลิเคชันทั่วไป

ซึ่งหมายความว่าในสถานการณ์ที่คุณไม่มีแอพพลิเคชั่นหน่วยความจำกายภาพสลับไปยังดิสก์ แต่เคอร์เนลยังคงอยู่ที่เดิม เมื่อทั้งหน่วยความจำกายภาพและหน่วยความจำสลับเต็ม (และระบบไม่สามารถจัดการโปรแกรมของคุณได้นาน) เครื่องจะล้มเหลว อย่างไรก็ตามเนื่องจากก)เคอร์เนลยังคงอยู่ในหน่วยความจำและb)สามารถตอบสนองต่อการร้องขอ ping ได้โดยไม่ได้รับความช่วยเหลือจากสิ่งอื่นใดระบบจะตอบสนองต่อการ ping แม้จะตายไปแล้วก็ตาม

ในเรื่องเกี่ยวกับปัญหาของคุณฉันสงสัยอย่างยิ่งว่าปัญหาหน่วยความจำ ติดตั้ง "sysstat" และใช้คำสั่ง "sar" เพื่อดูบันทึกของหน่วยความจำ / cpu / load / io load เป็นต้นฉันคาดว่าในช่วงเวลาที่เกิดข้อผิดพลาดคุณจะเห็นทั้ง 100% ทางกายภาพและการแลกเปลี่ยนที่ใช้

ฉันจะพิจารณาดูที่dmesgหรือ/ var / log / messagesเพื่อดูสัญญาณของ OOM-killer ใด ๆ ที่ถูกเรียกใช้ออกมา นี่คือระบบฉุกเฉินของเคอร์เนลซึ่งจะเริ่มฆ่ากระบวนการในกรณีที่หน่วยความจำหมด ประสิทธิภาพขึ้นอยู่กับว่ากระบวนการใดถูกฆ่า กระบวนการเดียวที่กินหน่วยความจำจะถูกฆ่าอย่างมีประสิทธิภาพและเป็นอิสระจากหน่วยความจำอย่างไรก็ตามเว็บไซต์ที่ใช้ apache จะวางไข่กระบวนการแทนที่ทันทีที่กระบวนการลูกถูกฆ่า

โดยปกติจะเป็นปัญหา I / O หรือระบบย่อยของดิสก์ บ่อยครั้งสิ่งนี้จะถูกผนวกเข้ากับค่าเฉลี่ยการโหลดระบบที่สูงมาก ตัวอย่างเช่นระบบที่มีรายละเอียดในกราฟด้านล่างไม่ตอบสนอง (ยังเป็น pingable) เมื่อสคริปต์ทำงานผิดพลาดล็อคไฟล์จำนวนมากและโหลดเพิ่มขึ้นเป็น 36 ... บนระบบ 4 CPU

บริการที่ทำงานใน RAM และไม่จำเป็นต้องใช้การเข้าถึงดิสก์ดำเนินการต่อเพื่อให้ทำงาน ... ดังนั้นเครือข่ายสแต็ค (ping) จะทำงาน แต่บริการอื่น ๆ จะหยุดทำงานเมื่อต้องการเข้าถึงดิสก์ ... SSH เมื่อมีการอ้างอิงคีย์หรือ จำเป็นต้องค้นหารหัสผ่าน SMTP มีแนวโน้มที่จะปิดเมื่อโหลดเฉลี่ยฮิต 30 หรือดังนั้น ...

เมื่อระบบอยู่ในสถานะนี้ให้ลองรีโมตnmapเทียบกับ IP ของเซิร์ฟเวอร์เพื่อดูว่าเกิดอะไรขึ้น

การบันทึกของคุณอาจไม่ทำงานหากนี่เป็นปัญหาเกี่ยวกับดิสก์หรือพื้นที่เก็บข้อมูล ...

คุณอธิบายการตั้งค่าฮาร์ดแวร์ได้ไหม นี่เป็นเครื่องเสมือนหรือไม่? รูปแบบการจัดเก็บคืออะไร?

มากกว่าการบันทึกคุณต้องการดูว่าคุณสามารถกราฟประสิทธิภาพของระบบและเข้าใจว่าเกิดเหตุการณ์นี้หรือไม่ ดูว่าสิ่งนี้มีความสัมพันธ์กับกิจกรรมที่เฉพาะเจาะจง