ค้นหากระบวนการ apache การใช้งาน CPU ที่สูงกำลังทำอะไรอยู่?

18

ขณะนี้มีปัญหาเล็กน้อยเกี่ยวกับเซิร์ฟเวอร์ของเราซึ่งในตอนนี้ดูเหมือนว่าเราจะได้รับกระบวนการ apache ที่เพิ่งรันและรันโดยใช้ CPU 100%

เมื่อวิ่งขึ้นไปด้านบนเราจะเห็นสิ่งต่อไปนี้:

PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
20788 www-data  20   0  318m  18m 3984 R  100  0.0  40:29.21 /usr/sbin/apache2 -k start
23523 www-data  20   0  319m  20m 4684 R  100  0.0   4:12.36 /usr/sbin/apache2 -k start

ฉันต้องการลองและค้นหาว่าสคริปต์ (หรืออะไรก็ตามที่เป็น) ก่อให้เกิดสิ่งนี้ดังนั้นฉันจึงลอง:

 strace -p 20788

แต่นั่นไม่ได้แสดงผลลัพธ์ใด ๆ เลย (ฉันทิ้งไว้ประมาณ 10 นาทีและไม่แสดงอะไรเลย) จากความเข้าใจของฉันนี่อาจหมายความว่ามันติดอยู่ในวงวนไม่สิ้นสุดและไม่มี "การเรียกของระบบ" ที่จะแสดง

มีอะไรอีกบ้างที่ฉันสามารถทำได้เพื่อแสดงว่าเกิดอะไรขึ้น?

ขอบคุณ

แก้ไข -ลืมพูดถึงนี่เป็นเซิร์ฟเวอร์จริงที่มีผู้ใช้ไม่กี่ร้อยคนในคราวเดียว! ดังนั้นฉันไม่สามารถลองเปลี่ยนตัวเลือกการตั้งค่าและรีสตาร์ท apache ได้อย่างอิสระ

แก้ไข 2 - backtrace (bt) จาก gdb ดูเหมือนจะไม่ทั้งหมดที่มีประโยชน์เมื่อ PHP ไม่ได้กำหนดค่าด้วย --enable-debug - แสดงเฉพาะ "execute ()" แต่ฉันต้องรู้ว่าสคริปต์ PHP คืออะไร ใช้งานจริง .. มีวิธีอื่นอีกไหม?

#0  0x00007f6c143fb0c5 in ?? () from /usr/lib/apache2/modules/libphp5.so
#1  0x00007f6c143b040b in execute () from /usr/lib/apache2/modules/libphp5.so
#2  0x00007f6c1438b970 in zend_execute_scripts () from     /usr/lib/apache2/modules/libphp5.so
#3  0x00007f6c14337fe3 in php_execute_script () from     /usr/lib/apache2/modules/libphp5.so
#4  0x00007f6c1441ae7d in ?? () from /usr/lib/apache2/modules/libphp5.so
#5  0x00007f6c18912508 in ap_run_handler ()
#6  0x00007f6c1891297e in ap_invoke_handler ()
#7  0x00007f6c18922570 in ap_process_request ()
#8  0x00007f6c1891f398 in ?? ()
#9  0x00007f6c18918fa8 in ap_run_process_connection ()
#10 0x00007f6c189271d0 in ?? ()
#11 0x00007f6c1892793a in ?? ()
#12 0x00007f6c189284e7 in ap_mpm_run ()
#13 0x00007f6c188fd4a4 in main ()

— 643
แหล่งที่มา

1

Apache สนับสนุนการรีสตาร์ท "สง่างาม" ดังนั้นทำไมคุณไม่ทำล่ะ

— poige

1

ฉันคิดว่าเมื่อเราลองมาก่อนหน้านี้มันไม่สามารถรีสตาร์ทได้อย่างงดงามเนื่องจากกระบวนการ apache "ที่ติด" ... แม้ว่าอาจจะผิด

— BT643

เคล็ดลับอีกอย่างคือการเรียกใช้อินสแตนซ์อื่นของ apache บนพอร์ตต่าง ๆ เปลี่ยนเส้นทางการเชื่อมต่อใหม่ไปยังมัน

— poige

9

ในกรณีที่คุณรู้สึกกล้า:

gdb -p 20788

จากนั้นออกbtเพื่อดูสแต็กเฟรมสำหรับเช่น

และ BTW ยังมีltraceการพูดถึง - ลองมันเช่นกัน

UPD : ก็โอเคเพราะตอนนี้เรามีความคิดว่า Apache กำลังใช้งานบางสิ่งอยู่ทำไมไม่ลองดูmod_statusเอาท์พุท - ขยายออกหนึ่งอัน

— poige
แหล่งที่มา

ไม่ได้ติดตั้ง gdb :( จะต้องรอจนกว่าฉันจะกลับไปทำงานในวันพรุ่งนี้เพื่อดูว่าฉันสามารถติดตั้งได้หรือไม่โดยไม่ก่อให้เกิดปัญหาใด ๆ .. ltraceไม่แสดงผลลัพธ์ใด ๆ เลย

— BT643

เพิ่งเพิ่มผลลัพธ์จาก gdb bt ลงในโพสต์เริ่มต้น .. ไม่ได้บอกอะไรเลยจริงๆ!

— BT643

โอ้ดีใจที่ได้เห็นฉันแนะนำทิศทางที่ถูกต้อง )

— poige

@ BT643 ดู UPD

— poige

4

การใช้งานจริง mod_status ถูกเปิดใช้งานโดยค่าเริ่มต้นมันถูก จำกัด การเข้าถึงจาก 127.0.0.1 ฉันเพิ่งเข้าสู่ระบบผ่าน SSH และส่งออกไปยังไฟล์ piped curl domain.com/server-status > randomfile.html- จากนั้นดูไฟล์ กลับกลายเป็นว่าเป็นรหัสนักพัฒนาซอฟต์แวร์ตัวเก่าที่ติดอยู่ในลูป (ไฟล์ PHP)! ทั้งหมดเรียงลำดับแล้ว ขอบคุณสำหรับความช่วยเหลือ :)

— BT643

2

htopวิธีการที่ง่ายมากคือการใช้งาน คุณสามารถเรียงลำดับสำหรับกระบวนการ CPU สูงและใช้งานได้

s สำหรับstraceกระบวนการ
l สำหรับlsofการดูไฟล์ที่เปิดของกระบวนการ
L ltraceเพื่อ

ฉันพบว่าอย่างน้อยหนึ่งตัวเลือกนั้นพบสคริปต์ที่สร้างภาระและแน่นอนคุณสามารถใช้สิ่งนี้กับเว็บเซิร์ฟเวอร์ที่ใช้งานจริงเพื่อทำการดีบัก

— abuzze
แหล่งที่มา

1

คุณสามารถลอง:

ไอโซโทป (แสดง I / O บนระบบ)
netstat -t (แสดงการเชื่อมต่อ)
ลองดูที่ apache logfiles และค้นหาสิ่งที่เซิร์ฟเวอร์ทำล่าสุด
ตั้งค่า RLimits บางอย่างสำหรับกระบวนการ apache เมื่อถึงขีด จำกัด เหล่านี้กระบวนการจะถูกฆ่าตายให้ข้อมูลเพิ่มเติมแก่คุณ

— ไก่ Bojens
แหล่งที่มา

0

คำสั่งของคุณควรทำงานหากคุณทำการร้องขอ HTTP ที่เรียกใช้ PID นั้น

คุณอาจต้องการกำหนดค่า Apache ใหม่ด้วยกระบวนการลูกเพียงกระบวนการเดียวชั่วคราวหรือไม่

— แฮร์รี่สังหาร
แหล่งที่มา

โปรดทราบว่ากระบวนการลูกเพียงกระบวนการเดียวเท่านั้นหมายความว่า Apache สามารถตอบสนองคำขอเดียวเท่านั้นและหากเด็กคนนั้นติดอยู่ Apache จะไม่สามารถให้บริการตามคำขอได้

— Stefan Lasiewski

ไม่สามารถทำได้เนื่องจากเป็นเซิร์ฟเวอร์สดที่มีผู้ใช้งานพร้อมกันหลายร้อยคน (เพิ่มไว้ใน OP เนื่องจากไม่ชัดเจนมาก่อน)

— BT643

0

PID ของอินสแตนซ์ apache นั้นต่ำอาจเป็นพ่อของทุกคน ที่จะอธิบายการใช้งาน CPU สูงอย่างแน่นอน (มันอยู่รอบ ๆ คนอื่น ๆ จะเกิดและเรียกคืนตามการโหลด) เวลา CPU ที่สะสมมากอาจหมายถึงว่ามันทำงานมาเป็นเวลานาน ไม่มีเอาต์พุตจากstrace(1)เพียงหมายความว่าไม่มีการเรียกของระบบ ใช่มันอาจจะอยู่ในวงคับ แต่ apache นั้นเป็น I / O ผ่าน 'net ดังนั้นฉันคิดว่ามันไม่มีประโยชน์อะไรเลย แปลก 100% ของ CPU หนึ่งตัวในทุกกรณี

— vonbrand
แหล่งที่มา

PID ต่ำไม่ได้แปลว่าเป็นกระบวนการเก่า PID มีค่าสูงสุดและล้อมรอบเพื่อให้กระบวนการใหม่สามารถสร้างขึ้นได้โดยใช้ PID ต่ำ

— ชาวออสเตรีย

0

ลองสิ่งนี้:

1) เริ่มบันทึกด้วยวันที่ / เวลาสคริปต์ PHP และ PID ที่ใช้ getmypid()

2) จากนั้นดูเซิร์ฟเวอร์ของคุณด้วย top

3) เมื่อคุณเห็นกระบวนการอาปาเช่สูงขึ้นให้ค้นหาวันที่ / เวลาและ PID เดียวกันในบันทึกของคุณ คุณควรจะสามารถค้นหาสคริปต์ที่มีปัญหาได้

— ต้นอินทผลัม
แหล่งที่มา

นี่เป็นวิธีแก้ปัญหาที่น่าสนใจ แต่ฉันเห็นว่ามันใช้ทรัพยากรมากกว่าที่ควรค่าเพราะmod_statusมันทำหน้าที่ได้ค่อนข้างดี

— ชาวออสเตรีย