ฉันจะเขียนสคริปต์ทุบตีเพื่อเริ่มต้นกระบวนการใหม่ได้อย่างไรถ้ามันตาย?

ฉันมีสคริปต์หลามที่จะตรวจสอบคิวและดำเนินการกับแต่ละรายการ:

# checkqueue.py
while True:
  check_queue()
  do_something()

ฉันจะเขียนสคริปต์ทุบตีที่จะตรวจสอบว่ามันทำงานอยู่หรือไม่และเริ่มต้นได้อย่างไร รหัสหลอกต่อไปนี้คร่าวๆ (หรือบางทีมันควรจะทำอะไรเช่นps | grepนี้):

# keepalivescript.sh
if processidfile exists:
  if processid is running:
     exit, all ok

run checkqueue.py
write processid to processidfile

ฉันจะเรียกสิ่งนั้นจาก crontab:

# crontab
*/5 * * * * /path/to/keepalivescript.sh

หลีกเลี่ยงไฟล์ PID, crons หรืออะไรก็ตามที่พยายามประเมินกระบวนการที่ไม่ใช่ลูกของพวกเขา

มีเหตุผลที่ดีมากที่ทำไมใน UNIX คุณสามารถรอลูก ๆ ของคุณได้เท่านั้น วิธีการใด ๆ (การแยกวิเคราะห์ ps, pgrep, การจัดเก็บ PID, ... ) ที่พยายามที่จะหลีกเลี่ยงข้อบกพร่องและมีช่องโหว่อยู่ในนั้น เพียงแค่บอกว่าไม่มี

แต่คุณต้องการกระบวนการที่ตรวจสอบกระบวนการของคุณให้เป็นกระบวนการหลัก สิ่งนี้หมายความว่า? หมายความว่าเฉพาะกระบวนการที่เริ่มกระบวนการของคุณเท่านั้นที่สามารถรอจนจบได้อย่างน่าเชื่อถือ ในทุบตีนี้เป็นเรื่องเล็กน้อยอย่างแน่นอน

until myserver; do
    echo "Server 'myserver' crashed with exit code $?.  Respawning.." >&2
    sleep 1
done

โค้ดทุบตีส่วนบนทำงานmyserverเป็นuntilวนรอบ บรรทัดแรกเริ่มต้นmyserverและรอจนจบ เมื่อมันสิ้นสุดให้untilตรวจสอบสถานะการออก หากสถานะการออกคือ0มันหมายความว่ามันจบลงอย่างสง่างาม (ซึ่งหมายความว่าคุณขอให้ปิดอย่างใดและมันก็ประสบความสำเร็จ) ในกรณีนั้นเราไม่ต้องการเริ่มต้นใหม่ (เราเพิ่งขอให้ปิดระบบ!) ถ้าสถานะทางออกคือไม่ 0 , untilจะทำงานร่างกายห่วงซึ่งส่งเสียงข้อความข้อผิดพลาดใน STDERR และเริ่มต้นใหม่วง (กลับไปสาย 1) หลัง 1 วินาที

เราจะรออีกทำไม เพราะหากมีบางอย่างผิดปกติกับลำดับการเริ่มต้นmyserverและมันล้มเหลวทันทีคุณจะมีวงวนที่เข้มข้นมากในการรีสตาร์ทและหยุดอย่างต่อเนื่อง ที่sleep 1จะไปความเครียดจากที่

ตอนนี้สิ่งที่คุณต้องทำคือเริ่มต้นสคริปต์ทุบตีนี้ (แบบอะซิงโครนัสอาจ) และมันจะตรวจสอบmyserverและเริ่มใหม่ตามความจำเป็น หากคุณต้องการเริ่มต้นมอนิเตอร์เมื่อบู๊ตเครื่อง (ทำให้เซิร์ฟเวอร์ "รอดใหม่" ทำการรีบู๊ต) คุณสามารถกำหนดเวลาใน cron ของผู้ใช้ (1) ด้วย@rebootกฎ เปิดกฎ cron ของคุณด้วยcrontab:

crontab -e

จากนั้นเพิ่มกฎเพื่อเริ่มสคริปต์การตรวจสอบของคุณ:

@reboot /usr/local/bin/myservermonitor

อีกทางเลือกหนึ่ง; ดูที่ inittab (5) และ / etc / inittab คุณสามารถเพิ่มบรรทัดที่นั่นเพื่อmyserverเริ่มต้นในระดับเริ่มต้นที่แน่นอนและจะเกิดขึ้นใหม่โดยอัตโนมัติ

แก้ไข

ให้ฉันเพิ่มข้อมูลบางอย่างเกี่ยวกับสาเหตุที่ไม่ใช้ไฟล์ PID ในขณะที่พวกเขาเป็นที่นิยมมาก พวกเขายังมีข้อบกพร่องมากและไม่มีเหตุผลว่าทำไมคุณไม่ทำตามวิธีที่ถูกต้อง

พิจารณาสิ่งนี้:

1. การรีไซเคิล PID (ฆ่ากระบวนการที่ไม่ถูกต้อง):

   • /etc/init.d/foo start: เริ่มfooเขียนfooPID ของไปที่/var/run/foo.pid
   • ในขณะที่ภายหลัง: fooตายอย่างใด
   • ครู่ต่อมา: กระบวนการสุ่มใด ๆ ที่เริ่มต้น (เรียกว่าbar) จะใช้ PID แบบสุ่มลองจินตนาการว่ามันใช้fooPID เก่าของ
   • คุณสังเกตเห็นfoo's หายไป: /etc/init.d/foo/restartอ่าน/var/run/foo.pid, การตรวจสอบเพื่อดูว่ามันยังมีชีวิตอยู่พบbar, คิดว่ามันฆ่ามันเริ่มต้นใหม่foofoo

2. ไฟล์ PID ไม่เสถียร คุณต้องการที่ซับซ้อนมากกว่า (หรือฉันควรจะพูดว่าไม่น่ารำคาญ) ตรรกะในการตรวจสอบว่าไฟล์ PID จะค้างและตรรกะใด ๆ 1.ดังกล่าวเป็นอีกความเสี่ยงที่จะ

3. ถ้าคุณไม่มีการเข้าถึงการเขียนหรืออยู่ในสภาพแวดล้อมแบบอ่านอย่างเดียวล่ะ?

4. มันเป็นเรื่องที่ไม่มีจุดหมาย ดูตัวอย่างง่ายๆของฉันด้านบน ไม่จำเป็นต้องมีความซับซ้อนเลย

ดูเพิ่มเติม: ไฟล์ PID ยังมีข้อบกพร่องเมื่อทำในสิ่งที่ 'ถูกต้อง' หรือไม่?

ยังไงซะ; ยิ่งเลวกว่าไฟล์ PID กำลังแยกps! ไม่เคยทำเช่นนี้

1. psunportable มาก ในขณะที่คุณพบมันในเกือบทุกระบบ UNIX; อาร์กิวเมนต์จะแตกต่างกันมากหากคุณต้องการเอาต์พุตที่ไม่ได้มาตรฐาน และเอาต์พุตมาตรฐานมีไว้สำหรับการบริโภคของมนุษย์เท่านั้นไม่ใช่เพื่อการแยกวิเคราะห์แบบมีสคริปต์!
2. การแยกวิเคราะห์psนำไปสู่การบวกเท็จจำนวนมาก ใช้ps aux | grep PIDตัวอย่างและตอนนี้คิดว่ามีคนที่จะเริ่มกระบวนการที่มีอยู่ที่ไหนสักแห่งจำนวนเป็นอาร์กิวเมนต์ที่เกิดขึ้นจะเป็นเช่นเดียวกับคุณ PID จ้องภูตของคุณด้วย! ลองนึกภาพคนสองคนที่เริ่มเซสชัน X และคุณต้องการให้ X ฆ่าคุณ มันเป็นเรื่องเลวร้ายทุกชนิด

หากคุณไม่ต้องการจัดการกระบวนการด้วยตนเอง มีบางระบบที่ดีอย่างสมบูรณ์ออกมีที่จะทำหน้าที่ตรวจสอบกระบวนการของคุณ ดูเป็นrunitเช่น

ดูที่ monit ( http://mmonit.com/monit/ ) มันจัดการเริ่มหยุดและเริ่มสคริปต์ของคุณและสามารถทำการตรวจสอบสุขภาพรวมทั้งเริ่มใหม่หากจำเป็น

หรือทำสคริปต์ง่ายๆ

while true
do
/your/script
sleep 1
done

วิธีที่ง่ายที่สุดที่จะทำคือใช้ flock ในไฟล์ ในสคริปต์ Python ที่คุณต้องการ

lf = open('/tmp/script.lock','w')
if(fcntl.flock(lf, fcntl.LOCK_EX|fcntl.LOCK_NB) != 0): 
   sys.exit('other instance already running')
lf.write('%d\n'%os.getpid())
lf.flush()

ในเปลือกคุณสามารถทดสอบว่ามันกำลังทำงานอยู่หรือไม่:

if [ `flock -xn /tmp/script.lock -c 'echo 1'` ]; then 
   echo 'it's not running'
   restart.
else
   echo -n 'it's already running with PID '
   cat /tmp/script.lock
fi

แต่แน่นอนว่าคุณไม่จำเป็นต้องทดสอบเพราะถ้ามันทำงานอยู่แล้วและคุณรีสตาร์ทมันก็จะจบลงด้วย 'other instance already running'

เมื่อกระบวนการตายตัวอธิบายไฟล์ทั้งหมดจะปิดและล็อคทั้งหมดจะถูกลบโดยอัตโนมัติ

คุณควรใช้ monit ซึ่งเป็นเครื่องมือยูนิกซ์มาตรฐานที่สามารถตรวจสอบสิ่งต่าง ๆ ในระบบและตอบสนองได้

จากเอกสาร: http://mmonit.com/monit/documentation/monit.html#pid_testing

ตรวจสอบกระบวนการ checkqueue.py ด้วย pidfile /var/run/checkqueue.pid
       ถ้าเปลี่ยน pid แล้ว exec "checkqueue_restart.sh"

คุณสามารถกำหนดค่า monit เพื่อส่งอีเมลถึงคุณเมื่อทำการรีสตาร์ท

if ! test -f $PIDFILE || ! psgrep `cat $PIDFILE`; then
    restart_process
    # Write PIDFILE
    echo $! >$PIDFILE
fi

ฉันไม่แน่ใจว่ามันพกพาได้อย่างไรในระบบปฏิบัติการ แต่คุณอาจตรวจสอบว่าระบบของคุณมีคำสั่ง 'run-one' หรือไม่นั่นคือ "man run-one" โดยเฉพาะชุดคำสั่งนี้รวมถึง 'เรียกใช้อย่างใดอย่างหนึ่งอย่างต่อเนื่อง' ซึ่งดูเหมือนจะเป็นสิ่งที่จำเป็น

จากหน้าคน:

เรียกใช้คำสั่งอย่างต่อเนื่อง [ARGS]

หมายเหตุ: แน่นอนว่าสิ่งนี้สามารถเรียกได้จากภายในสคริปต์ของคุณ แต่มันก็ไม่จำเป็นต้องมีสคริปต์เลย

ฉันใช้สคริปต์ต่อไปนี้ซึ่งประสบความสำเร็จอย่างมากในเซิร์ฟเวอร์จำนวนมาก:

pid=`jps -v | grep $INSTALLATION | awk '{print $1}'`
echo $INSTALLATION found at PID $pid 
while [ -e /proc/$pid ]; do sleep 0.1; done

บันทึก:

• มันกำลังมองหากระบวนการ java ดังนั้นฉันจึงสามารถใช้ jps ได้นี่คือสิ่งที่สอดคล้องกันมากขึ้นในการกระจายกว่า ps
• $INSTALLATION มีเส้นทางของกระบวนการเพียงพอที่ไม่ต้องสงสัยเลย
• ใช้โหมดหลับขณะรอให้กระบวนการตายหลีกเลี่ยงการใช้ทรัพยากร :)

สคริปต์นี้ใช้เพื่อปิดอินสแตนซ์ที่ทำงานอยู่ของ tomcat ซึ่งฉันต้องการปิด (และรอ) ที่บรรทัดคำสั่งดังนั้นการเปิดใช้งานเป็นกระบวนการลูกก็ไม่ใช่ตัวเลือกสำหรับฉัน

ฉันใช้สิ่งนี้สำหรับกระบวนการ npm ของฉัน

#!/bin/bash
for (( ; ; ))
do
date +"%T"
echo Start Process
cd /toFolder
sudo process
date +"%T"
echo Crash
sleep 1
done