บังคับให้ล้างเอาต์พุตไปยังไฟล์ในขณะที่สคริปต์ bash ยังทำงานอยู่

ฉันมีสคริปต์เล็ก ๆ ซึ่งเรียกว่าทุกวันโดย crontab โดยใช้คำสั่งต่อไปนี้:

/homedir/MyScript &> some_log.log

ปัญหาของวิธีนี้คือ some_log.log ถูกสร้างขึ้นหลังจาก MyScript เสร็จสิ้นเท่านั้น ฉันต้องการล้างผลลัพธ์ของโปรแกรมลงในไฟล์ในขณะที่กำลังทำงานอยู่เพื่อที่ฉันจะได้ทำสิ่งต่างๆเช่น

tail -f some_log.log

และติดตามความคืบหน้า ฯลฯ

bash จะไม่เขียนผลลัพธ์ใด ๆ ลงในไฟล์บันทึกของคุณ แต่คำสั่งที่เรียกใช้เป็นส่วนหนึ่งของสคริปต์จะเขียนเอาต์พุตทีละรายการและล้างเมื่อใดก็ตามที่รู้สึกต้องการ ดังนั้นคำถามของคุณคือการบังคับให้คำสั่งภายใน bash script ล้างอย่างไรและขึ้นอยู่กับสิ่งที่พวกเขาเป็น

ผมพบว่าวิธีการแก้ปัญหานี้ที่นี่ ใช้ตัวอย่างของ OP ที่คุณเรียกใช้โดยทั่วไป

stdbuf -oL /homedir/MyScript &> some_log.log

จากนั้นบัฟเฟอร์จะถูกล้างหลังจากแต่ละบรรทัดของเอาต์พุต ฉันมักจะใช้สิ่งนี้ร่วมกับnohupการทำงานที่ยาวนานบนเครื่องระยะไกล

stdbuf -oL nohup /homedir/MyScript &> some_log.log

วิธีนี้กระบวนการของคุณจะไม่ถูกยกเลิกเมื่อคุณออกจากระบบ

script -c <PROGRAM> -f OUTPUT.txt

คีย์คือ -f. อ้างจากสคริปต์คน:

-f, --flush
     Flush output after each write.  This is nice for telecooperation: one person
     does 'mkfifo foo; script -f foo', and another can supervise real-time what is
     being done using 'cat foo'.

ทำงานในพื้นหลัง:

nohup script -c <PROGRAM> -f OUTPUT.txt

คุณสามารถใช้teeเขียนลงไฟล์ได้โดยไม่ต้องใช้ฟลัชชิ่ง

/homedir/MyScript 2>&1 | tee some_log.log > /dev/null

นี่ไม่ใช่ฟังก์ชั่นbashเนื่องจากเชลล์ทั้งหมดเปิดไฟล์ที่เป็นปัญหาจากนั้นส่งไฟล์ descriptor เป็นเอาต์พุตมาตรฐานของสคริปต์ สิ่งที่คุณต้องทำคือตรวจสอบให้แน่ใจว่าเอาต์พุตถูกล้างออกจากสคริปต์ของคุณบ่อยกว่าที่คุณเป็นอยู่

ตัวอย่างเช่นใน Perl สิ่งนี้สามารถทำได้โดยการตั้งค่า:

$| = 1;

ดูperlvarสำหรับข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้

การบัฟเฟอร์เอาต์พุตขึ้นอยู่กับวิธี/homedir/MyScriptการใช้งานโปรแกรมของคุณ หากคุณพบว่าเอาต์พุตได้รับการบัฟเฟอร์คุณต้องบังคับใช้ในการนำไปใช้งาน ตัวอย่างเช่นใช้ sys.stdout.flush () ถ้าเป็นโปรแกรม python หรือใช้ fflush (stdout) ถ้าเป็นโปรแกรม C

สิ่งนี้จะช่วยได้ไหม

tail -f access.log | stdbuf -oL cut -d ' ' -f1 | uniq 

นี้ทันทีจะแสดงรายการที่ไม่ซ้ำกันจาก access.log ใช้ยูทิลิตี้ stdbuf

ปัญหาที่พบที่นี่คือคุณต้องรอให้โปรแกรมที่คุณเรียกใช้จากสคริปต์ของคุณทำงานเสร็จสิ้น
หากในสคริปต์ของคุณคุณเรียกใช้โปรแกรมในพื้นหลังคุณสามารถลองอะไรเพิ่มเติมได้

โดยทั่วไปการโทรไปยังsyncก่อนที่คุณจะออกจะอนุญาตให้ล้างบัฟเฟอร์ระบบไฟล์และสามารถช่วยได้เล็กน้อย

หากในสคริปต์คุณเริ่มบางโปรแกรมในพื้นหลัง ( &) คุณสามารถรอให้โปรแกรมเสร็จสิ้นก่อนที่คุณจะออกจากสคริปต์ หากต้องการทราบวิธีการทำงานคุณสามารถดูด้านล่าง

#!/bin/bash
#... some stuffs ...
program_1 &          # here you start a program 1 in background
PID_PROGRAM_1=${!}   # here you remember its PID
#... some other stuffs ... 
program_2 &          # here you start a program 2 in background
wait ${!}            # You wait it finish not really useful here
#... some other stuffs ... 
daemon_1 &           # We will not wait it will finish
program_3 &          # here you start a program 1 in background
PID_PROGRAM_3=${!}   # here you remember its PID
#... last other stuffs ... 
sync
wait $PID_PROGRAM_1
wait $PID_PROGRAM_3  # program 2 is just ended
# ...

เนื่องจากใช้waitงานได้กับงานและPIDตัวเลขการแก้ปัญหาที่ขี้เกียจควรวางไว้ที่ส่วนท้ายของสคริปต์

for job in `jobs -p`
do
   wait $job 
done

สถานการณ์จะยากขึ้นถ้าคุณรันบางสิ่งที่รันอย่างอื่นในเบื้องหลังเพราะคุณต้องค้นหาและรอ (ถ้าเป็นกรณีนี้) จุดสิ้นสุดของกระบวนการลูกทั้งหมด: ตัวอย่างเช่นถ้าคุณรันdaemonอาจจะไม่ใช่กรณีนี้ เพื่อรอให้เสร็จสิ้น :-)

บันทึก:

• รอ $ {!} หมายถึง "รอจนกว่ากระบวนการพื้นหลังสุดท้ายจะเสร็จสิ้น" โดยที่$!PID ของกระบวนการพื้นหลังสุดท้ายอยู่ที่ไหน ดังนั้นการใส่wait ${!}เพียงหลังprogram_2 &จะเทียบเท่ากับการดำเนินการโดยตรงprogram_2โดยไม่ต้องส่งในพื้นหลังด้วย&

• จากความช่วยเหลือของwait:

  Syntax    
      wait [n ...]
  Key  
      n A process ID or a job specification
  

ขอบคุณ@user3258569สคริปต์อาจเป็นสิ่งเดียวที่ใช้ได้busybox !

แม้ว่าหลังจากนั้นเปลือกจะแข็งตัวสำหรับฉัน เมื่อมองหาสาเหตุฉันพบคำเตือนสีแดงขนาดใหญ่เหล่านี้ "อย่าใช้ในเชลล์ที่ไม่โต้ตอบ" ในหน้าคู่มือสคริปต์ :

scriptได้รับการออกแบบมาสำหรับเซสชันเทอร์มินัลแบบโต้ตอบเป็นหลัก เมื่อ stdin ไม่ใช่เทอร์มินัล (ตัวอย่างเช่นecho foo | script:) เซสชันสามารถแฮงค์ได้เนื่องจากเชลล์แบบโต้ตอบภายในเซสชันสคริปต์ขาดEOFและscriptไม่มีเงื่อนงำว่าจะปิดเซสชันเมื่อใด ดูหมายเหตุสำหรับข้อมูลเพิ่มเติม

จริง. script -c "make_hay" -f /dev/null | grep "needle"กำลังแช่แข็งเปลือกให้ฉัน

นับเป็นการเตือนฉันคิดว่าecho "make_hay" | scriptจะผ่าน EOF ดังนั้นฉันจึงลอง

echo "make_hay; exit" | script -f /dev/null | grep 'needle'

และมันได้ผล!

สังเกตคำเตือนใน man page วิธีนี้อาจไม่ได้ผลสำหรับคุณ

ทางเลือกอื่นสำหรับ stdbuf คือawk '{print} END {fflush()}' ฉันหวังว่าจะมี bash builtin เพื่อทำสิ่งนี้ โดยปกติไม่จำเป็น แต่สำหรับเวอร์ชันเก่าอาจมีข้อบกพร่องในการซิงโครไนซ์ bash ในตัวอธิบายไฟล์

ฉันไม่รู้ว่ามันจะใช้ได้syncหรือเปล่าแต่โทรมาล่ะ?

ฉันมีปัญหากับกระบวนการพื้นหลังใน Mac OS X โดยใช้ไฟล์StartupItems. นี่คือวิธีแก้ปัญหา:

ถ้าฉันทำให้sudo ps auxฉันเห็นว่าmytoolเปิดตัว

ฉันพบว่า (เนื่องจากการบัฟเฟอร์) เมื่อ Mac OS X ปิดตัวลงจะmytoolไม่ถ่ายโอนผลลัพธ์ไปยังsedคำสั่ง อย่างไรก็ตามหากฉันดำเนินการsudo killall mytoolให้mytoolโอนเอาต์พุตไปยังsedคำสั่ง ดังนั้นฉันจึงเพิ่มstopกรณีStartupItemsที่จะดำเนินการเมื่อ MacOS X ปิดตัวลง:

start)
    if [ -x /sw/sbin/mytool ]; then
      # run the daemon
      ConsoleMessage "Starting mytool"
      (mytool | sed .... >> myfile.txt) & 
    fi
    ;;
stop)
    ConsoleMessage "Killing mytool"
    killall mytool
    ;;

ชอบหรือไม่นี่คือวิธีการทำงานของการเปลี่ยนเส้นทาง

ในกรณีของคุณผลลัพธ์ (หมายถึงสคริปต์ของคุณเสร็จสิ้นแล้ว) ของสคริปต์ของคุณถูกเปลี่ยนเส้นทางไปยังไฟล์นั้น

สิ่งที่คุณต้องการทำคือเพิ่มการเปลี่ยนเส้นทางเหล่านั้นในสคริปต์ของคุณ