เหตุใดการเปิดไฟล์จึงเร็วกว่าการอ่านเนื้อหาตัวแปร

ในbashสคริปต์ฉันต้องการค่าต่าง ๆ จาก/proc/ไฟล์ จนถึงตอนนี้ฉันมีหลายสิบบรรทัด grepping ไฟล์โดยตรงเช่นนั้น:

grep -oP '^MemFree: *\K[0-9]+' /proc/meminfo

ในความพยายามที่จะทำให้มีประสิทธิภาพมากขึ้นฉันบันทึกเนื้อหาของไฟล์ไว้ในตัวแปรแล้วทำสิ่งต่อไปนี้:

a=$(</proc/meminfo)
echo "$a" | grep -oP '^MemFree: *\K[0-9]+'

แทนที่จะเปิดไฟล์หลายครั้งควรเปิดเพียงครั้งเดียวและ grep เนื้อหาตัวแปรซึ่งฉันคิดว่าน่าจะเร็วกว่า - แต่อันที่จริงมันช้ากว่า:

bash 4.4.19 $ time for i in {1..1000};do grep ^MemFree /proc/meminfo;done >/dev/null
real    0m0.803s
user    0m0.619s
sys     0m0.232s
bash 4.4.19 $ a=$(</proc/meminfo)
bash 4.4.19 $ time for i in {1..1000};do echo "$a"|grep ^MemFree; done >/dev/null
real    0m1.182s
user    0m1.425s
sys     0m0.506s

เช่นเดียวกับที่เป็นจริงสำหรับและdash zshฉันสงสัยว่าสถานะพิเศษของ/proc/ไฟล์เป็นเหตุผล แต่เมื่อฉันคัดลอกเนื้อหาของ/proc/meminfoไปยังไฟล์ปกติและใช้ว่าผลลัพธ์เหมือนกัน:

bash 4.4.19 $ cat </proc/meminfo >meminfo
bash 4.4.19 $ time for i in $(seq 1 1000);do grep ^MemFree meminfo; done >/dev/null
real    0m0.790s
user    0m0.608s
sys     0m0.227s

การใช้สตริงที่นี่เพื่อบันทึกไปป์ทำให้เร็วขึ้นเล็กน้อย แต่ก็ยังไม่เร็วเท่ากับไฟล์:

bash 4.4.19 $ time for i in $(seq 1 1000);do <<<"$a" grep ^MemFree; done >/dev/null
real    0m0.977s
user    0m0.758s
sys     0m0.268s

เหตุใดการเปิดไฟล์จึงเร็วกว่าการอ่านเนื้อหาเดียวกันจากตัวแปร

ที่นี่ไม่ได้เกี่ยวกับการเปิดไฟล์เมื่อเทียบกับการอ่านเนื้อหาของตัวแปรแต่เพิ่มเติมเกี่ยวกับการฟอร์กกระบวนการพิเศษหรือไม่

grep -oP '^MemFree: *\K[0-9]+' /proc/meminfoส้อมกระบวนการที่ดำเนินการgrepที่เปิด/proc/meminfo(ไฟล์เสมือนในหน่วยความจำไม่มีดิสก์ I / O ที่เกี่ยวข้อง) อ่านมันและตรงกับ regexp

ส่วนที่แพงที่สุดคือการฟอร์กกระบวนการและโหลดยูทิลิตี้ grep และการพึ่งพาไลบรารีของมัน, ทำการลิงก์แบบไดนามิก, เปิดฐานข้อมูลโลแคล, ไฟล์หลายสิบไฟล์ที่อยู่บนดิสก์

ส่วนเกี่ยวกับการอ่าน/proc/meminfoไม่มีนัยสำคัญในการเปรียบเทียบเคอร์เนลต้องการเวลาน้อยในการสร้างข้อมูลในนั้นและgrepต้องการเวลาน้อยในการอ่าน

หากคุณเรียกใช้strace -cสิ่งนั้นคุณจะเห็นการเรียกใช้ระบบopen()หนึ่งและหนึ่งที่read()ใช้ในการอ่าน/proc/meminfoคือถั่วลิสงเมื่อเปรียบเทียบกับทุกสิ่งที่grepทำเพื่อเริ่มต้น ( strace -cไม่นับการฟอร์ก)

ใน:

a=$(</proc/meminfo)

ในเชลล์ส่วนใหญ่ที่สนับสนุน$(<...)โอเปอเรเตอร์ ksh นั้นเชลล์จะเปิดไฟล์และอ่านเนื้อหาของมัน (และดึงอักขระขึ้นบรรทัดใหม่ที่ต่อท้าย) bashจะแตกต่างกันและมีประสิทธิภาพน้อยกว่ามากในการที่มันทำให้กระบวนการอ่านและส่งผ่านข้อมูลไปยังผู้ปกครองผ่านไปป์ แต่ที่นี่มันทำเพียงครั้งเดียวดังนั้นมันจึงไม่สำคัญ

ใน:

printf '%s\n' "$a" | grep '^MemFree'

เชลล์ต้องการวางไข่สองกระบวนการซึ่งทำงานพร้อมกัน แต่มีปฏิสัมพันธ์ระหว่างกันผ่านไพพ์ การสร้างท่อนั้นการฉีกขาดและการเขียนและการอ่านจากมันมีค่าใช้จ่ายเล็กน้อย ค่าใช้จ่ายที่สูงกว่ามากคือการวางไข่ของกระบวนการพิเศษ การจัดตารางเวลาของกระบวนการมีผลกระทบเช่นกัน

คุณอาจพบว่าการใช้ตัว<<<ดำเนินการzsh ทำให้เร็วขึ้นเล็กน้อย:

grep '^MemFree' <<< "$a"

ใน zsh และทุบตีที่ทำโดยการเขียนเนื้อหาของ$aในไฟล์ชั่วคราวที่มีน้อยราคาแพงกว่าวางไข่กระบวนการพิเศษ แต่อาจจะไม่ให้กำไรใด ๆ /proc/meminfoเมื่อเทียบกับการรับข้อมูลออกตรง ยังคงมีประสิทธิภาพน้อยกว่าวิธีการของคุณที่คัดลอก/proc/meminfoบนดิสก์เนื่องจากการเขียนไฟล์ temp เสร็จสิ้นในแต่ละรอบซ้ำ

dashไม่รองรับที่นี่ - สตริง แต่ heredocs ของมันจะถูกนำมาใช้กับท่อที่ไม่เกี่ยวข้องกับการวางไข่กระบวนการพิเศษ ใน:

 grep '^MemFree' << EOF
 $a
 EOF

เชลล์สร้างไพพ์เพื่อให้เกิดกระบวนการ เด็กดำเนินการgrepกับ stdin ของมันเป็นส่วนท้ายของการอ่านไปป์และผู้ปกครองเขียนเนื้อหาที่ปลายอีกด้านหนึ่งของไปป์

แต่การจัดการไปป์และการซิงโครไนซ์กระบวนการนั้นยังคงมีราคาแพงกว่าเพียงแค่ดึงข้อมูลออกมา/proc/meminfoทันที

เนื้อหา/proc/meminfoสั้นและใช้เวลาไม่นานในการผลิต หากคุณต้องการบันทึกรอบ CPU บางอย่างคุณต้องการลบส่วนที่มีราคาแพง: การฟอร์กกระบวนการและการเรียกใช้คำสั่งภายนอก

ชอบ:

IFS= read -rd '' meminfo < /proc/meminfo
memfree=${meminfo#*MemFree:}
memfree=${memfree%%$'\n'*}
memfree=${memfree#"${memfree%%[! ]*}"}

หลีกเลี่ยงbashแม้ว่าการจับคู่รูปแบบจะไม่มีประสิทธิภาพมาก ด้วยzsh -o extendedglobคุณสามารถย่อให้เหลือเพียง:

memfree=${${"$(</proc/meminfo)"##*MemFree: #}%%$'\n'*}

โปรดทราบว่า^เป็นพิเศษในหลาย ๆ เชลล์ (บอร์น, ปลา, rc, es และ zsh พร้อมกับตัวเลือก Extendedglob อย่างน้อย) ฉันขอแนะนำให้อ้างถึง นอกจากนี้ทราบว่าechoไม่สามารถใช้ข้อมูลโดยพลการส่งออก (เพราะฉะนั้นการใช้งานของฉันprintfข้างต้น)

ในกรณีแรกของคุณคุณเป็นเพียงการใช้ยูทิลิตี้ grep และหาบางสิ่งบางอย่างจากแฟ้ม/proc/meminfo, /procเป็นระบบไฟล์เสมือนดังนั้น/proc/meminfoไฟล์ในหน่วยความจำและมันต้องใช้เวลาน้อยมากที่จะดึงข้อมูลเนื้อหา

แต่ในกรณีที่สองคุณกำลังสร้างไพพ์จากนั้นส่งผ่านเอาต์พุตของคำสั่งแรกไปยังคำสั่งที่สองโดยใช้ไพพ์นี้ซึ่งมีค่าใช้จ่ายสูง

ความแตกต่างเป็นเพราะ/proc(เพราะมันอยู่ในหน่วยความจำ) และไพพ์ดูตัวอย่างด้านล่าง:

time for i in {1..1000};do grep ^MemFree /proc/meminfo;done >/dev/null

real    0m0.914s
user    0m0.032s
sys     0m0.148s


cat /proc/meminfo > file
time for i in {1..1000};do grep ^MemFree file;done >/dev/null

real    0m0.938s
user    0m0.032s
sys     0m0.152s


time for i in {1..1000};do echo "$a"|grep ^MemFree; done >/dev/null

real    0m1.016s
user    0m0.040s
sys     0m0.232s

คุณกำลังเรียกคำสั่งภายนอกทั้งสองกรณี (grep) การโทรภายนอกจำเป็นต้องมีการแบ่งย่อย การแยกเปลือกนั้นเป็นสาเหตุพื้นฐานของความล่าช้า ทั้งสองกรณีมีความคล้ายคลึงกันดังนั้น: ความล่าช้าที่คล้ายกัน

หากคุณต้องการอ่านไฟล์ภายนอกเพียงครั้งเดียวและใช้งาน (จากตัวแปร) หลาย ๆ ครั้งอย่าออกจากเชลล์:

meminfo=$(< /dev/meminfo)    
time for i in {1..1000};do 
    [[ $meminfo =~ MemFree:\ *([0-9]*)\ *.B ]] 
    printf '%s\n' "${BASH_REMATCH[1]}"
done

ซึ่งใช้เวลาเพียงประมาณ 0.1 วินาทีแทนที่จะใช้เวลา 1 วินาทีเต็มสำหรับการโทร grep