ไฟล์ระยะสั้นถูกฟลัชไปที่ดิสก์หรือไม่?

โปรแกรมของฉันสร้างไฟล์อายุสั้นขนาดเล็กจำนวนมาก โดยทั่วไปจะถูกลบภายในไม่กี่วินาทีหลังจากการสร้าง ไฟล์อยู่ในระบบไฟล์ ext4 ที่สำรองข้อมูลโดยฮาร์ดดิสก์จริง ฉันรู้ว่าลีนุกซ์ล้างpdflushหน้าสกปรกไปยังดิสก์เป็นระยะ ๆ pdflushเนื่องจากไฟล์ของฉันจะอายุสั้นส่วนใหญ่พวกเขาจะไม่เก็บไว้โดย คำถามของฉันคือโปรแกรมของฉันทำให้เขียนดิสก์จำนวนมากหรือไม่ ความกังวลของฉันคือชีวิตของฮาร์ดดิสก์ของฉัน

เนื่องจากไฟล์มีขนาดเล็กสมมติว่าผลรวมของขนาดของพวกเขามีขนาดเล็กกว่าและdirty_bytesdirty_background_bytes

Ext4 เปิดใช้งานสมุดรายวันเริ่มต้นเช่นสมุดรายวันเมตาดาต้า ฉันต้องการทราบด้วยว่าข้อมูลเมตาหรือข้อมูลถูกเขียนไปยังดิสก์หรือไม่

การทดสอบอย่างง่ายโดยใช้ ext4:

สร้างภาพ 100MB ...

# dd if=/dev/zero of=image bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0533049 s, 2.0 GB/s

ทำให้เป็นอุปกรณ์ลูป ...

# losetup -f --show image
/dev/loop0

สร้างระบบไฟล์และเมานต์ ...

# mkfs.ext4 /dev/loop0
# mount /dev/loop0 /mnt/tmp

ทำให้บางชนิดทำงานด้วยไฟล์ระยะสั้น (เปลี่ยนเป็นวิธีใดก็ได้ที่คุณต้องการ)

for ((x=0; x<1000; x++))
do
    (echo short-lived-content-$x > /mnt/tmp/short-lived-file-$x
     sleep 1
     rm /mnt/tmp/short-lived-file-$x ) &
done

จำนวน, ซิงค์, เปิดใหม่

# umount /mnt/tmp
# sync
# losetup -d /dev/loop0

ตรวจสอบเนื้อหารูปภาพ

# strings image | grep short-lived-file | tail -n 3
short-lived-file-266
short-lived-file-895
short-lived-file-909
# strings image | grep short-lived-content | tail -n 3

ในกรณีของฉันมันแสดงชื่อไฟล์ทั้งหมด แต่ไม่มีเนื้อหาของไฟล์ ดังนั้นเนื้อหาจึงไม่ได้ถูกเขียนขึ้น

นอกจากว่าคุณกำลังพูดถึงโซลิดสเตทไดรฟ์การเขียนดิสก์จำนวนมากจะไม่เป็นปัจจัยสำคัญในการยืดอายุของไดรฟ์

ถ้าคุณอยากจะหลีกเลี่ยงการเขียนดิสก์ที่ทุกคนมองเข้าไปในtmpfs ,

ตามกฎทั่วไปแล้วจะไม่มีการเขียน นี่เป็นเพราะแคชล้างหน้าที่สกปรกเมื่อเงื่อนไขใดข้อหนึ่งในสองข้อ:

1. ข้อมูลจะหมดอายุหลังจาก/proc/sys/vm/dirty_writeback_centisecsนั้นซึ่งมีค่าเริ่มต้นเป็น 5 วินาที

2. มีหน่วยความจำน้อยเกินไปที่แคชจะเก็บข้อมูลมากกว่าdirty_ratioหน้าสกปรกในแคช (ค่าเริ่มต้นคือ 20%)

ดังนั้นในระบบที่มีหน่วยความจำว่างมากมายและทราฟฟิกการเขียนเพียงเล็กน้อยจากไฟล์เล็ก ๆ ของคุณที่ถูกลบในเวลาน้อยกว่า 5 วินาทีข้อมูลจะไม่ถูกลบทิ้ง

ไม่ว่าไฟล์อายุสั้นจะถูกเขียนไปยังดิสก์หรือไม่นั้นไม่เพียง แต่ขึ้นอยู่กับพฤติกรรมเริ่มต้นของแคชไฟล์เคอร์เนลเท่านั้น แต่ยังรวมถึงรายละเอียดของการติดตั้งไดรเวอร์ระบบไฟล์และตัวเลือกเมานต์ของระบบไฟล์ดังกล่าว เป็นไปได้ที่จะกำหนดค่าระบบในลักษณะที่ทุกอย่างจะถูกเขียนลงในดิสก์ทันที (โดยทั่วไปคือพฤติกรรมที่เหมือนดอส)

ระบบไฟล์เดียวซึ่งโดดเด่นด้วยพฤติกรรมที่คุณสนใจ (เรียกว่า "การจัดสรรล่าช้า") คือ XFS ด้วยคุณสามารถมั่นใจได้มากขึ้นหรือน้อยลง (ไม่มีตัวเลือกการกำหนดค่าตลก ๆ ) ที่บล็อกของไฟล์ที่ถูกลบเพียงแค่จะถูกนำมาใช้ใหม่ในหน่วยความจำโดยไม่ต้องเข้าถึงดิสก์ระดับกลาง XFS อาจยังต้องการอัปเดตสมุดรายวันเมตาดาต้า (ซึ่งจะถูกเขียนลงดิสก์ค่อนข้างบ่อยครั้ง แต่เนื่องจากสมุดรายวันของ XFS นั้นเป็นเมทาดาทาเท่านั้นจึงมีขนาดเล็กพอที่จะตั้งค่าบนอุปกรณ์อื่น ๆ ที่รวดเร็วเช่น RAM ที่สำรองแบตเตอรี่ บนตัวควบคุม RAID หลายตัว)

เนื่องจากลักษณะการทำงานนี้ไม่ใช่เรื่องแปลกที่จะพบศูนย์ทั้งหมด แต่ไฟล์การค้นหาที่ถูกต้องตามกฎหมาย (ขนาดและข้อมูลเมตาอื่น ๆ ไม่เป็นอันตราย) บนระบบไฟล์ XFS หลังจากการขัดจังหวะพลังงานอย่างกะทันหัน นี่เป็นต้นทุนในการสนับสนุนการทำงานของไฟล์ "กึ่งชั่วคราว" อย่างรวดเร็ว

ทฤษฎีบางอย่าง

โดยทั่วไปการเรียกระบบที่เข้าถึงระบบไฟล์จะสิ้นสุดลงอย่างรวดเร็วในวิธีการที่กำหนดไว้ในไดรเวอร์ระบบไฟล์ (แนบกับ "struct inode_operations" และ "struct file_operations" เมื่อลงทะเบียนไดรเวอร์ VFS) จะเกิดอะไรขึ้นหลังจากนั้นจะถูกพิจารณาตามความเหมาะสมของการนำระบบไฟล์ไปใช้ โดยทั่วไปแล้วจะใช้สิ่งที่คล้ายกับวิธีการต่อไปนี้ (ตัวอย่างง่ายๆนี้มาจากไดรเวอร์ Linux ของ FAT):

if (IS_DIRSYNC(dir))
    (void)fat_sync_inode(dir);
else
    mark_inode_dirty(dir);

หากระบบไฟล์ติดตั้งในโหมด "ซิงค์" การเปลี่ยนแปลงทั้งหมดจะไปที่ดิสก์ทันที (ผ่าน fat_sync_inode () ในกรณีนี้) มิฉะนั้นบล็อกจะถูกทำเครื่องหมายว่า "สกปรก" และยังคงอยู่ในหน่วยความจำแคชจนกว่าจะล้างด้วยโอกาสที่เหมาะสม

ดังนั้นจึงเป็นไปไม่ได้ที่จะทำนายพฤติกรรมของระบบเกี่ยวกับไฟล์ชั่วคราวโดยไม่พิจารณาตัวเลือกการเมาท์ระบบไฟล์และตรวจสอบซอร์สโค้ดของการใช้งาน (แน่นอนว่าส่วนใหญ่จะใช้กับระบบไฟล์แปลกใหม่ทุกชนิดที่พบในพื้นที่ฝังตัว) .