วิธีการลบไฟล์นับล้านไฟล์โดยไม่รบกวนเซิร์ฟเวอร์

ฉันต้องการลบไดเรกทอรีแคช nginx ซึ่งฉันลบออกอย่างรวดเร็วโดย:

mv cache cache.bak
mkdir cache
service nginx restart

ตอนนี้ฉันมีcache.bakโฟลเดอร์ที่มี 2 ล้านไฟล์ ฉันต้องการลบโดยไม่รบกวนเซิร์ฟเวอร์

ง่าย ๆrm -rf cache.bakในการทำให้เซิร์ฟเวอร์เสียหายแม้แต่การตอบสนอง HTTP ที่ง่ายที่สุดใช้เวลา 16 วินาทีในขณะที่ rm กำลังทำงานดังนั้นฉันจึงไม่สามารถทำได้

ฉันพยายามionice -c3 rm -rf cache.bakแล้ว แต่ก็ไม่ได้ช่วยอะไร เซิร์ฟเวอร์มี HDD ไม่ใช่ SSD อาจอยู่บน SSD สิ่งเหล่านี้อาจไม่มีปัญหา

ฉันเชื่อว่าทางออกที่ดีที่สุดคือการควบคุมปริมาณบางอย่างเช่นวิธีที่ตัวจัดการแคชของ nginx ทำ

คุณจะแก้ปัญหานี้อย่างไร มีเครื่องมือใดที่สามารถทำสิ่งนี้ได้อย่างแน่นอน?

ext4 บน Ubuntu 16.04

สร้างสคริปต์ทุบตีเช่นนี้:

#!/bin/bash
rm -- "$*"
sleep 0.5

บันทึกด้วยชื่อdeleter.shตัวอย่าง เรียกใช้chmod u+x deleter.shเพื่อให้สามารถเรียกใช้งานได้

สคริปต์นี้จะลบไฟล์ทั้งหมดที่ส่งไปเป็นอาร์กิวเมนต์แล้วสลีป 0.5 วินาที

จากนั้นคุณสามารถเรียกใช้

find cache.bak -print0 | xargs -0 -n 5 deleter.sh

คำสั่งนี้จะเรียกรายการไฟล์ทั้งหมดใน cache.bak และส่งต่อห้าชื่อไฟล์พร้อมกันไปยังสคริปต์ลบ

ดังนั้นคุณสามารถปรับจำนวนไฟล์ที่ถูกลบในแต่ละครั้งและระยะเวลาที่ล่าช้าระหว่างการลบแต่ละครั้ง

คุณควรพิจารณาบันทึกแคชของคุณในระบบไฟล์แยกต่างหากที่คุณสามารถเมาน / unmount เป็นคนที่ระบุไว้ในความคิดเห็น จนกว่าคุณจะทำคุณสามารถใช้สายการบินเดียวนี้/usr/bin/find /path/to/files/ -type f -print0 -exec sleep 0.2 \; -exec echo \; -deleteโดยสมมติว่าไบนารีการค้นหาของคุณอยู่ภายใต้ / usr / bin และคุณต้องการดูความคืบหน้าบนหน้าจอ ปรับโหมดสลีปให้เหมาะสมดังนั้นคุณจะไม่เครียดกับ HDD

คุณอาจต้องการลองใช้ ionice ในสคริปต์ที่ใช้เอาต์พุตของคำสั่ง find สิ่งต่อไปนี้:

ionice -c3 $(
for file in find cache.bak -type f; do
    rm $file
done
for dir in find cache.bak -depthe -type d -empty; do
    rmdir $dir
done
)

การลบไฟล์แต่ละไฟล์อาจส่งผลให้เกิดการเขียนไดเร็กทอรีใหม่ทั้งหมดขึ้นอยู่กับระบบไฟล์ สำหรับไดเรกทอรีขนาดใหญ่ที่ค่อนข้างเป็นที่นิยม จำเป็นต้องมีการปรับปรุงเพิ่มเติมในตาราง inode และอาจเป็นรายการพื้นที่ว่าง

หากระบบไฟล์มีเจอร์นัลการเปลี่ยนแปลงจะถูกเขียนลงในเจอร์นัล นำมาใช้; และลบออกจากวารสาร สิ่งนี้จะเพิ่มข้อกำหนด I / O สำหรับกิจกรรมการเขียนที่เข้มข้น

คุณอาจต้องการใช้ระบบไฟล์โดยไม่มีวารสารสำหรับแคช

คุณสามารถใช้คำสั่ง sleep เพื่อ จำกัด การดำเนินการแทน ionice วิธีนี้จะใช้ได้แม้ว่า ionice จะไม่ทำงาน แต่จะใช้เวลานานในการลบไฟล์ทั้งหมดของคุณ

ฉันได้คำตอบ / ความคิดเห็นที่เป็นประโยชน์มากมายที่นี่ซึ่งฉันต้องการสรุปและแสดงวิธีแก้ปัญหาของฉันด้วย

1. ใช่วิธีที่ดีที่สุดในการป้องกันสิ่งต่าง ๆ ที่เกิดขึ้นคือการเก็บแคชไว้ในระบบไฟล์แยกต่างหาก Nuking / การฟอร์แมตแบบรวดเร็วระบบไฟล์จะใช้เวลาไม่กี่วินาที (อาจเป็นนาที) อย่างมากโดยไม่เกี่ยวข้องกับจำนวนไฟล์ / dirs ที่มีอยู่

2. ionice/ niceการแก้ปัญหาไม่ได้ทำอะไรเพราะกระบวนการลบที่เกิดจริงเกือบจะไม่มี I / O สิ่งที่ทำให้ I / O เกิดขึ้นผมเชื่อว่าระบบคิว / บัฟเฟอร์ระดับเคอร์เนล / ระบบเติมเต็มเมื่อไฟล์ถูกลบเร็วเกินไปโดยกระบวนการลบ

3. วิธีที่ฉันแก้ไขมันคล้ายกับโซลูชันของ Tero Kilkanen แต่ไม่ต้องการเรียกเชลล์สคริปต์ ฉันใช้--bwlimitสวิตช์ในตัวของ rsync เพื่อ จำกัด ความเร็วในการลบ

คำสั่งเต็มคือ:

mkdir empty_dir
rsync -v -a --delete --bwlimit=1 empty_dir/ cache.bak/

ตอนนี้ bwlimit ระบุแบนด์วิดท์เป็นกิโลไบต์ซึ่งในกรณีนี้ใช้กับชื่อไฟล์หรือพา ธ ของไฟล์ เมื่อตั้งค่าเป็น 1 KBps จะเป็นการลบไฟล์ประมาณ 100,000 ไฟล์ต่อชั่วโมงหรือ 27 ไฟล์ต่อวินาที ไฟล์มีเส้นทางสัมพัทธ์เช่นcache.bak/e/c1/db98339573acc5c76bdac4a601f9ec1eซึ่งมีความยาว 47 ตัวอักษรดังนั้นมันจะให้ 1,000/47 ~ = 21 ไฟล์ต่อวินาทีดังนั้นมันคล้ายกับที่ฉันคาดเดา 100,000 ไฟล์ต่อชั่วโมง

ตอนนี้ทำไม--bwlimit=1? ฉันลองค่าต่าง ๆ :

• 10,000, 1,000, 100 -> ระบบช้าลงเหมือนเมื่อก่อน
• 10 -> ระบบทำงานได้ค่อนข้างดีชั่วครู่ แต่สร้างการชะลอตัวบางส่วนหนึ่งครั้งต่อนาทีหรือมากกว่านั้น HTTP เวลาตอบสนองยัง <1 วินาที
• 1 -> ไม่มีการชะลอตัวของระบบเลย ฉันไม่รีบร้อนและสามารถลบไฟล์ได้ 2 ล้านไฟล์ใน <1 วันด้วยวิธีนี้ฉันเลยเลือกมัน

ฉันชอบความเรียบง่ายของวิธีการสร้างขึ้นของ rsync แต่วิธีนี้ขึ้นอยู่กับความยาวของเส้นทางสัมพัทธ์ ไม่ใช่ปัญหาใหญ่เพราะคนส่วนใหญ่จะพบคุณค่าที่ถูกต้องผ่านการลองผิดลองถูก