การลบไฟล์นับล้านไฟล์

ฉันมีคนเต็มไปด้วยภาพ gif นับล้าน มีคำสั่ง rm มากเกินไป

ฉันได้ลองใช้คำสั่ง find แบบนี้แล้ว:

find . -name "*.gif" -print0 | xargs -0 rm

ปัญหาคือมันทำให้เครื่องของฉันแย่มากและทำให้ลูกค้าต้องเสียเวลาเนื่องจากเซิร์ฟเวอร์

มีวิธีใดที่เร็วกว่าในการลบไฟล์ทั้งหมดเหล่านี้ ... โดยไม่ล็อคเครื่อง?

เร็วไม่จำเป็นต้องเป็นสิ่งที่คุณต้องการ คุณอาจต้องการทำงานช้าลงจริง ๆดังนั้นการลบจะทำให้ทรัพยากรน้อยลงในขณะที่กำลังทำงานอยู่

ใช้nice (1)เพื่อลดระดับความสำคัญของคำสั่ง

nice find . -name "*.gif" -delete

สำหรับกระบวนการ I / O-bound ที่ดี (1) อาจไม่เพียงพอ ตัวกำหนดตารางเวลาลินุกซ์คำนึงถึง I / O ไม่ใช่แค่ CPU แต่คุณอาจต้องการการควบคุม I / O ที่มีความสำคัญมากกว่า

ionice -c 2 -n 7 find . -name "*.gif" -delete

หากวิธีนี้ไม่ได้ผลคุณสามารถเพิ่มโหมดสลีปเพื่อทำให้ช้าลงได้

find . -name "*.gif" -exec sleep 0.01 \; -delete

เนื่องจากคุณใช้งาน Linux และงานนี้น่าจะเป็น I / O-bound ฉันขอแนะนำให้คุณใช้คำสั่ง I / O ตัวกำหนดตารางเวลาที่ไม่ทำงานโดยใช้ลำดับความสำคัญionice(1):

ionice -c3 find . -name '*.gif' -delete

xargsเมื่อเปรียบเทียบกับคำสั่งเดิมของคุณผมคิดว่านี้อาจจะว่างบางรอบการทำงานมากขึ้นโดยการหลีกเลี่ยงท่อ

เลขที่

ไม่มีวิธีที่รวดเร็วกว่าคือ appart จากรูปแบบซอฟต์ของดิสก์ ไฟล์ถูกกำหนดให้กับ rm ในครั้งเดียว (ไม่เกินขีด จำกัด ของบรรทัดคำสั่ง, มันอาจถูกตั้งค่าเป็นxargs) ซึ่งดีกว่าการเรียก rm ในแต่ละไฟล์ ไม่เลยไม่มีทางเร็วขึ้นแน่นอน

การใช้nice(หรือreniceในกระบวนการทำงาน) ช่วยเพียงบางส่วนเท่านั้นเพราะนั่นคือสำหรับการกำหนดเวลาทรัพยากรCPUไม่ใช่ดิสก์! และการใช้งาน CPU จะต่ำมาก นี่เป็นจุดอ่อนของ linux - หากกระบวนการหนึ่ง "กิน" ดิสก์ (เช่นทำงานได้มากกับมัน) เครื่องทั้งหมดก็จะติดขัด เคอร์เนลดัดแปลงสำหรับการใช้งานแบบเรียลไทม์อาจเป็นทางออก

สิ่งที่ฉันจะทำบนเซิร์ฟเวอร์คือการอนุญาตให้กระบวนการอื่นทำงานด้วยตนเอง - รวมการหยุดชั่วคราวเพื่อให้เซิร์ฟเวอร์ "หายใจ":

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

ขั้นตอนนี้จะรอ 5 วินาทีหลังจากทุก ๆ 100 ไฟล์ จะใช้เวลานานกว่า แต่ลูกค้าของคุณไม่ควรสังเกตเห็นความล่าช้าใด ๆ

หากจำนวนไฟล์ที่จะถูกลบมีจำนวนมากกว่าไฟล์ที่ถูกทิ้งไว้มันอาจไม่ใช่วิธีที่มีประสิทธิภาพที่สุดในการนำไฟล์ของไฟล์ที่จะลบและทำการอัพเดตระบบไฟล์เหล่านั้นทั้งหมด (มันคล้ายกับการทำการจัดการหน่วยความจำอ้างอิงที่นับจำนวนเงอะงะเยี่ยมชมทุกวัตถุในต้นไม้ขนาดใหญ่เพื่อวางการอ้างอิงแทนที่จะทำให้ทุกสิ่งที่ไม่ต้องการลงในถังขยะในขั้นตอนเดียวแล้วกวาดผ่านสิ่งที่เข้าถึงได้เพื่อทำความสะอาด)

นั่นคือการพูดโคลนส่วนของต้นไม้ที่จะถูกเก็บไว้ในระดับอื่น สร้างระบบไฟล์เปล่าใหม่ที่ว่างเปล่าบนโวลุ่มดั้งเดิม คัดลอกไฟล์ที่เก็บไว้กลับไปยังพา ธ ดั้งเดิม นี้เป็นรางคล้ายกับการเก็บขยะการคัดลอก

จะมีการหยุดทำงาน แต่อาจดีกว่าประสิทธิภาพที่ไม่ดีอย่างต่อเนื่องและการหยุดชะงักของบริการ

อาจเป็นไปไม่ได้ในระบบและสถานการณ์ของคุณ แต่เป็นเรื่องง่ายที่จะจินตนาการกรณีที่ชัดเจนว่านี่คือวิธีที่จะไป

ตัวอย่างเช่นสมมติว่าคุณต้องการลบไฟล์ทั้งหมดในระบบไฟล์ อะไรคือประเด็นของการเรียกซ้ำและการลบทีละตัว? เพียงเลิกเมานท์และทำ "mkfs" ที่ด้านบนของพาร์ติชันเพื่อสร้างระบบไฟล์เปล่า

หรือสมมุติว่าคุณต้องการลบไฟล์ทั้งหมดยกเว้นไฟล์สำคัญครึ่งโหล? รับครึ่งโหลออกจากที่นั่นและ ... "mkfs" ด้านบน

ในที่สุดก็มีบางจุดคุ้มทุนเมื่อมีไฟล์เพียงพอที่จะอยู่ที่มันจะถูกกว่าที่จะทำการลบซ้ำโดยคำนึงถึงต้นทุนอื่น ๆ เช่นการหยุดทำงานใด ๆ

คุณเคยลองไหม:

find . -name "*.gif" -exec rm {} +

เครื่องหมาย + ที่ส่วนท้ายจะทำให้การค้นหารวมไฟล์มากขึ้นเพื่อให้คำสั่ง rm เดียวถูกเรียกใช้งาน ตรวจสอบคำถามนี้เพื่อดูรายละเอียดเพิ่มเติม