เรากำลังใช้ rsnapshot สำหรับการสำรองข้อมูล มันเก็บสแน็ปช็อตจำนวนมากของไฟล์สำรองไว้ แต่จะลบไฟล์เก่า ดีจัง. อย่างไรก็ตามมันใช้เวลาประมาณ 7 ชั่วโมงในการทำrm -rfทรีไดเรกทอรีขนาดใหญ่ ระบบไฟล์คือ XFS ฉันไม่แน่ใจว่ามีไฟล์กี่ไฟล์ แต่มีจำนวนเป็นล้าน
อย่างไรก็ตามมีการเร่งความเร็วหรือไม่ มีคำสั่งใดบ้างที่เหมือนกับrm -rfและไม่ใช้เวลาหลายชั่วโมงหรือไม่?
คำตอบ:
เลขที่
rm -rfการวนซ้ำแบบลึกครั้งแรกของระบบไฟล์ของคุณจะเรียกซ้ำunlink()ทุกไฟล์ สองการดำเนินงานที่ก่อให้เกิดกระบวนการที่จะไปช้ามีopendir()/ และreaddir() และขึ้นอยู่กับจำนวนไฟล์ในไดเรกทอรี ขึ้นอยู่กับขนาดของไฟล์ที่ถูกลบ วิธีเดียวที่จะทำให้เรื่องนี้เร็วขึ้นคือการลดขนาดและจำนวนไฟล์ (ซึ่งฉันสงสัยว่าไม่น่าจะเป็นไปได้) หรือเปลี่ยนระบบไฟล์เป็นระบบเดียวที่มีคุณสมบัติที่ดีกว่าสำหรับการดำเนินการเหล่านั้น ฉันเชื่อว่า XFS นั้นดีสำหรับการยกเลิกการเชื่อมโยง () กับไฟล์ขนาดใหญ่ แต่ไม่ดีสำหรับโครงสร้างไดเรกทอรีขนาดใหญ่ คุณอาจพบว่า ext3 + dirindex หรือ reiserfs นั้นเร็วกว่า ฉันไม่แน่ใจว่าค่าโดยสาร JFS ดีแค่ไหน แต่ฉันแน่ใจว่ามีเกณฑ์มาตรฐานมากมายเกี่ยวกับประสิทธิภาพของระบบไฟล์ที่แตกต่างกันunlink()opendir()readdir()unlink()
แก้ไข: ดูเหมือนว่าXFS แย่มากในการลบแผนผังดังนั้นเปลี่ยนระบบไฟล์ของคุณอย่างแน่นอน
unlinkว่าไม่ได้ทำอะไรกับเนื้อหาที่แท้จริง แต่เพื่อทำการunlinkเรียกระบบรหัสระบบไฟล์ยังคงทำงานได้มากขึ้นถ้าลิงค์ที่ลบออกเป็นลิงค์สุดท้ายไปยังไฟล์และหากยังไม่ได้เปิด นี่เป็นระบบไฟล์ที่ขึ้นอยู่กับระบบ แต่ก็อาจมีความแตกต่างที่สังเกตเห็นได้เมื่อไฟล์ที่ถูกลบนั้นมีขนาดใหญ่มาก
อีกวิธีหนึ่งคือย้ายไดเรกทอรีไปข้างหน้าสร้างมันใหม่ด้วยชื่อสิทธิ์และความเป็นเจ้าของเดียวกันแล้วรีสตาร์ทแอพ / บริการใด ๆ ที่ดูแลเกี่ยวกับไดเรกทอรีนั้น
จากนั้นคุณสามารถ "ดี rm" ไดเรกทอรีต้นฉบับในพื้นหลังโดยไม่ต้องกังวลเกี่ยวกับการหยุดทำงานนาน
ตรวจสอบให้แน่ใจว่าคุณได้ตั้งค่าตัวเลือกการเมาท์ที่เหมาะสมสำหรับ XFS
การใช้ -ologbufs = 8, logbsize = 256k กับ XFS อาจทำให้ประสิทธิภาพการลบของคุณเพิ่มขึ้นเป็นสามเท่า
หากคุณกำลังทำ rm อย่างมีประสิทธิภาพที่ระดับไฟล์แล้วมันจะใช้เวลานาน นี่คือเหตุผลที่สแนปชอตของบล็อกดีมาก :)
คุณสามารถลองแบ่ง rm ออกเป็นส่วนต่าง ๆ และพยายามทำแบบขนาน แต่ฉันไม่คิดว่ามันจะทำการปรับปรุงใด ๆ XFS เป็นที่รู้จักกันว่ามีปัญหาในการลบไฟล์และถ้านั่นเป็นส่วนใหญ่ของสิ่งที่คุณทำอาจจะเป็นระบบไฟล์ที่แตกต่างออกไปสำหรับแนวคิดนั้น
เป็นการดีที่จะใช้ ionice สำหรับการใช้งานแบบ IO อย่างมากโดยไม่คำนึงถึงระบบไฟล์ที่ใช้
ฉันแนะนำคำสั่งนี้:
ionice -n7 nice rm -fr dir_name
มันจะเล่นได้ดีสำหรับการทำงานเบื้องหลังในเซิร์ฟเวอร์ที่มีโหลด IO หนัก
ฉันรู้ว่านี่เก่า แต่ฉันคิดว่ารหัสโยนในข้อเสนอแนะ คุณกำลังลบไฟล์เหล่านั้นตามลำดับการเรียกใช้การดำเนินการ rm แบบขนานอาจช่วยให้สิ่งต่าง ๆ เร็วขึ้น
http://savannah.nongnu.org/projects/parallel/ ขนานสามารถนำมาใช้แทน xargs
ดังนั้นหากคุณลบไฟล์ทั้งหมดใน deltedir
find -t f deletedir | parallel -j 10 rm
นั่นจะทำให้คุณมีโครงสร้างไดเรกทอรีว่างเปล่าที่จะลบ
หมายเหตุ: คุณอาจยังคงมีข้อ จำกัด ของระบบไฟล์ตามที่ระบุไว้ข้างต้น
ตัวเลือกอื่นที่นี่จะแยกข้อมูลในลักษณะที่คุณสามารถขยะและสร้างระบบไฟล์จริงแทนที่จะทำ rm หรือไม่?
วิธีการเกี่ยวกับการลดความสวยงามของคำสั่ง? ชอบ:
nice -20 rm -rf /path/to/dir/
find . -delete -name directoryและมันเร็วกว่าrm -rfมาก