ลบไดเร็กทอรีขนาดใหญ่ที่มีไฟล์นับพันไฟล์อย่างมีประสิทธิภาพ

เรามีปัญหากับโฟลเดอร์ที่ไม่สะดวกกับไฟล์ขนาดเล็กหลายแสนไฟล์

มีไฟล์จำนวนมากที่แสดงrm -rfถึงข้อผิดพลาดและสิ่งที่เราต้องทำมีดังนี้:

find /path/to/folder -name "filenamestart*" -type f -exec rm -f {} \;

ทำงานได้ แต่ช้ามากและล้มเหลวอย่างต่อเนื่องจากหน่วยความจำไม่เพียงพอ

มีวิธีที่ดีกว่าในการทำเช่นนี้? เป็นการดีที่ฉันต้องการลบไดเรกทอรีทั้งหมดโดยไม่สนใจเนื้อหาภายใน

การใช้ rsync นั้นรวดเร็วและง่ายดายอย่างน่าประหลาดใจ

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

@ คำตอบของ sarath พูดถึงอีกทางเลือกที่รวดเร็ว: Perl! rsync -a --deleteมาตรฐานของมันจะเร็วกว่า

cd yourdirectory
perl -e 'for(<*>){((stat)[9]<(unlink))}'

แหล่งที่มา:

1. https://stackoverflow.com/questions/1795370/unix-fast-remove-directory-for-cleaning-up-daily-builds
2. http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

มีคนแนะนำให้ใช้Twitter-deleteแทน-exec rm -f{} \;

สิ่งนี้ได้ปรับปรุงประสิทธิภาพของคำสั่งมันยังคงใช้การเรียกซ้ำเพื่อผ่านทุกสิ่ง

เกี่ยวกับสิ่งที่ชอบ: find /path/to/folder -name "filenamestart*" -type f -print0 | xargs -0rn 20 rm -f

คุณสามารถ จำกัด -nจำนวนไฟล์ที่ลบในครั้งเดียวโดยการเปลี่ยนอาร์กิวเมนต์สำหรับพารามิเตอร์ ชื่อไฟล์ที่มีช่องว่างรวมอยู่ด้วย

เคล็ดลับที่ฉลาด:

rsync -a --delete empty/ your_folder/

มันเป็นซีพียูมาก แต่ก็เร็วจริงๆ ดูhttps://web.archive.org/web/20130929001850/http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.html

จากความคิดเห็นข้อใดข้อหนึ่งฉันไม่คิดว่าคุณกำลังทำสิ่งที่คุณคิดว่าคุณกำลังทำอยู่

ก่อนอื่นฉันสร้างไฟล์จำนวนมากเพื่อจำลองสถานการณ์ของคุณ:

$ mkdir foo
$ cd foo/
$ for X in $(seq 1 1000);do touch {1..1000}_$X; done

จากนั้นฉันลองสิ่งที่ฉันคาดหวังว่าจะล้มเหลวและดูเหมือนว่าคุณกำลังทำอะไรอยู่ในคำถาม:

$ rm -r foo/*
bash: /bin/rm: Argument list too long

แต่นี่ใช้งานได้:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

ฉันมีโอกาสที่จะทดสอบ-deleteเมื่อเทียบกับ-exec rm \{\} \;และสำหรับฉัน-deleteคือคำตอบของปัญหานี้

ใช้-deleteลบไฟล์ในโฟลเดอร์ 400,000 ไฟล์อย่างน้อย 1,000 rmครั้งเร็วกว่า

บทความ 'วิธีการลบไฟล์จำนวนมากใน linux' แนะนำว่ามันเร็วกว่าสามเท่า แต่ในการทดสอบของฉันความแตกต่างนั้นน่าทึ่งกว่ามาก

เกี่ยวกับ-deleteตัวเลือกด้านบน: ฉันใช้มันเพื่อลบไฟล์จำนวนมาก (1M + est) ในโฟลเดอร์ temp ที่ฉันสร้างขึ้นและลืมไปทำความสะอาดทุกคืนโดยไม่ตั้งใจ ฉันเติมดิสก์ / พาร์ติชันของฉันโดยไม่ตั้งใจและไม่มีสิ่งอื่นใดสามารถลบออกได้ยกเว้นfind .คำสั่ง ช้าในตอนแรกฉันใช้:

find . -ls -exec rm {} \;

แต่นั่นใช้เวลานานมาก มันเริ่มต้นหลังจากประมาณ 15 นาทีเพื่อลบไฟล์บางส่วน แต่ฉันเดาว่ามันลบน้อยกว่า 10 หรือดังนั้นต่อวินาทีหลังจากที่มันเริ่มในที่สุด ดังนั้นฉันลอง:

find . -delete

แต่ฉันปล่อยให้มันรันทันที ดูเหมือนว่าจะทำงานได้เร็วขึ้นแม้ว่าจะเป็นการเก็บภาษีมากใน CPU ซึ่งคำสั่งอื่นไม่ได้ มันใช้งานมาแล้วประมาณหนึ่งชั่วโมงในตอนนี้และฉันคิดว่าฉันได้รับพื้นที่ว่างบนไดรฟ์และพาร์ทิชันก็ค่อยๆ "ทำตัวให้ผอมลง" แต่มันยังใช้เวลานานมาก ฉันสงสัยอย่างจริงจังว่ามันทำงานเร็วกว่า 1,000 เท่า ในทุกสิ่งฉันต้องการชี้ให้เห็นการแลกเปลี่ยนในอวกาศกับเวลา หากคุณมีแบนด์วิธของ CPU ที่สำรองไว้ (เราทำได้) จากนั้นเรียกใช้งานอันหลัง มันมีซีพียูของฉันทำงานอยู่ ( uptimeรายงาน):

10:59:17 up 539 days, 21:21,  3 users,  load average: 22.98, 24.10, 22.87

และฉันเห็นค่าเฉลี่ยการโหลดมากกว่า 30.00 ซึ่งไม่ดีสำหรับระบบไม่ว่าง แต่สำหรับเราซึ่งปกติโหลดเบามันก็โอเคสำหรับสองสามชั่วโมง ฉันได้ตรวจสอบสิ่งอื่น ๆ ส่วนใหญ่ในระบบและพวกเขายังคงตอบสนองดังนั้นเราจึงตกลงตอนนี้

มีสองสามวิธีที่สามารถใช้เพื่อลบไฟล์จำนวนมากใน linux, คุณสามารถใช้ find with delete ซึ่งเร็วกว่าตัวเลือก exec จากนั้นคุณสามารถใช้การเชื่อมโยง Perl แล้วแม้แต่ rsync วิธีการลบไฟล์จำนวนมากใน linux

พิจารณาใช้ปริมาณ Btrfs และเพียงแค่ลบทั้งเล่มสำหรับไดเรกทอรีที่มีไฟล์จำนวนมาก

หรือคุณสามารถสร้างไฟล์ภาพ FS จากนั้นเลิกเมานต์และลบไฟล์เพื่อลบทุกอย่างในครั้งเดียวอย่างรวดเร็ว

สมมติว่าparallelติดตั้งGNU ฉันได้ใช้สิ่งนี้:

parallel rm -rf dir/{} ::: `ls -f dir/`

และมันก็เร็วพอ

การลบไดเรกทอรีขนาดใหญ่จริงๆต้องการวิธีการที่แตกต่างกันดังที่ฉันได้เรียนรู้จาก เว็บไซต์นี้ - คุณจะต้องใช้ ionice ซึ่งจะทำให้มั่นใจได้ว่า (ด้วย -c3) ว่าการลบจะดำเนินการเฉพาะเมื่อระบบมี IO-time สำหรับมัน โหลดระบบของคุณจะไม่เพิ่มขึ้นสูงและทุกอย่างจะตอบสนอง (แม้ว่าเวลา CPU ของฉันสำหรับการค้นหาค่อนข้างสูงที่ประมาณ 50%)

find <dir> -type f -exec ionice -c3 rm {} \;

ls -1 | xargs rm -rf 

ควรทำงานภายในโฟลเดอร์หลัก

สำหรับคำใบ้ของ Izkata ด้านบน:

แต่นี่ใช้งานได้:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

เกือบจะใช้งานได้หรือจะใช้งานได้ แต่ฉันมีปัญหาในการขออนุญาต มีไฟล์อยู่บนเซิร์ฟเวอร์ แต่ฉันก็ยังไม่เข้าใจว่าปัญหาการอนุญาตนี้มาจากที่ใด อย่างไรก็ตามเทอร์มินัลขอการยืนยันในทุกไฟล์ จำนวนไฟล์อยู่ที่ประมาณ 20,000 ดังนั้นนี่ไม่ใช่ตัวเลือก หลังจาก "-r" ฉันได้เพิ่มตัวเลือก "-f" ดังนั้นคำสั่งทั้งหมดคือ " rm -r -f foldername / " ดูเหมือนว่ามันจะทำงานได้ดี ฉันเป็นมือใหม่ที่มี Terminal แต่ฉันคิดว่ามันก็โอเคใช่มั้ย ขอบคุณ!

ฉันแนะนำให้ใช้ทั้งนี้ขึ้นอยู่กับว่าคุณต้องการกำจัดไฟล์เหล่านั้นshredอย่างไร

$ shred -zuv folder

ถ้าคุณต้องการกำจัดไดเรกทอรี แต่คุณไม่สามารถลบมันออกและสร้างมันขึ้นมาใหม่ฉันขอแนะนำให้ย้ายมันและสร้างมันใหม่ทันที

mv folder folder_del
mkdir folder
rm -rf folder_del

เร็วกว่าเชื่อหรือไม่เพราะต้องเปลี่ยนไอโหนดเพียงอันเดียว ข้อควรจำ: คุณไม่สามารถเปรียบเทียบรสชาตินี้กับคอมพิวเตอร์แบบมัลติคอร์ได้ มันมาถึงการเข้าถึงดิสก์ซึ่งถูก จำกัด โดย RAID หรือสิ่งที่มีคุณ

หากคุณมีไฟล์หลายล้านไฟล์และวิธีแก้ไขปัญหาทั้งหมดข้างต้นทำให้ระบบของคุณเกิดปัญหาคุณอาจลองใช้วิธีนี้:

ไฟล์nice_delete:

#!/bin/bash

MAX_LOAD=3
FILES=("$@")
BATCH=100

while [ ${#FILES[@]} -gt 0 ]; do
    DEL=("${FILES[@]:0:$BATCH}")
    ionice -c3 rm "${DEL[@]}"
    echo -n "#"
    FILES=("${FILES[@]:$BATCH}")
    while [[ $(cat /proc/loadavg | awk '{print int($1)}') -gt $MAX_LOAD ]]; do
        echo -n "."
        sleep 1
    done
done

และตอนนี้ลบไฟล์:

find /path/to/folder -type f -exec ./nice_delete {} \+

ค้นหาจะสร้างแบทช์ (ดูgetconf ARG_MAX) nice_deleteของบางส่วนนับพันนับของไฟล์และผ่านมันไป สิ่งนี้จะสร้างแบตช์ที่มีขนาดเล็กลงเพื่อให้หลับเมื่อตรวจพบการโอเวอร์โหลด

หากคุณต้องการกำจัดไฟล์จำนวนมากโดยเร็วที่สุดls -f1 /path/to/folder/with/many/files/ | xargs rmอาจใช้งานได้ แต่ดีกว่าอย่ารันบนระบบที่ใช้งานจริงเพราะระบบของคุณอาจมีปัญหา IO และแอปพลิเคชั่นอาจค้างระหว่างการลบ

สคริปต์นี้ทำงานได้ดีกับไฟล์จำนวนมากและไม่ควรส่งผลกระทบต่อ ioload ของระบบ

#!/bin/bash

# Path to folder with many files
FOLDER="/path/to/folder/with/many/files"

# Temporary file to store file names
FILE_FILENAMES="/tmp/filenames"

if [ -z "$FOLDER" ]; then
    echo "Prevented you from deleting everything! Correct your FOLDER variable!"
    exit 1
fi

while true; do
    FILES=$(ls -f1 $FOLDER | wc -l)
    if [ "$FILES" -gt 10000 ]; then
        printf "[%s] %s files found. going on with removing\n" "$(date)" "$FILES"
        # Create new list of files
        ls -f1 $FOLDER | head -n 5002 | tail -n 5000 > "$FILE_FILENAMES"

        if [ -s $FILE_FILENAMES ]; then
            while read FILE; do
                rm "$FOLDER/$FILE"
                sleep 0.005
            done < "$FILE_FILENAMES"
        fi
    else
        printf "[%s] script has finished, almost all files have been deleted" "$(date)"
        break
    fi
    sleep 5
done