การคำนวณขนาดไฟล์ทั้งหมดโดยการขยายในเปลือก

เรามีชุดไดเรกทอรีที่มีดัชนีลูซีน แต่ละดัชนีเป็นการรวมกันของประเภทไฟล์ที่แตกต่างกัน

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(เป็นส่วนขยายที่แตกต่างกันประมาณ 10 รายการ)

เราต้องการรับผลรวมตามนามสกุลไฟล์เช่น:

.frq     21234
.fnm     34757
..

ฉันได้ลองใช้หลายคู่กันของ du / awk / xargs แต่พบว่ามันยุ่งยากในการทำสิ่งนี้

สำหรับส่วนขยายใด ๆ ที่คุณใช้

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

เพื่อรับขนาดไฟล์ทั้งหมดสำหรับประเภทนั้น

และหลังจากความคิดบางอย่าง

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

ซึ่งจะส่งออกขนาดเป็นไบต์ของแต่ละประเภทไฟล์ที่พบ

ด้วยการทุบตี version4 คุณเพียงแค่ต้องโทรfind, lsและawkไม่จำเป็นต้อง:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

ทุกคอลัมน์ที่สองแยกโดย.และส่วนสุดท้าย (ส่วนขยาย) บันทึกไว้ในอาร์เรย์

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

จากนั้นคุณจะได้ส่วนขยายทุกขนาดเป็นไบต์

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

ขยายสคริปต์ของ Iain ด้วยเวอร์ชันที่เร็วขึ้นสำหรับการทำงานกับไฟล์จำนวนมาก

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

นี่คือทางออก:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

โซลูชันที่โพสต์ไว้ในโพสต์นี้: รับส่วนขยายทั้งหมดและจำนวนไฟล์ที่เกี่ยวข้องในไดเรกทอรี

ฉันแก้ไขโดยใช้สองคำสั่งนี้:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

รุ่นของคำตอบสำหรับคำถามของฉัน:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

ลอง Crab ( http://etia.co.uk/ ) - เป็นยูทิลิตีบรรทัดคำสั่งที่ช่วยให้คุณสามารถสืบค้นระบบไฟล์โดยใช้ SQL