คุณจะแสดงรายการจำนวนบรรทัดของทุกไฟล์ในไดเรกทอรีในรูปแบบที่มนุษย์อ่านได้อย่างไร

ฉันมีรายการไดเรกทอรีและไดเรกทอรีย่อยที่มีไฟล์ csv ขนาดใหญ่ ไฟล์เหล่านี้มีประมาณ 500 ล้านบรรทัดโดยแต่ละรายการจะมีการบันทึก ผมอยากจะรู้ว่า

1. มีกี่บรรทัดในแต่ละไฟล์
2. มีกี่บรรทัดในไดเรกทอรี
3. จำนวนบรรทัดทั้งหมด

ที่สำคัญที่สุดฉันต้องการสิ่งนี้ใน 'รูปแบบที่มนุษย์อ่านได้' เช่น 12,345,678 มากกว่า 12345678

มันจะเป็นการดีถ้าได้เรียนรู้วิธีการทำ 3 วิธี เครื่องมือทุบตีวานิลลาธรรมดา awk ฯลฯ และ Perl (หรือหลาม)

มีกี่บรรทัดในแต่ละไฟล์

wcฉันเชื่อว่าใช้มา แต่เดิมสำหรับการนับจำนวนคำ แต่สามารถใช้เส้นคำตัวอักษรไบต์และความยาวบรรทัดที่ยาวที่สุดได้ -lตัวเลือกที่จะบอกว่ามันสายนับ

wc -l <filename>

จะส่งออกจำนวนบรรทัดใน:

$ wc -l /dir/file.txt
32724 /dir/file.txt

คุณยังสามารถไพพ์ข้อมูลด้วยwcเช่นกัน:

$ cat /dir/file.txt | wc -l
32724
$ curl google.com --silent | wc -l
63

มีกี่บรรทัดในไดเรกทอรี

ลอง:

find . -name '*.pl' | xargs wc -l

อีกหนึ่งซับ:

( find ./ -name '*.pl' -print0 | xargs -0 cat ) | wc -l

BTW wcคำสั่งนับรหัสบรรทัดใหม่ไม่ใช่บรรทัด เมื่อบรรทัดสุดท้ายในไฟล์ไม่ได้ลงท้ายด้วยรหัสบรรทัดใหม่สิ่งนี้จะไม่ถูกนับ

คุณอาจใช้ grep -c ^ ตัวอย่างเต็มรูปแบบ:

#this example prints line count for all found files
total=0
find /path -type f -name "*.php" | while read FILE; do
     #you see use grep instead wc ! for properly counting
     count=$(grep -c ^ < "$FILE")
     echo "$FILE has $count lines"
     let total=total+count #in bash, you can convert this for another shell
done
echo TOTAL LINES COUNTED:  $total

จำนวนบรรทัดทั้งหมด

ไม่แน่ใจว่าฉันเข้าใจว่าคุณร้องขออย่างถูกต้อง เช่นนี้จะแสดงผลลัพธ์ในรูปแบบต่อไปนี้โดยแสดงจำนวนบรรทัดสำหรับแต่ละไฟล์:

# wc -l `find /path/to/directory/ -type f`
 103 /dir/a.php
 378 /dir/b/c.xml
 132 /dir/d/e.xml
 613 total

อีกวิธีหนึ่งในการแสดงผลจำนวนอักขระบรรทัดใหม่ทั้งหมดโดยไม่มีไฟล์ตามจำนวนไฟล์ที่คำสั่งต่อไปนี้สามารถพิสูจน์ได้ว่ามีประโยชน์:

# find /path/to/directory/ -type f -exec wc -l {} \; | awk '{total += $1} END{print total}'
 613

ที่สำคัญที่สุดฉันต้องการสิ่งนี้ใน 'รูปแบบที่มนุษย์อ่านได้' เช่น 12,345,678 มากกว่า 12345678

Bash มีฟังก์ชั่นprintfในตัว:

printf "%0.2f\n" $T

เช่นเคยมีหลายวิธีที่สามารถใช้เพื่อให้ได้ผลลัพธ์เดียวกันกับที่กล่าวถึงที่นี่

ในหลายกรณีการรวมwcคำสั่งและสัญลักษณ์แทน*อาจเพียงพอ
หากไฟล์ทั้งหมดของคุณอยู่ในไดเรกทอรีเดียวคุณสามารถโทร:

wc -l src/*

คุณยังสามารถแสดงรายการไฟล์และไดเรกทอรีต่าง ๆ :

wc -l file.txt readme src/* include/*

คำสั่งนี้จะแสดงรายการไฟล์และจำนวนบรรทัด
บรรทัดสุดท้ายจะเป็นผลรวมของบรรทัดจากไฟล์ทั้งหมด

หากต้องการนับไฟล์ทั้งหมดในไดเรกทอรีซ้ำ:

ก่อนอื่นให้เปิดใช้งาน globstar โดยเพิ่มshopt -s globstarลงใน. bash_profile ของคุณ การสนับสนุนสำหรับ globstar ต้องใช้ Bash ≥ 4.x ซึ่งสามารถติดตั้งได้brew install bashหากจำเป็น bash --versionคุณสามารถตรวจสอบรุ่นของคุณด้วย

จากนั้นเรียกใช้:

wc -l **/*

โปรดทราบว่าผลลัพธ์นี้จะไม่ถูกต้องหากไม่ได้เปิดใช้งาน globstar

คำสั่งนี้จะให้รายการของรหัสบรรทัดในแต่ละไดเรกทอรี:

find . -name '*.*' -type f | xargs wc -l

สายไปนิดเกม แต่ฉันได้รับข้อผิดพลาดทะเลาะกันกับข้างต้นเนื่องจากขนาดของ dir สิ่งนี้ใช้ได้กับฉัน:

for i in $(find . -type f); do wc -l $i; done >> /home/counts.txt

catจะรวมไฟล์เป็นหนึ่งเดียวและส่งออกทุกอย่างเป็น stdout คุณสามารถทำสิ่งwc -lต่อไปนี้เพื่อนับจำนวนบรรทัดทั้งหมดของไฟล์ในไดเรกทอรี:

cat /path/to/directory/* | wc -l

ฉันจะเพิ่ม @malyy คำตอบสำหรับต่อไปนี้ (เพื่อใหญ่สำหรับความคิดเห็น):

จำนวนบรรทัดทั้งหมด

คำตอบที่หลายคนกำลังใช้ตัวเลือกไฟล์บรรทัดคำสั่งด้วยwc xargsปัญหาเกี่ยวกับสิ่งนี้คือ xargs ถูก จำกัด ไว้ที่ขนาดที่ค่อนข้างเล็กของแพลตฟอร์ม

นอกจากนี้ยังมีความแตกต่างระหว่าง BSD (MacOS) และ GNU (ลินุกซ์ / wchomebrew)

GNU หนึ่งเหมาะสมที่สุดเพราะสามารถอ่านรายการไฟล์จากไฟล์แทนการขัดแย้ง ( --files0)

หากคุณใช้ mac และมี homebrew คุณควรทำสิ่งต่อไปนี้:

find . -name "*.pl" -print0 | gwc -l --files0=-

ขอให้สังเกต GWC แทนการสั่ง wc