เรียงลำดับและนับจำนวนการเกิดบรรทัด

ฉันมีApachelogfile access.logจะนับจำนวนบรรทัดที่เกิดขึ้นในไฟล์นั้นได้อย่างไร ตัวอย่างเช่นผลลัพธ์ของcut -f 7 -d ' ' | cut -d '?' -f 1 | tr '[:upper:]' '[:lower:]'คือ

a.php
b.php
a.php
c.php
d.php
b.php
a.php

ผลลัพธ์ที่ฉันต้องการคือ:

3 a.php
2 b.php
1 d.php # order doesn't matter
1 c.php 

| sort | uniq -c

ตามที่ระบุไว้ในความคิดเห็น

การส่งออกไปป์ไลน์เพื่อsortจัดระเบียบเอาต์พุตตามลำดับตัวอักษร / ตัวเลข

สิ่งนี้เป็นข้อกำหนดเนื่องจากuniqจะจับคู่เฉพาะบนบรรทัดที่ซ้ำกันเท่านั้น

a
b
a

ถ้าคุณใช้uniqกับไฟล์ข้อความมันจะคืนค่าดังต่อไปนี้:

a
b
a

นี่เป็นเพราะทั้งสองaแยกจากกันโดยb- พวกเขาไม่ใช่เส้นติดต่อกัน อย่างไรก็ตามหากคุณเรียงลำดับข้อมูลตามลำดับตัวอักษรก่อน

a
a
b

จากนั้นuniqจะลบบรรทัดการทำซ้ำ -cตัวเลือกในการuniqนับจำนวนที่ซ้ำกันและให้การส่งออกในรูปแบบ:

2 a
1 b

อ้างอิง:

• sort(1)
• uniq(1)

[your command] | sort | uniq -c | sort -nr

คำตอบที่ยอมรับนั้นเกือบจะสมบูรณ์แล้วคุณอาจต้องการเพิ่มsort -nrส่วนท้ายเพื่อเรียงลำดับผลลัพธ์ด้วยบรรทัดที่เกิดขึ้นบ่อยที่สุดก่อน

ตัวเลือกuniq :

-c, --count
       prefix lines by the number of occurrences

ตัวเลือกการจัดเรียง :

-n, --numeric-sort
       compare according to string numerical value
-r, --reverse
       reverse the result of comparisons

ในกรณีเฉพาะคือบรรทัดที่คุณเรียงลำดับคือตัวเลขคุณต้องใช้sort -grแทนsort -nrดูความคิดเห็น

คุณสามารถใช้อาเรย์แบบเชื่อมโยงบนawkและ -optionally- sort :

cat access.log  | awk ' { tot[$0]++ } END { for (i in tot) print tot[i],i } ' | sort

เอาท์พุท:

1 c.php
1 d.php
2 b.php
3 a.php