การนับจำนวนครั้งที่แต่ละที่อยู่ IP ปรากฏในล็อกไฟล์

ฉันมีไฟล์ในรูปแบบดังต่อไปนี้:

$ cat file.txt

27.33.65.2
27.33.65.2
58.161.137.7
121.50.198.5
184.173.187.1
184.173.187.1
184.173.187.1

เป็นวิธีที่ดีที่สุดในการแยกไฟล์file.txtเป็นรูปแบบดังนี้:

27.33.65.2: 2
58.161.137.7: 1
121.50.198.5: 1
184.173.187.1: 3

กล่าวอีกนัยหนึ่งฉันต้องการวนรอบไฟล์และนับจำนวนครั้งที่ที่อยู่ IP แต่ละรายการปรากฏขึ้น ฉันได้ลองใช้งานแล้วsortดังนั้นที่อยู่ IP ทั้งหมดจึงเป็นระเบียบและต่อเนื่องกัน

คุณกำลังมองหา uniq -c

หากผลลัพธ์ที่ไม่ถูกใจคุณสามารถแยกวิเคราะห์และฟอร์แมตใหม่ได้อย่างง่ายดาย

ตัวอย่างเช่น:

$ uniq -c logfile.txt | awk '{print $2": "$1}'
27.33.65.2: 2
58.161.137.7: 1
121.50.198.5: 1
184.173.187.1: 3

uniqน่าจะเป็นทางออกที่ฉลาดกว่าแน่นอน วิธี awk:

awk '{ip_count[$0]++}; '\
'END {for (ip in ip_count) printf "%15s: %d\n",ip,ip_count[ip];}' file

ไฟล์เรียงลำดับ firest จากนั้นรับนับโดย unic -c

sort filename | uniq -c

ฉันจะใช้หลาม linux ststem ทุกวันนี้ติดตั้ง python2 แล้ว

เพิ่มที่อยู่ IP แต่ละรายการลงใน dict (อาเรย์แบบเชื่อมโยง) เป็นคู่ key = value เช่น {"12.34.56.78": 1, "87.76.43.21": 3}

คุณ 'ตรวจสอบ' ที่อยู่ IP เป็นคีย์และเพิ่มค่าโดย 1 ถ้าคุณใช้ defaultdict ("ip") หากไม่มีคีย์รหัสนั้นจะถูกสร้างขึ้นด้วยค่าเริ่มต้นที่ 0 หากมีคีย์อยู่ แล้ว defaultdict ไม่ทำอะไรเลย ค่าจะเพิ่มขึ้นในบรรทัดถัดไป

#!/usr/bin/python2

infile = open("file.txt","r")
iplist = {}  # create an empty dict

for line in infile:
    line = line.strip()   # remove newline.
    if line: # if not a blank line.
        iplist.setdefault(line, 0) # check for ip and add with default value of 0
        iplist[line] += 1 # increment

outfile = open("out.txt","w") #open output file

for key in iplist.keys():
    line = "%-15s = %s" % (key, iplist[key])
    print line   # print uf desired.
    outfile.write(line + "\n")

ไฟล์ outout:

cat out.txt                                                          
27.33.65.2      = 2
58.161.137.7    = 1
121.50.198.5    = 1
184.173.187.1   = 3

ฉันรู้ว่าคุณกำลังมองหาโซลูชันบรรทัดคำสั่ง แต่อย่างที่คุณเห็นมันเป็นจอแสดงผลที่มีการจัดรูปแบบอย่างหรูหราซึ่งใช้เวลาเพียงสิบบรรทัดเท่านั้น Python เป็นเครื่องมือที่ยอดเยี่ยมสำหรับการจัดการ