วิธีจัดการอินพุตที่แตกต่างกันหลายรายการด้วย Logstash

สมมติว่าคุณมีบันทึก 2 ประเภทที่แตกต่างกันเช่นบันทึกทางเทคนิคและทางธุรกิจและคุณต้องการ:

• บันทึกทางเทคนิคดิบจะถูกส่งไปยังเซิร์ฟเวอร์ graylog2 โดยใช้gelfเอาต์พุต
• บันทึกธุรกิจ json ถูกเก็บไว้ในคลัสเตอร์ elasticsearch โดยใช้elasticsearch_httpเอาต์พุตเฉพาะ

ฉันรู้ว่าSyslog-NGตัวอย่างเช่นไฟล์คอนฟิกูเรชันอนุญาตให้กำหนดอินพุตที่แตกต่างกันหลายรายการซึ่งสามารถประมวลผลแยกกันก่อนที่จะถูกส่งออกไป สิ่งที่Logstashดูเหมือนไม่สามารถทำได้ แม้ว่าจะสามารถเริ่มต้นอินสแตนซ์เดียวด้วยไฟล์คอนฟิกูเรชันเฉพาะสองไฟล์บันทึกทั้งหมดใช้แชนเนลเดียวกันและกำลังใช้การประมวลผลเดียวกัน ...

ฉันควรเรียกใช้อินสแตนซ์มากที่สุดเท่าที่ฉันมีบันทึกประเภทต่างๆหรือไม่

ฉันควรเรียกใช้อินสแตนซ์มากที่สุดเท่าที่ฉันมีบันทึกประเภทต่างๆหรือไม่

ไม่! คุณสามารถเรียกใช้อินสแตนซ์เดียวเท่านั้นเพื่อจัดการบันทึกประเภทต่างๆ

ในแฟ้มการกำหนด logstash คุณสามารถเข้าเฉพาะแต่ละคนมีความแตกต่างกันชนิด จากนั้นในตัวกรองคุณสามารถใช้ifเพื่อแยกการประมวลผลที่แตกต่างกันและที่เอาต์พุตคุณสามารถใช้เอาต์พุต "if" ไปยังปลายทางอื่นได้

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

หวังว่านี่จะช่วยคุณได้ :)

ฉันใช้แท็กสำหรับการป้อนไฟล์หลายไฟล์:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

ฉันคิดว่า logstash ไม่สามารถอ่านมากกว่า 2 ไฟล์ในส่วนอินพุต ลองดูด้านล่าง

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}