คำถามติดแท็ก logstash

สมมติว่าคุณมีบันทึก 2 ประเภทที่แตกต่างกันเช่นบันทึกทางเทคนิคและทางธุรกิจและคุณต้องการ: บันทึกทางเทคนิคดิบจะถูกส่งไปยังเซิร์ฟเวอร์ graylog2 โดยใช้gelfเอาต์พุต บันทึกธุรกิจ json ถูกเก็บไว้ในคลัสเตอร์ elasticsearch โดยใช้elasticsearch_httpเอาต์พุตเฉพาะ ฉันรู้ว่าSyslog-NGตัวอย่างเช่นไฟล์คอนฟิกูเรชันอนุญาตให้กำหนดอินพุตที่แตกต่างกันหลายรายการซึ่งสามารถประมวลผลแยกกันก่อนที่จะถูกส่งออกไป สิ่งที่Logstashดูเหมือนไม่สามารถทำได้ แม้ว่าจะสามารถเริ่มต้นอินสแตนซ์เดียวด้วยไฟล์คอนฟิกูเรชันเฉพาะสองไฟล์บันทึกทั้งหมดใช้แชนเนลเดียวกันและกำลังใช้การประมวลผลเดียวกัน ... ฉันควรเรียกใช้อินสแตนซ์มากที่สุดเท่าที่ฉันมีบันทึกประเภทต่างๆหรือไม่

95 logging  elasticsearch  logstash  graylog2 

เรากำลังกำหนดสถาปัตยกรรมเพื่อรวบรวมข้อมูลบันทึกโดยผู้ส่ง Logstash ซึ่งติดตั้งในเครื่องต่างๆและจัดทำดัชนีข้อมูลในเซิร์ฟเวอร์ elasticsearch เดียวจากส่วนกลางและใช้ Kibana เป็นเลเยอร์กราฟิก เราต้องการระบบการส่งข้อความที่เชื่อถือได้ระหว่างผู้จัดส่ง Logstash และ elasticsearch เพื่อให้ผู้รับบริการจัดส่ง ปัจจัยใดบ้างที่ควรพิจารณาเมื่อเลือก Redis ผ่าน RabbitMQ เป็นนายหน้าข้อมูล / ระบบการส่งข้อความระหว่างผู้ขนส่ง Logstash และ elasticsearch หรือในทางกลับกัน?

92 elasticsearch  redis  rabbitmq  logstash 

ฉันติดตั้ง Logstash เพื่อแยกวิเคราะห์ไฟล์ apache ฉันใช้เวลาพอสมควรในการตั้งค่าให้ถูกต้องและฉันก็ลองใช้บันทึกจริงเสมอ ฉันสังเกตเห็น (ตามที่เอกสารบอก) ว่า logstash "จำ" ได้ว่าอยู่ที่ไหนในไฟล์ ตอนนี้การตั้งค่าของฉันเรียบร้อยและฉันต้องการให้ Logstash "ลืม" ดูเหมือนจะยากกว่าที่ฉันคิด ฉันได้ทำสิ่งต่อไปนี้แล้ว: ใช้แล้ว: start_position => "beginning" ลบโฟลเดอร์ "data" ที่สมบูรณ์จาก elastissearch (และหยุดก่อน) ดูว่าไฟล์ใดที่เปิดโดย logstash lsof -p PIDและลบทุกอย่างที่มีแนวโน้ม (ในกรณีของฉัน/tmp/jffi*.tmp) Logstash ยังคงไม่ลืมและแยกวิเคราะห์เฉพาะไฟล์ "ใหม่" ในโฟลเดอร์ที่มีบันทึก ความคิดใด ๆ ?

91 file  logstash