วิธีการมีสตรีมบันทึกหลายรายการในนักเทียบท่า

เรามีแอปพลิเคชันที่เขียนบันทึกสามประเภทลงในไฟล์ที่แยกต่างหากสามไฟล์: บันทึกการเข้าถึงบันทึกแอปพลิเคชันทั่วไปและบันทึกระบบ รูปแบบ (และวัตถุประสงค์) ของบันทึกเหล่านี้แตกต่างกันมาก และเรามี logforwarders แยกต่างหากที่ส่งแยกต่างหากไปยังระบบบันทึกข้อมูลส่วนกลางของเรา

ตามบันทึกการรักษาเป็นหลักการสตรีมเหตุการณ์เรากำลังคิดเกี่ยวกับการย้ายจากการใช้ไฟล์ไปยัง stdout ในขณะที่เรารู้ถึงประโยชน์บางประการของวิธีการนี้สิ่งนี้ก็หมายความว่าเราจะได้รับกระแสข้อมูลที่ผสานของรูปแบบบันทึกที่แตกต่างกันซึ่งเราจะต้องแยกอีกครั้งก่อนที่เราจะสามารถส่งพวกเขาไปยังระบบกลางของเรา (Kibana / Splunk / ฯลฯ ) หรือด้านใน

เราสงสัยว่ามีเครื่องมือหรือคำแนะนำเกี่ยวกับวิธีที่เราควรเข้าหาสถานการณ์นี้หรือไม่

ฉันยังคงมองหาการควบรวม / วิธีการแยกตัวเอง แต่ในขณะเดียวกันวิธีนี้แนะนำโดยเอกสาร Kubernetes ดูเหมือนว่าวิธีการแก้ปัญหาเสียง: ใช้ภาชนะรถจักรยานยนต์สำหรับแต่ละบันทึกแยกต่างหากของคุณ

"sidecar" คือคอนเทนเนอร์ของนักเทียบท่าใด ๆ ที่คุณใช้ควบคู่ไปกับคอนเทนเนอร์ของนักเทียบท่าตัวอื่นเพื่อทำงานกับมันในบางวิธี ในกรณีนี้สำหรับบันทึกทั้งสามรายการของคุณคุณจะมีที่เก็บแยกต่างหากที่สแกนหรือตัดบันทึกและส่งออกไปยัง stdout

วิธีนี้แต่ละล็อก -idecar-container ของคุณมี loger-log ของมันเองจาก stdout ของมันเอง เมื่อแยกออกจากกันคุณสามารถใช้วิธีปฏิบัติมาตรฐาน docker (และ kubernetes ฯลฯ ) สำหรับการแยกหรือรวม นี่คือสิ่งที่หน้า Kubernetes ได้พูด:

วิธีนี้ช่วยให้คุณสามารถแยกสตรีมบันทึกต่างๆจากส่วนต่าง ๆ ของแอปพลิเคชั่นของคุณซึ่งบางส่วนอาจขาดการสนับสนุนสำหรับการเขียนไปยัง stdout หรือ stderr ตรรกะที่อยู่เบื้องหลังการเปลี่ยนเส้นทางบันทึกมีน้อยจึงแทบไม่มีค่าใช้จ่ายที่สำคัญ นอกจากนี้เนื่องจาก stdout และ stderr ได้รับการจัดการโดย kubelet คุณสามารถใช้เครื่องมือในตัวเช่นบันทึก kubectl

ต้นกำเนิด "แยกบันทึกสตรีม" จากการติดแท็กในตัวที่นักเทียบท่าใช้กับบันทึกจากคอนเทนเนอร์ต่าง ๆ ที่อธิบายไว้ในเอกสารประกอบของนักเทียบท่าที่นี่:

ตัวเลือกบันทึกแท็กระบุวิธีการจัดรูปแบบแท็กที่ระบุข้อความบันทึกของภาชนะ โดยค่าเริ่มต้นระบบจะใช้อักขระ 12 ตัวแรกของรหัสคอนเทนเนอร์ ในการลบล้างพฤติกรรมนี้ให้ระบุตัวเลือกแท็ก

ความคิดที่จะรวมพวกเขาเป็นหนึ่งกระแสเพื่อแยกพวกเขาในภายหลังฟังดูเจ็บปวด ฉันไม่มีเหตุผลที่จะทำสิ่งนี้ด้วยตัวเอง แต่นี่คือที่ที่ฉันจะเริ่ม:

• เมื่อคุณเรียกใช้คอนเทนเนอร์นักเทียบท่าสร้างโวลุ่มเพื่อให้ง่ายต่อการดู / จัดส่งบันทึกจากโฮสต์
• ใช้บางอย่างเช่นremote_syslog2เพื่อจัดส่งบันทึกไปยังตัวรวบรวมบันทึกของคุณ

รู้สึกน้อยกว่าสง่างามเล็กน้อยที่จะต้องทำการตั้งค่าบางอย่างบนโฮสต์เช่นกัน แต่ถ้าคุณใช้บางสิ่งบางอย่างอย่างเช่นที่คุณสามารถเรียกใช้ playbook และตั้งค่านั้นในระหว่างการปรับใช้กับกล่องมันไม่ควรเกินไป ไม่ดี