เรากำลังกำหนดสถาปัตยกรรมเพื่อรวบรวมข้อมูลบันทึกโดยผู้ส่ง Logstash ซึ่งติดตั้งในเครื่องต่างๆและจัดทำดัชนีข้อมูลในเซิร์ฟเวอร์ elasticsearch เดียวจากส่วนกลางและใช้ Kibana เป็นเลเยอร์กราฟิก เราต้องการระบบการส่งข้อความที่เชื่อถือได้ระหว่างผู้จัดส่ง Logstash และ elasticsearch เพื่อให้ผู้รับบริการจัดส่ง ปัจจัยใดบ้างที่ควรพิจารณาเมื่อเลือก Redis ผ่าน RabbitMQ เป็นนายหน้าข้อมูล / ระบบการส่งข้อความระหว่างผู้ขนส่ง Logstash และ elasticsearch หรือในทางกลับกัน?
คำตอบ:
หลังจากประเมินทั้ง Redis และ RabbitMQ แล้วฉันเลือก RabbitMQ เป็นโบรกเกอร์ของเราด้วยเหตุผลดังต่อไปนี้:
สำหรับการปรับขนาด RabbitMQ มีการใช้งานคลัสเตอร์ในตัวซึ่งคุณสามารถใช้นอกเหนือจากตัวโหลดบาลานเซอร์เพื่อใช้สภาพแวดล้อมโบรกเกอร์ที่ซ้ำซ้อน
คลัสเตอร์ RabbitMQ ของฉันเป็น Active Active หรือ Active Passive?
ตอนนี้ถึงจุดที่อ่อนแอกว่าในการใช้ RabbitMQ:
คุณสามารถติดตามปัญหาได้ที่นี่: https://github.com/josegonzalez/python-beaver/issues/323
และตรวจสอบคำขอดึงที่นี่: https://github.com/josegonzalez/python-beaver/pull/324
หากคุณมีคำถามเพิ่มเติมอย่าลังเลที่จะแสดงความคิดเห็น
Redis ถูกสร้างขึ้นเพื่อเป็นที่เก็บข้อมูลค่าคีย์แม้ว่าจะมีความสามารถพื้นฐานของนายหน้าข้อความ
RabbitMQ ถูกสร้างขึ้นเพื่อเป็นนายหน้าส่งข้อความ มีความสามารถในการเป็นนายหน้าข้อความมากมายตามธรรมชาติ
ฉันได้ทำการค้นคว้าเกี่ยวกับหัวข้อนี้ หากประสิทธิภาพเป็นสิ่งสำคัญและความคงอยู่ไม่ได้ RabbitMQ เป็นตัวเลือกที่สมบูรณ์แบบ Redis เป็นเทคโนโลยีที่พัฒนาขึ้นโดยมีเจตนาที่แตกต่างกัน
ต่อไปนี้เป็นรายชื่อข้อดีสำหรับการใช้ RabbitMQ บน Redis:
ข้อเสียเล็กน้อยสำหรับการใช้ RabbitMQ:
Sorted Setsการโต้ตอบแบบคิวลำดับความสำคัญ Redis ยังสามารถคลัสเตอร์ / แยกส่วนเพื่อส่งข้อความที่แตกต่างกันไปยังคิวต่างๆบนเซิร์ฟเวอร์ที่แตกต่างกันได้ ไม่แน่ใจเกี่ยวกับ SSL โดยตรงสำหรับ Redis แต่ฉันกำลังดูที่ AWS Elasticache และ Redis 3.2.6 ของพวกเขาอนุญาตให้มีการเข้ารหัสที่เหลือและระหว่างการส่ง หมายเหตุ: ไม่เลยที่บอกว่า Redis ดีกว่าสำหรับกรณีนี้ เพียงแค่ชี้ให้เห็นว่าสิ่งเหล่านี้อาจไม่ใช่เหตุผลในการเลือก RabbitMQ กับ Redis
ฉันเคยสงสัยในสิ่งเดียวกัน คำแนะนำก่อนหน้านี้โดยคน Logstash แนะนำให้ Redis ผ่าน RabbitMQ ( http://logstash.net/docs/1.1.1/tutorials/getting-started-centralized ) อย่างไรก็ตามส่วนของบันทึกย่อนั้นไม่มีอยู่ในเอกสารปัจจุบันอีกต่อไปแม้ว่าจะมี หมายเหตุทั่วไปเกี่ยวกับการใช้นายหน้าเพื่อจัดการกับ spikes ที่นี่https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html
ในขณะที่ฉันใช้ RabbitMQ อย่างมีความสุขฉันกำลังสำรวจโบรกเกอร์ Redis เนื่องจากโปรโตคอล AMQP มีแนวโน้มที่จะใช้งานมากเกินไปสำหรับกรณีการใช้งานการบันทึกของฉัน
คำถามด่วนที่จะถาม:
ในขอบเขตของความคิดเห็นฉันใช้ redis ในฐานะนายหน้าและเกลียดมัน แน่นอนว่านั่นอาจเป็นความไม่มีประสบการณ์ของฉันกับ redis (ไม่ใช่ปัญหากับตัวผลิตภัณฑ์) แต่มันเป็นลิงค์ที่อ่อนแอที่สุดในท่อและมักจะล้มเหลวเมื่อเราต้องการมากที่สุด