คำถามติดแท็ก fluentd

ฉันต้องการรวบรวมบันทึกจาก nginx (เซิร์ฟเวอร์หลายเครื่อง, 1,000,000 บรรทัดในบันทึกเป็นนาทีสำหรับเซิร์ฟเวอร์ทั้งหมด) ไปยังเซิร์ฟเวอร์สถิติกลางสำหรับการประมวลผลสถิติ ฉันเห็น 2 สายพันธุ์: เขียนบันทึกไปยังไฟล์บันทึกท้องถิ่นสำหรับแต่ละเซิร์ฟเวอร์ เปลี่ยนชื่อบันทึกสำหรับเทมเพลต "DD.MM.YYYY HH" ในแต่ละเซิร์ฟเวอร์และส่งบันทึกไปยังเซิร์ฟเวอร์สถิติผ่าน ssh เป็นต้น ส่งสัญญาณสำหรับการโหลดบันทึกซ้ำไปยัง nginx บนแต่ละเซิร์ฟเวอร์ ใช้ syslog transport (หรืออื่น ๆ - ไฟล์ transcport ใดอาจเป็นชื่อไฟล์อัตโนมัติสำหรับเทมเพลต "DD.MM.YYYY HH"?) เพื่อส่งบันทึกไปยังเซิร์ฟเวอร์ stat ใช้ hadoop หรือ dir ชั่วคราวในหน่วยความจำบนเซิร์ฟเวอร์สถิติสำหรับบันทึกการเขียนจากเซิร์ฟเวอร์ทั้งหมด (ตัวแปรใดมีประสิทธิผลมากกว่าในกรณีนี้) คุณช่วยแนะนำอย่างอื่นได้ไหม

2 nginx  syslog  syslog-ng  fluentd 

ฉันกำลังพยายามตั้งค่าบันทึกที่เข้ารหัสด้วย td-agent ระหว่างสองเครื่อง ฉันได้ติดตามตัวอย่างจากเอกสารอย่างเป็นทางการของ fluentd แต่ฉันติดอยู่ในสถานการณ์ที่แปลกมาก ลูกค้าและเซิร์ฟเวอร์ปฏิเสธที่จะเจรจาเนื่องจาก shared_key ไม่ตรงกัน วลีสำคัญนั้นถูกต้องบนเซิร์ฟเวอร์ทั้งสองอย่างไรก็ตามทั้งสถานะไคลเอนต์และเซิร์ฟเวอร์ที่คีย์ไม่ตรงกัน นี่คือการกำหนดค่าไคลเอนต์ (ละเว้นข้อความ): <match uwsgi.**> type copy <store> type secure_forward shared_key hello send_timeout 30s self_hostname client.example.net <server> name server.example.net host server.example.net port 24225 </server> </store> </match> และนี่คือการกำหนดค่าเซิร์ฟเวอร์: <source> type secure_forward shared_key hello self_hostname server.example.net bind 0.0.0.0 port 24225 secure true ca_cert_path …

fluentd