ตัวเลือกในการซิงโครไนซ์ไฟล์ 1 ล้านไฟล์กับเซิร์ฟเวอร์ระยะไกลได้อย่างมีประสิทธิภาพหรือไม่
ที่ บริษัท ฉันทำงานให้เรามีสิ่งที่เรียกว่า "เพลย์ลิสต์" ซึ่งเป็นไฟล์ขนาดเล็กประมาณ 100-300 ไบต์ต่อไฟล์ มีประมาณล้านคน ประมาณ 100,000 คนได้รับการเปลี่ยนแปลงทุกชั่วโมง เพลย์ลิสต์เหล่านี้จะต้องอัปโหลดไปยังเซิร์ฟเวอร์ระยะไกลอื่น ๆ 10 แห่งในแต่ละทวีปที่แตกต่างกันทุกชั่วโมง มันสำคัญมากที่ไฟล์ที่ถูกลบในต้นแบบนั้นจะถูกลบในแบบจำลองทั้งหมดด้วย ขณะนี้เราใช้ Linux สำหรับโครงสร้างพื้นฐานของเรา ฉันกำลังคิดเกี่ยวกับการลอง rsync ด้วยตัวเลือก -W เพื่อคัดลอกไฟล์ทั้งหมดโดยไม่ต้องเปรียบเทียบเนื้อหา ฉันยังไม่ได้ลองเลย แต่บางทีคนที่มีประสบการณ์มากกว่ากับ rsync อาจบอกฉันได้ว่ามันเป็นตัวเลือกที่เหมาะสมหรือไม่? ตัวเลือกอื่น ๆ ที่มีมูลค่าการพิจารณา? ปรับปรุง:ฉันได้เลือกตัวเลือก lsyncd เป็นคำตอบ แต่เพียงเพราะมันเป็นที่นิยมที่สุด ทางเลือกที่แนะนำอื่น ๆ ก็มีผลในทางของตัวเอง