การทำข้อมูลไดเรกทอรีให้ตรงกันกับการค้นพบโดยอัตโนมัติ

ฉันกำลังทำงานกับคลัสเตอร์ของเซิร์ฟเวอร์ Linux ที่อยู่ด้านหลังคุณสมบัติการปรับขนาดอัตโนมัติของคลาวด์ของ Amazon ( เอกสาร ) มีไฟล์ที่สะสมในแต่ละเซิร์ฟเวอร์เป็นไฟล์แคชสำหรับแอปพลิเคชัน ฉันกำลังค้นหาวิธีอัตโนมัติเพื่อให้เซิร์ฟเวอร์ซิงค์โฟลเดอร์นั้นกันเอง

• Rsync จะทำงานถ้ามีคนมีวิธีที่ชาญฉลาดในการตรวจจับแบบเพื่อน
• Unisonเดียวกันจะไปสำหรับ
• เราได้พิจารณาการใช้ SaaS เช่น Dropbox ด้วย
• Gluster ดูเหมือนว่า overkill และฉันไม่แน่ใจว่ามันง่ายแค่ไหนที่จะมีคอมพิวเตอร์เครื่องใหม่เข้าร่วมคลัสเตอร์โดยอัตโนมัติ

สิ่งที่จะเกิดขึ้นก็คือเมื่อมีการเปิดตัวเซิร์ฟเวอร์ใหม่มันจะค้นพบว่าเป็นเซิร์ฟเวอร์เดียวกันและเริ่มทำการซิงค์โฟลเดอร์ จากจุดนั้นเป็นไฟล์ล่าสุดที่ชนะการซิงโครไนซ์ P2P

มีอะไรออกไปที่ทำสิ่งนี้?

คุณรู้ว่าแปลกอย่างที่มันอาจฟังดู แต่การใช้ rtorrent กับ DHT ที่เปิดใช้งานในช่วง ec2 ส่วนตัวสามารถทำงานได้

สิ่งนี้จะทำให้คุณ

• การค้นพบ Peer อัตโนมัติ
• สถานะไฟล์ที่ยืนยันแล้ว (yay for hash)
• ข้อกำหนดการกำหนดค่าขั้นต่ำ (เพิ่มแม่เหล็ก (หรือ IP เสมือนสำหรับฝนตกหนักล่าสุด) สำหรับฝนตกหนักในสคริปต์เริ่มต้น)
• ความยืดหยุ่น

Rsync upstream ให้การสนับสนุน SLP (โปรโตคอลตำแหน่งบริการ) ไม่ได้เปิดใช้งานในแหล่งที่มาของวานิลลา rsync แต่คุณสามารถหาการสนับสนุน SLP ใน tarball rsync-patches ได้ที่หน้าแรกของ rsync (slp.diff) เช่นแพ็คเกจ SUSE rsync สร้างด้วยแพทช์นี้ ฉันไม่รู้เรื่องการแจกแจงอื่น

ฉันไม่แน่ใจว่านี่คือสิ่งที่คุณกำลังมองหาและฉันไม่มีประสบการณ์ใด ๆ กับ SLP

บางทีฉันอาจจะพลาดบางสิ่งบางอย่างที่นี่ แต่มีเหตุผลบางอย่างที่คุณไม่เพียงแค่ติดตั้งไดเรกทอรี NFS อย่างง่าย ๆ และให้ทุกเครื่องติดตั้งหรือไม่ เมื่อใดก็ตามที่แอพเขียนไฟล์แคชใหม่มันควรจะเขียนทับไฟล์เก่า ๆ

ฉันค่อนข้างมั่นใจว่ามีเครื่องมือการจัดการของ Amazon เช่นCommand Line Toolsที่อนุญาตให้คุณเขียนสคริปต์การบูตเพื่อให้โหนดค้นหาซึ่งกันและกันผ่านทาง IP ส่วนตัวหรือสาธารณะ

อย่างไรก็ตาม rsync และ Unison ไม่ใช่เครื่องมือที่เหมาะสมหากพวกเขาต้องกระจายการเปลี่ยนแปลงไปยังแคชบ่อยมาก ในกรณีนี้คุณควรพิจารณาระบบไฟล์แบบกระจายจริง ๆ

อาจเป็นDRBD (อุปกรณ์บล็อกแบบกระจาย)