การซิงโครไนซ์ไฟล์หลายล้านไฟล์ระหว่างเซิร์ฟเวอร์ Linux สองเครื่อง

ฉันมีเซิร์ฟเวอร์ซึ่งการส่งออกไดเรกทอรีที่มี ~ 7 ล้านไฟล์ (ภาพส่วนใหญ่) จากดิสก์ท้องถิ่นให้กับลูกค้าผ่านทางเครือข่ายNFS

ฉันจำเป็นต้องเพิ่มอันที่สองเพื่อประโยชน์ของ HA และเพื่อให้ซิงค์กับอันแรกที่มีเดลต้าน้อยที่สุดระหว่างสองที่เป็นไปได้

การวิจัยแสดงให้เห็นว่าการใช้lsyncdหรือโซลูชั่นinotify - based อื่น ๆสำหรับเรื่องนี้ แต่เมื่อกำหนดจำนวนไฟล์ที่สร้างนาฬิกาinotify นั้นจะไม่มีที่สิ้นสุด สิ่งเดียวกันสำหรับrsync

วิธีแก้ปัญหาที่เป็นไปได้อื่น ๆ น่าจะเป็นdrdbหรือระบบไฟล์คลัสเตอร์เช่นcephหรือglusterfsแต่ฉันไม่มีประสบการณ์กับพวกนั้นและไม่รู้ว่าอันไหนจะเหมาะสมกว่าและรับมือกับไฟล์จำนวนมากและยังให้ประสิทธิภาพที่เหมาะสม

โปรดทราบว่ากิจกรรมส่วนใหญ่จะอ่านโดยมีการเขียนเกิดขึ้นเพียงเล็กน้อย

ฉันอยากจะแนะนำการจำลองแบบซึ่งเป็นผู้ไม่เชื่อเรื่องข้อมูลเช่น drbd ไฟล์จำนวนมากกำลังก่อให้เกิดสิ่งใดก็ตามที่ทำงานในระดับที่สูงกว่า "การจัดเก็บข้อมูลบล็อก" เพื่อใช้เวลาในการเดินบนต้นไม้น้อยมาก - เมื่อคุณพบว่าใช้ rsync หรือสร้างนาฬิกาที่ไม่ระบุชื่อ

เวอร์ชั่นสั้นของการสนับสนุนเรื่องราวส่วนตัวของฉัน: ฉันไม่ได้ใช้ Ceph แต่ฉันค่อนข้างแน่ใจว่านี่ไม่ใช่เป้าหมายทางการตลาดที่สำคัญของพวกเขาตามความคล้ายคลึงกับ Gluster อย่างไรก็ตามฉันได้พยายามใช้โซลูชันประเภทนี้กับ Gluster มาหลายปีแล้ว มันใช้งานได้แล้วส่วนใหญ่แล้วแม้ว่าจะมีการอัปเดตเวอร์ชันหลักหลายครั้ง แต่ฉันก็ไม่มีปัญหา หากเป้าหมายของคุณซ้ำซ้อนมากกว่าประสิทธิภาพ Gluster อาจไม่ใช่ทางออกที่ดี โดยเฉพาะอย่างยิ่งถ้ารูปแบบการใช้งานของคุณมีการเรียก stat () จำนวนมาก Gluster จะทำงานได้ไม่ดีนักในการจำลองแบบ นี่เป็นเพราะการเรียก stat ไปยังไดรฟ์ข้อมูลที่จำลองแบบไปที่โหนดที่จำลองแบบแล้วทั้งหมด (จริง ๆ แล้วคือ "Bricks" แต่คุณอาจจะมีเพียงหนึ่งอิฐต่อโฮสต์) หากคุณมีแบบจำลอง 2 ทางตัวอย่างเช่น แต่ละ stat () จากไคลเอนต์รอการตอบสนองจากอิฐทั้งสองเพื่อให้แน่ใจว่ามันกำลังใช้ข้อมูลปัจจุบัน จากนั้นคุณยังมีค่าใช้จ่าย FUSE และไม่มีการแคชหากคุณใช้ระบบไฟล์ gluster ดั้งเดิมสำหรับการทำซ้ำ (แทนที่จะใช้ Gluster เป็นแบ็กเอนด์ที่มี NFS เป็นโปรโตคอลและ automounter สำหรับการสำรองข้อมูลซึ่งยังคงดูดไว้สำหรับ stat () เหตุผล) . Gluster ทำได้ดีมากกับไฟล์ขนาดใหญ่ที่คุณสามารถกระจายข้อมูลไปยังเซิร์ฟเวอร์หลาย ๆ เครื่องได้ การสตริปและการกระจายข้อมูลใช้งานได้ดีเนื่องจากเป็นสิ่งที่มีอยู่จริง และการเรพลิเคทชนิด RAID10 ที่ใหม่กว่าจะทำงานได้ดีกว่าไดรฟ์ข้อมูลที่จำลองแบบแบบตรงรุ่นเก่ากว่า แต่ขึ้นอยู่กับสิ่งที่ฉันคาดเดาว่าเป็นรูปแบบการใช้งานของคุณฉันจะแนะนำกับมัน จากนั้นคุณยังมีค่าใช้จ่าย FUSE และไม่มีการแคชหากคุณใช้ระบบไฟล์ gluster ดั้งเดิมสำหรับการทำซ้ำ (แทนที่จะใช้ Gluster เป็นแบ็กเอนด์ที่มี NFS เป็นโปรโตคอลและ automounter สำหรับการสำรองข้อมูลซึ่งยังคงดูดไว้สำหรับ stat () เหตุผล) . Gluster ทำได้ดีมากกับไฟล์ขนาดใหญ่ที่คุณสามารถกระจายข้อมูลไปยังเซิร์ฟเวอร์หลาย ๆ เครื่องได้ การสตริปและการกระจายข้อมูลใช้งานได้ดีเนื่องจากเป็นสิ่งที่มีอยู่จริง และการเรพลิเคทชนิด RAID10 ที่ใหม่กว่าจะทำงานได้ดีกว่าไดรฟ์ข้อมูลที่จำลองแบบแบบตรงรุ่นเก่ากว่า แต่ขึ้นอยู่กับสิ่งที่ฉันคาดเดาว่าเป็นรูปแบบการใช้งานของคุณฉันจะแนะนำกับมัน จากนั้นคุณยังมีค่าใช้จ่าย FUSE และไม่มีการแคชหากคุณใช้ระบบไฟล์ gluster ดั้งเดิมสำหรับการทำซ้ำ (แทนที่จะใช้ Gluster เป็นแบ็กเอนด์ที่มี NFS เป็นโปรโตคอลและ automounter สำหรับการสำรองข้อมูลซึ่งยังคงดูดไว้สำหรับ stat () เหตุผล) . Gluster ทำได้ดีมากกับไฟล์ขนาดใหญ่ที่คุณสามารถกระจายข้อมูลไปยังเซิร์ฟเวอร์หลาย ๆ เครื่องได้ การสตริปและการกระจายข้อมูลใช้งานได้ดีเนื่องจากเป็นสิ่งที่มีอยู่จริง และการเรพลิเคทชนิด RAID10 ที่ใหม่กว่าจะทำงานได้ดีกว่าไดรฟ์ข้อมูลที่จำลองแบบแบบตรงรุ่นเก่ากว่า แต่ขึ้นอยู่กับสิ่งที่ฉันคาดเดาว่าเป็นรูปแบบการใช้งานของคุณฉันจะแนะนำกับมัน ซึ่งยังคงดูดสำหรับเหตุผล stat () Gluster ทำได้ดีมากกับไฟล์ขนาดใหญ่ที่คุณสามารถกระจายข้อมูลไปยังเซิร์ฟเวอร์หลาย ๆ เครื่องได้ การสตริปและการกระจายข้อมูลใช้งานได้ดีเนื่องจากเป็นสิ่งที่มีอยู่จริง และการเรพลิเคทชนิด RAID10 ที่ใหม่กว่าจะทำงานได้ดีกว่าไดรฟ์ข้อมูลที่จำลองแบบตรงแบบเก่า แต่ขึ้นอยู่กับสิ่งที่ฉันคาดเดาว่าเป็นรูปแบบการใช้งานของคุณฉันจะแนะนำกับมัน ซึ่งยังคงดูดสำหรับเหตุผล stat () Gluster ทำได้ดีมากกับไฟล์ขนาดใหญ่ที่คุณสามารถกระจายข้อมูลไปยังเซิร์ฟเวอร์หลาย ๆ เครื่องได้ การสตริปและการกระจายข้อมูลใช้งานได้ดีเนื่องจากเป็นสิ่งที่มีอยู่จริง และการเรพลิเคทชนิด RAID10 ที่ใหม่กว่าจะทำงานได้ดีกว่าไดรฟ์ข้อมูลที่จำลองแบบตรงแบบเก่า แต่ขึ้นอยู่กับสิ่งที่ฉันคาดเดาว่าเป็นรูปแบบการใช้งานของคุณฉันจะแนะนำกับมัน

จำไว้ว่าคุณอาจต้องหาวิธีที่จะมีการเลือกตั้งระดับสูงระหว่างเครื่องจักรหรือใช้การล็อคแบบกระจาย โซลูชันอุปกรณ์บล็อกแบบแบ่งใช้ต้องการระบบไฟล์ซึ่งเป็น multi-master aware (เช่น GFS) หรือต้องการให้โหนดเดียวเท่านั้นที่เมานต์ระบบไฟล์อ่าน - เขียน ระบบไฟล์โดยทั่วไปไม่ชอบเมื่อมีการเปลี่ยนแปลงข้อมูลที่ระดับอุปกรณ์บล็อกที่อยู่ด้านล่าง นั่นหมายความว่าลูกค้าของคุณจะต้องสามารถบอกได้ว่าใครเป็นนายและขอเขียนตรงนั้น นั่นอาจกลายเป็นเรื่องใหญ่ที่น่ารำคาญ หาก GFS และโครงสร้างพื้นฐานที่สนับสนุนทั้งหมดเป็นตัวเลือก drbd ในโหมด multi-master (พวกเขาเรียกมันว่า "dual primary") สามารถทำงานได้ดี https://www.drbd.org/en/doc/users-guide-83/s-dual-primary-modeสำหรับข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนั้น

ไม่ว่าคุณจะไปด้วยทิศทางใดคุณจะพบว่านี่เป็นความเจ็บปวดที่ต้องทำแบบเรียลไทม์โดยไม่ต้องให้เงินกับ บริษัท SAN

ฉันเปลี่ยนจาก rsync เป็น ceph ด้วยความช่วยเหลือของการตั้งค่า Proxmox VE

ตอนนี้ฉันจัดการ 14TB ในหนึ่งคลัสเตอร์ด้วยการจำลองแบบสด เป็นเวลาเกือบ 4 ปี