คุณจะซิงโครไนซ์ไฟล์ขนาดใหญ่ (ภาพดิสก์ VM) ระหว่างเครื่องได้อย่างไร

มีคำสั่งเช่น rsync ซึ่งสามารถซิงโครไนซ์ไฟล์ขนาดใหญ่กระจัดกระจายจากเซิร์ฟเวอร์ linux หนึ่งไปยังเซิร์ฟเวอร์อื่นได้หรือไม่

มันเป็นสิ่งสำคัญมากที่ไฟล์ปลายทางยังคงกระจัดกระจาย อาจยาวกว่า (แต่ไม่ใหญ่กว่า) กว่าไดรฟ์ที่บรรจุอยู่ ควรส่งเฉพาะบล็อกที่มีการเปลี่ยนแปลงข้ามสาย

ฉันได้ลอง rsync แล้ว แต่ก็ไม่มีความสุข https://groups.google.com/forum/#!topic/mailing.unix.rsync/lPOScZgFE9M

ถ้าฉันเขียนโปรแกรมเพื่อทำสิ่งนี้ฉันจะประดิษฐ์ล้อใหม่อีกครั้งหรือไม่? http://www.finalcog.com/synchronise-block-devices

ขอบคุณ

คริส

rsync --ignore-existing --sparse ...

เพื่อสร้างไฟล์ใหม่ในโหมดกระจาย

ติดตามโดย

rsync --inplace ...

เพื่ออัปเดตไฟล์ที่มีอยู่ทั้งหมด (รวมถึงไฟล์ที่กระจัดกระจายที่สร้างไว้ก่อนหน้านี้)

Rsync โอนการเปลี่ยนแปลงไปยังแต่ละไฟล์เท่านั้นและด้วย - แทนที่ควรจะเขียนบล็อกที่มีการเปลี่ยนแปลงโดยไม่ต้องสร้างไฟล์ใหม่ ของพวกเขาจากหน้าคุณสมบัติ

rsync เป็นโปรแกรมถ่ายโอนไฟล์สำหรับระบบ Unix rsync ใช้ "อัลกอริทึม rsync" ซึ่งให้วิธีการที่รวดเร็วมากสำหรับการนำไฟล์ระยะไกลมาซิงค์ ทำได้โดยการส่งความแตกต่างในไฟล์ผ่านลิงค์โดยไม่ต้องให้ไฟล์ทั้งสองชุดปรากฏที่ปลายด้านหนึ่งของลิงค์ล่วงหน้า

การใช้ - ตำแหน่งควรทำงานให้คุณ สิ่งนี้จะแสดงความคืบหน้าบีบอัดการถ่ายโอน (ที่ระดับการบีบอัดเริ่มต้น) ถ่ายโอนเนื้อหาของไดเร็กทอรีหน่วยเก็บข้อมูลโลคัลซ้ำ (เรื่องสแลชต่อท้ายแรก) ทำการเปลี่ยนแปลงไฟล์ในตำแหน่งและใช้ ssh สำหรับการขนส่ง

rsync -v -z -r --inplace --progress -e ssh /path/to/local/storage/ \
user@remote.machine:/path/to/remote/storage/ 

ฉันมักจะใช้แฟล็ก -a ด้วยซึ่งทำสิ่งอื่น ๆ อีกเล็กน้อย มันเทียบเท่ากับ -rlptgoD ฉันจะปล่อยให้พฤติกรรมที่แน่นอนสำหรับคุณที่จะค้นหาในหน้าคน

ฉันสิ้นสุดการเขียนซอฟต์แวร์เพื่อทำสิ่งนี้:

http://www.virtsync.com

นี่คือซอฟต์แวร์เชิงพาณิชย์ที่คิดต้นทุน $ 49 ต่อเซิร์ฟเวอร์จริง

ตอนนี้ฉันสามารถจำลองไฟล์กระจัดกระจาย 50GB (ซึ่งมีเนื้อหา 3GB) ในเวลาไม่เกิน 3 นาทีสำหรับบรอดแบนด์ที่อยู่อาศัย

chris@server:~$ time virtsync -v /var/lib/libvirt/images/vsws.img backup.barricane.com:/home/chris/
syncing /var/lib/libvirt/images/vsws.img to backup.barricane.com:/home/chris/vsws.img (dot = 1 GiB)
[........>.........................................]
done - 53687091200 bytes compared, 4096 bytes transferred.

real    2m47.201s
user    0m48.821s
sys     0m43.915s 

ดูที่Zumastor Linux Storage Projectซึ่งใช้การสำรองข้อมูล "snapshot" โดยใช้ไบนารี "rsync" ผ่านddsnapเครื่องมือ

จากหน้าคน:

ddsnap จัดเตรียมการจำลองแบบอุปกรณ์บล็อกเนื่องจากเครื่องมืออำนวยความสะดวกสแนปชอตระดับบล็อกสามารถเก็บสแน็ปช็อตหลาย ๆ ตัวพร้อมกันได้อย่างมีประสิทธิภาพ ddsnap สามารถสร้างรายการของสแน็ปช็อตชิ้นที่แตกต่างระหว่างสองสแนปชอตจากนั้นส่งความแตกต่างนั้นผ่านสาย บนเซิร์ฟเวอร์ดาวน์สตรีมเขียนข้อมูลที่อัพเดตไปยังอุปกรณ์บล็อกสแน็ปช็อต

lvmsyncทำสิ่งนี้

นี่คือหลักฐานการใช้งาน มันสร้างสแน็ปช็อต LVM บนซอร์สโอนโลจิคัลพาร์ติชัน คุณสามารถโอนอัปเดตที่เพิ่มขึ้นของการเปลี่ยนแปลงนับตั้งแต่การสร้างสแน็ปช็อตบ่อยเท่าที่คุณต้องการ

การจำลองระบบไฟล์ทั้งหมดเป็นวิธีแก้ปัญหาหรือไม่ DRBD? http://www.drbd.org/

อาจจะแปลกสักหน่อยที่นี่ แต่ฉันพบเมื่อเร็ว ๆ นี้ว่า NFS จัดการเรื่องนี้ได้ดี

ดังนั้นคุณส่งออกไดเรกทอรีบนเครื่องเดียวแล้วติดมันที่อื่น ๆ และคุณเพียงแค่คัดลอกไฟล์ที่มี utils cpพื้นฐานเช่น (ยูทิลิตี้เก่า / โบราณบางอย่างอาจมีปัญหากับไฟล์ที่กระจัดกระจาย)

ฉันพบว่าrsyncไม่มีประสิทธิภาพโดยเฉพาะในการถ่ายโอนไฟล์กระจัดกระจาย

ในการซิงค์ไฟล์ขนาดใหญ่หรืออุปกรณ์บล็อกที่มีความแตกต่างต่ำถึงปานกลางคุณสามารถทำสำเนาธรรมดาหรือใช้bdsyncได้ rsync ไม่เหมาะสำหรับกรณีนี้ *

bdsyncทำงานให้ฉันดูเหมือนเป็นผู้ใหญ่มากพอมันมีประวัติของข้อผิดพลาดเป็นกำลังใจ (ปัญหาเล็ก ๆ น้อย ๆ การแก้ไขที่รวดเร็ว) ในการทดสอบของฉันความเร็วนั้นใกล้เคียงกับค่าสูงสุดทางทฤษฎีที่คุณจะได้รับ ** (นั่นคือคุณสามารถซิงค์ในเวลาที่คุณต้องอ่านไฟล์) ในที่สุดมันก็โอเพนซอร์สและไม่มีค่าใช้จ่าย

bdsyncอ่านไฟล์จากทั้งโฮสต์และแลกเปลี่ยนผลรวมตรวจสอบเพื่อเปรียบเทียบและตรวจสอบความแตกต่าง ทั้งหมดเหล่านี้ได้ในเวลาเดียวกัน ในที่สุดมันก็จะสร้างไฟล์แพ็ตช์ที่ถูกบีบอัดบนโฮสต์ต้นทาง จากนั้นคุณย้ายไฟล์นั้นไปยังโฮสต์ปลายทางและรัน bdsync เป็นครั้งที่สองเพื่อแก้ไขไฟล์ปลายทาง

เมื่อใช้งานผ่านลิงก์ที่ค่อนข้างเร็ว (เช่น 100Mbit ethernet) และสำหรับไฟล์ที่มีความแตกต่างเล็ก ๆ (เช่นในกรณีของดิสก์ VM) จะช่วยลดเวลาในการซิงค์กับเวลาที่คุณต้องอ่านไฟล์ ผ่านลิงค์ช้าคุณต้องใช้เวลาอีกเล็กน้อยเพราะคุณต้องคัดลอกการเปลี่ยนแปลงที่ถูกบีบอัดจากโฮสต์หนึ่งไปยังอีกโฮสต์หนึ่ง (ดูเหมือนว่าคุณสามารถประหยัดเวลาได้โดยใช้กลอุบายที่ดีแต่ยังไม่ได้ทดสอบ)

*: rsync ไม่มีประสิทธิภาพอย่างมากกับไฟล์ขนาดใหญ่ แม้จะมี - แทนที่มันจะอ่านไฟล์ทั้งหมดในโฮสต์ปลายทางก่อนหลังจากเริ่มอ่านไฟล์บนโฮสต์ต้นทางและในที่สุดก็ถ่ายโอนความแตกต่าง (เพียงแค่เรียกใช้ dstat หรือคล้ายกันในขณะที่ใช้ rsync และสังเกต) ผลลัพธ์คือแม้สำหรับไฟล์ที่มีความแตกต่างเล็ก ๆ ก็ต้องใช้เวลาสองเท่าในการอ่านไฟล์เพื่อซิงค์

**: ภายใต้สมมติฐานว่าคุณไม่มีวิธีอื่นในการบอกว่าส่วนใดของไฟล์ที่มีการเปลี่ยนแปลง LVM snapshots ใช้บิตแมปเพื่อบันทึกบล็อกที่มีการเปลี่ยนแปลงเพื่อให้สามารถทำงานได้เร็วขึ้นมาก (readme ของlvmsyncมีข้อมูลเพิ่มเติม)

ฉันไม่ได้ตระหนักถึงยูทิลิตี้ดังกล่าวเพียงแค่การเรียกของระบบที่สามารถจัดการได้ดังนั้นหากคุณเขียนโปรแกรมอรรถประโยชน์ดังกล่าวมันอาจจะมีประโยชน์มากกว่า

สิ่งที่คุณทำได้จริง ๆ คือใช้ qemu-img แปลงเพื่อคัดลอกไฟล์ แต่มันจะใช้ได้เฉพาะถ้า FS ปลายทางสนับสนุนไฟล์ที่กระจัดกระจาย