วิธีทำมิรเรอร์ระบบไฟล์ด้วยฮาร์ดลิงก์นับล้าน

เรามีปัญหาใหญ่หนึ่งอย่างในขณะนี้: เราจำเป็นต้องทำการจำลองระบบไฟล์สำหรับลูกค้าของเรา ปกติแล้วไม่ใช่ปัญหา แต่นี่คือ:

ในระบบไฟล์นี้มีหนึ่งโฟลเดอร์ที่มีฮาร์ดลิงก์นับล้าน (ใช่! MILLIONS!) rsyncต้องใช้เวลามากกว่า 4 วันในการสร้างผู้สร้าง

เราใช้rsyncตัวเลือกต่อไปนี้:

rsync -Havz --progress serverA:/data/cms /data/

มีใครบ้างที่คิดว่าจะเร่งความเร็ว rsync นี้หรือใช้ทางเลือกอื่น เราไม่สามารถใช้งานได้ddเนื่องจากดิสก์เป้าหมายมีขนาดเล็กกว่าแหล่งที่มา

UPDATE: ในฐานะที่เป็นระบบแฟ้มเดิมคือext3เราจะพยายามและdump restoreฉันจะทำให้คุณ up2date

คุณต้องอัปเกรดทั้งสองฝ่ายเป็น rsync 3. จากรายการเปลี่ยนแปลง:

- A new incremental-recursion algorithm is now used when rsync is talking
  to another 3.x version.  This starts the transfer going more quickly
  (before all the files have been found), and requires much less memory.
  See the --recursive option in the manpage for some restrictions.

เป็นเวลานานกว่า 2 ปีแล้วที่ rsync 3.0.0 เปิดตัว แต่น่าเสียดายที่การแจกแจงแบบองค์กรส่วนใหญ่อ้างอิงจากรหัสที่เก่ากว่าซึ่งหมายความว่าคุณอาจใช้ rsync 2.6

สำหรับการอ้างอิง (ถ้าคนอื่นจะมีปัญหานี้) ถ้าคุณกำลังทำงาน rsync 3 แล้วแล้วคุณจะใช้ตัวเลือกที่จะเข้ากันกับการเรียกซ้ำเพิ่มขึ้น จากหน้าคน:

    Some options require rsync to know the full file list, so  these
    options  disable the incremental recursion mode.  These include:
    --delete-before,   --delete-after,    --prune-empty-dirs,    and
    --delay-updates.

นอกจากนี้ทั้งสองฝั่งต้องใช้งาน rsync 3 เพื่อรองรับการเรียกซ้ำแบบส่วนเพิ่มเพื่อรับการสนับสนุน

เราได้ใช้ ext * dump ตอนนี้ ทำงานได้ดีและด้านการกู้คืนไม่จำเป็นต้องมีการยืดออก *

เราได้ทำการสำรองข้อมูลออฟไลน์โดยการติดตั้งอุปกรณ์และใช้งานdump vf - /dev/vg0/opt | gzip -c > /mnt/backup/ext3dump.gzแล้ว

นี่คือบรรทัดสุดท้ายที่คุณสามารถเห็นขนาดเวลาความเร็วและหมายเลขไอโหนดสุดท้าย:

DUMP: dumping regular inode 47169535
DUMP: dumping regular inode 47169536
DUMP: Volume 1 completed at: Wed Jun 29 05:42:57 2011
DUMP: Volume 1 54393520 blocks (53118.67MB)
DUMP: Volume 1 took 4:16:43
DUMP: Volume 1 transfer rate: 3531 kB/s
DUMP: 54393520 blocks (53118.67MB)
DUMP: finished in 15403 seconds, throughput 3531 kBytes/sec
DUMP: Date of this level  dump: Wed Jun 29 01:24:29 2011
DUMP: Date this dump completed:  Wed Jun 29 05:42:57 2011
DUMP: Average transfer rate: 3531 kB/s
DUMP: DUMP IS DONE

คุณสามารถใช้ LVM และรับสแนปชอตของไดรฟ์ข้อมูลจากนั้นซิงค์สแนปชอตเป็นข้อมูลสำรอง

อีกวิธีหนึ่งคุณสามารถรวมสิ่งนี้กับคำตอบอื่น ๆ และใช้dump กับปริมาณสแนปชอตเพื่อหลีกเลี่ยงการใช้โวลุ่มดั้งเดิมออฟไลน์