ถ่ายโอนไฟล์ประมาณ 300GB ในไฟล์จากเซิร์ฟเวอร์หนึ่งไปยังเซิร์ฟเวอร์อื่น

ฉันมีประมาณ 200,000 ไฟล์ที่ฉันถ่ายโอนไปยังเซิร์ฟเวอร์ใหม่วันนี้ ฉันไม่ได้ทำอะไรมากมายขนาดนี้มาก่อนและต้องการรับคำแนะนำว่าฉันควรทำอย่างไร ฉันกำลังย้ายพวกเขาระหว่างสอง Centos 6 distros และพวกเขาอยู่ในสถานที่ที่แตกต่างกันในประเทศ ฉันมีพื้นที่ว่าง HDD ไม่เพียงพอบนเซิร์ฟเวอร์เดิมเพื่อทิ้งไดเรกทอรีและไฟล์ทั้งหมดไว้ใน tarball ก้อนใหญ่ดังนั้นคำถามของฉันคือฉันจะถ่ายโอนไฟล์ทั้งหมดเหล่านี้ได้อย่างไร rsync? วิธีพิเศษในการใช้ rsync? อินพุต / คำแนะนำใด ๆ เกี่ยวกับวิธีการทำจะเป็นที่น่าอัศจรรย์

ขอบคุณ

แก้ไข: สำหรับผู้ที่สงสัยฉันขอแนะนำให้ใช้screenเมื่อเรียกใช้rsyncคำสั่งขนาดใหญ่เช่นนี้ โดยเฉพาะอย่างยิ่งเมื่อมีสิ่งผิดพลาดเกิดขึ้นและคุณสูญเสียการเชื่อมต่อกับเซิร์ฟเวอร์ A ซึ่งคุณกำลังเรียกใช้rsyncคำสั่ง จากนั้นแยกหน้าจอออกแล้วเปิดใหม่ในภายหลัง

เพียงเพื่อให้เนื้อออกไซมอนคำตอบ , rsyncเป็นเครื่องมือที่เหมาะสำหรับงานที่:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

สมมติว่าคุณมีการเข้าถึง ssh กับเครื่องระยะไกลคุณต้องการทำสิ่งนี้:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

สิ่งนี้จะคัดลอกไดเรกทอรีpath/to/local/fooไปยัง/path/to/remote/barเซิร์ฟเวอร์ระยะไกล ไดเรกทอรีย่อยใหม่ที่ชื่อว่าbar/fooจะถูกสร้างขึ้น หากคุณต้องการคัดลอกเนื้อหาของไดเรกทอรีโดยไม่ต้องสร้างไดเรกทอรีของชื่อนั้นในเป้าหมายให้เพิ่มเครื่องหมายสแลชต่อท้าย:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

นี้จะคัดลอกเนื้อหาของลงในไดเรกทอรีระยะไกลfoo/bar/

ตัวเลือกที่เกี่ยวข้องบางประการ:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

ขึ้นอยู่กับความเร็วในการคัดลอกและแบนด์วิดท์ที่มีให้

สำหรับการเชื่อมต่อเครือข่ายที่ไม่ดีพิจารณาแบนด์วิดท์ของรถบรรทุกที่เต็มไปด้วยเทป (อ่าน: ส่ง 2.5 นิ้ว HDD หรือเพียงแค่ขับมันด้วยตัวคุณเอง 300 กิกะไบต์ไดรฟ์ควรหาง่าย)

หากใช้เวลาน้อยลงหรือคุณมีแบนด์วิธเหลือเฟือ rsync ก็ยอดเยี่ยม หากมีข้อผิดพลาดคุณสามารถดำเนินการต่อได้โดยไม่ต้องคัดลอกไฟล์ก่อนหน้าอีกครั้ง

[แก้ไข] ฉันลืมที่จะเพิ่มว่าคุณสามารถเรียกใช้ rsync ได้หลายครั้งหากข้อมูลของคุณถูกใช้ระหว่างการคัดลอก

ตัวอย่าง:
1) ข้อมูลที่ใช้งานอยู่ Rsync -> ข้อมูลทั้งหมดจะถูกคัดลอก อาจใช้เวลาสักครู่
2) เรียกใช้ rsync อีกครั้งเฉพาะไฟล์ที่ถูกเปลี่ยนเท่านั้นที่จะถูกคัดลอก นี่ควรจะเร็ว

คุณสามารถทำได้หลายครั้งจนกว่าจะไม่มีการเปลี่ยนแปลงหรือคุณสามารถทำได้ด้วยวิธีที่ชาญฉลาด / ปลอดภัยโดยการทำข้อมูลแบบอ่านอย่างเดียวระหว่างการคัดลอก (เช่นถ้าอยู่ในชุดแชร์ที่ใช้แล้วซึ่งแชร์เป็นแบบอ่านอย่างเดียวหรือ rsync ข้อมูลจากนั้นในตอนกลางคืนจะกำหนดให้มีการแชร์แบบอ่านอย่างเดียวในขณะที่คุณเรียกใช้เป็นครั้งที่สอง)

ฉันจะไปหา rsync! ฉันใช้มันเพื่อสำรองข้อมูลเซิร์ฟเวอร์ของฉันไปยังเซิร์ฟเวอร์ภายนอกและใช้งานได้ดี โดยปกติจะมีการคัดลอกไม่กี่ MB แต่บางวันมันก็สูงถึง 20-30GB และมันทำงานได้โดยไม่มีปัญหา

rsync บน NFS โดยใช้การเชื่อมต่อแบบกิกะบิตจะใช้เวลาเกือบ 10 ชั่วโมง จะเป็นการดีกว่าถ้าคัดลอกข้อมูลบน HDD และย้ายไปมาระหว่างเซิร์ฟเวอร์ หากคุณต้องการทำสำเนาดิสก์แบบหนึ่งต่อหนึ่งให้ใช้ dd หรืออะไรทำนองนั้นเพื่อสร้างอิมเมจดิบของดิสก์ การใช้ ssh (scp) ทำให้เกิดค่าใช้จ่ายมาก ผ่านการทดสอบอย่างชัดเจนจากการเชื่อมต่อกิกะบิต rsync เป็นสิ่งที่ดีในการทำข้อมูลให้ตรงกันที่เพิ่มขึ้นระหว่างสองเซิร์ฟเวอร์ที่ใช้ใน HA หรือในโหมดสำรองข้อมูล ฉันคิดว่า.

ครั้งแรกที่ใช้ NFS และ tar / untar (NFS เป็นโปรโตคอลที่เร็วที่สุดในกรณีนี้ tar เพื่อบันทึกแบนด์วิดท์เครือข่ายโดยใช้ประโยชน์จาก CPU มากขึ้น)

tar cf - * | ( cd /target; tar xfp -)

ครั้งต่อไปที่ใช้ rsync