Linux เป็น Linux ถ่ายโอน 10 TB หรือไม่

9

ฉันได้ดูคำถามที่คล้ายกันก่อนหน้านี้ทั้งหมด แต่คำตอบดูเหมือนจะอยู่ทั่วสถานที่และไม่มีใครย้ายข้อมูลจำนวนมาก (100 GB แตกต่างจาก 10 TB)

ฉันมีประมาณ 10 TB ที่ฉันต้องการย้ายจาก RAID หนึ่งไปยังอีก, gigabit Ethernet, สารานุกรมฟรี, ระบบไฟล์XFS ความกังวลที่ยิ่งใหญ่ที่สุดของฉันคือการถ่ายโอนต้องตายกลางคันและไม่สามารถกลับมาทำงานได้อย่างง่ายดาย ความเร็วจะดี แต่การโอนความมั่นใจนั้นสำคัญกว่ามาก

โดยปกติแล้วฉันจะแค่ tar & netcat แต่อาร์เรย์ RAID ที่ฉันย้ายมานั้นมีความคลาดเคลื่อนอย่างมากในช่วงปลายปีและฉันต้องสามารถกู้คืนและกลับมาทำงานต่อได้หากกระบวนการนั้นหยุดกลางคัน ฉันควรจะดูrsyncหรือไม่?

เมื่อพิจารณาถึงเรื่องนี้อีกเล็กน้อยฉันคิดว่า rsync อาจช้าเกินไปและฉันต้องการหลีกเลี่ยงสิ่งนี้โดยใช้เวลา 30 วันขึ้นไป ดังนั้นตอนนี้ฉันกำลังมองหาคำแนะนำเกี่ยวกับวิธีการตรวจสอบ / ต่อการถ่ายโอนที่มีnetcat

— lostincode
แหล่งที่มา

บางครั้งฉันต้องทำการถ่ายโอนไฟล์ขนาดใหญ่ (แต่ไม่ใช่ 10TB;) rsync มีแฟล็กจำนวนมากบางอันอาจส่งผลต่อประสิทธิภาพของการถ่ายโอนไฟล์ขนาดใหญ่ (ฉันคิดว่า - checksum และ --archive อาจทำให้คุณช้าลงเช่นนี้ จะสร้างความแตกต่างอย่างมากเมื่อทำการถ่ายโอน 10TB.) ใครช่วยแนะนำตัวเลือกที่ดีเพื่อช่วยเพิ่มประสิทธิภาพการถ่ายโอนไฟล์ขนาดใหญ่? จะจูน--block-size=SIZEความช่วยเหลือหรือไม่

— Stefan Lasiewski

มีอยู่แล้วเพื่อเอาค่าโสหุ้ย ssh?

— lostincode

1

ตั้งค่า rsyncd เมื่อสิ้นสุดการรับของคุณหรือไม่ ไม่จำเป็นสำหรับ ssh

— cpbills

3

รัน rsync daemon บนฝั่งการรับเช่นเดียวกับไคลเอนต์ในด้านการส่ง

— หยุดชั่วคราวจนกว่าจะมีการแจ้งให้ทราบต่อไป

2

หากคุณไม่สามารถตั้งค่า rsync daemon ที่ด้านหนึ่งและติดกับ SSH คุณสามารถลดค่าใช้จ่ายในการเข้ารหัสด้วยการเข้ารหัสที่ไม่ดีเช่น: rsync -avz -e 'ssh -c arcfour' แหล่งที่มา

— David

14

ครับ rsync

นอกวงการลูกชิ้นคุณสมบัติ async DRBD ออกมาเร็ว ๆ นี้

— cagenut
แหล่งที่มา

1

+1 สำหรับ Rsync ราชาแห่งการถ่ายโอนแบบระบบสู่ระบบบน linux

— grufftech

+1, rsync (และเป็น Windows DeltaCopy) เป็นจุดสิ้นสุดของเซิร์ฟเวอร์ที่มีประสิทธิภาพต่อการทำสำเนาไฟล์ทั่วไปของเซิร์ฟเวอร์

— Chris S

1

+1 สำหรับ rsync แต่ฉันจะเพิ่มว่าอาจเร็วกว่าที่จะทำ "เฉพาะที่" ผ่านการเมานต์ NFS แทนการใช้โอเวอร์เฮดโปรโตคอล rsync หรือ SSH

— James Sneeringer

2

อย่าประมาทแบนด์วิดท์ของสเตชั่นแวกอนที่เต็มไปด้วยเทป 10TB จะเป็นไปได้ด้วยอุปกรณ์ NAS เกรดผู้บริโภคที่ค่อนข้างถูกถ้าคุณสามารถแบ่งเป็นชิ้น ๆ (พูดถึง 2TB) หากเป็นแบบครั้งเดียวกระบวนการกึ่งแมนนวลอาจใช้งานได้และ NAS 2TB เพียงไม่กี่ร้อยดอลลาร์

หากคุณต้องการกระบวนการที่ต่อเนื่องคุณสามารถตั้งค่า RSYNC หลังจากถ่ายโอนเริ่มต้นแล้ว

— ConcernedOfTunbridgeWells
แหล่งที่มา

คำถามเดิมกล่าวว่านี่เป็นเครือข่ายท้องถิ่นแล้ว

— Ladadadada

1

ซึ่งดูเหมือนจะช้าเกินไปและ / หรือไม่น่าเชื่อถือสำหรับวัตถุประสงค์ของ OP

— ConcOfOfTunbridgeWells

2

ฉันต้องทำงานแบบนี้เมื่อหลายเดือนก่อน ฉันใช้ rsync แบบขนานเพื่อเร่งกระบวนการ มันแบ่งไฟล์ที่จะถ่ายโอน / ซิงค์ในกลุ่มและสามารถดำเนินการต่อได้ตลอดเวลา ดูลิงค์ด้านล่างสำหรับสคริปต์ rsync ขนาน

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
แหล่งที่มา

0

คุณสามารถลองตั้งค่าเซิร์ฟเวอร์ FTP บนเซิร์ฟเวอร์ที่มีข้อมูลที่จะคัดลอกและใช้ไคลเอนต์ FTP ที่มี "ประวัติย่อ" ที่จุดรับ ฉันใช้เซิร์ฟเวอร์ Filezilla และไคลเอนต์และฉันใช้คุณสมบัติ "ประวัติย่อ" ของไคลเอนต์ค่อนข้างบ่อยและมันก็ใช้งานได้โดยไม่ต้องผูกปม

— jamesbtate
แหล่งที่มา