ฉันควรใช้โปรแกรมใดในการถ่ายโอนข้อมูล 20TB ทั่วทั้งเครือข่าย

10

ฉันต้องการคัดลอกข้อมูล 20TB ไปยังอาร์เรย์สายฟ้า กล่องที่ข้อมูลมีอยู่ไม่มีการเชื่อมต่อสายฟ้าดังนั้นฉันจะต้องใช้เครือข่าย 1GB ในพื้นที่สำหรับสิ่งนี้ (ใช่มันจะใช้เวลาตลอดไป)

ฉันพยายามใช้ Filezilla / sftp แต่มันล้มเหลวเมื่อคิวโตขึ้นมาก rsync หรือ SCP เป็นวิธีที่จะไป?

data-transfer thunderbolt rsync

— lacinda
แหล่งที่มา

2

คุณสามารถนำไดรฟ์ออกจากอุปกรณ์เก่าและเชื่อมต่อโดยตรงได้หรือไม่

เห็นด้วยกับความคิดเห็นข้างต้น การถ่ายโอนทางกายภาพมีแบนด์วิดท์ที่ใหญ่ที่สุด

— Siyuan Ren

ฉันชอบ Carbon Copy Cloner ซึ่งเป็นยูทิลิตี้ GUI ที่ดีที่ใช้ rsync นักพัฒนาแยกทาง rsync และทำการปรับปรุงมากมาย ฉันไม่สามารถพูดกับ vs vs rsync และ / หรือ tar หรืออะไรก็ตาม แต่มันเป็นเรื่องของฉันสำหรับการถ่ายโอนข้อมูลใด ๆ ที่ฉันต้องการทราบโดยไม่ต้องสงสัยเลยว่าข้อมูลของฉันดีเมื่อมีการพูดและทำ และถ้าไม่ใช่ CCC จะบอกฉัน

— Harv

ฉันประหลาดใจที่มีการอ้างอิงถึง Fedex

— tedder42

16

rsync เป็นวิธีที่ดีที่จะไป (scp สวยมากเหมือนกันกับคุณสมบัติน้อยลง) คุณอาจต้องการใช้-Zตัวเลือกซึ่งจะเปิดใช้งานการบีบอัด zlib อาจเร็วกว่าการส่งแบบไม่บีบอัดเช่นหากลิงก์เครือข่ายของคุณอิ่มตัว คุณอาจต้องการตัวเลือกโหมดการเก็บถาวร-aซึ่งจะรักษา symlink สิทธิ์และเวลาการสร้าง / แก้ไขรวมทั้งคัดลอกไดเรกทอรีซ้ำ ขึ้นอยู่กับสิ่งที่คุณกำลังคัดลอกคุณอาจต้องการ-Eเก็บรักษาคุณลักษณะเพิ่มเติมและส้อมทรัพยากร mac ในที่สุด--progressจะแสดงข้อมูลความคืบหน้าให้คุณ

— Michael DM Dryden
แหล่งที่มา

11

rsync ยังดีในการเริ่มการคัดลอกหากมีการหยุดชะงัก

— Lee Joramo

3

Seconding @LeeJoramo ความสามารถในการรับเมื่อการถ่ายโอนที่ล้มเหลวออกไปนั้นสำคัญมาก การถ่ายโอนขนาดใหญ่นี้จะล้มเหลวในบางจุดและคุณต้องการให้แน่ใจว่าคุณจะไม่สูญเสียความคืบหน้าใด ๆ

— blahdiblah

6

ในขณะที่ไม่แพร่หลายเหมือน rsync ฉันเคยใช้เครื่องมือเรียก "mpscp" - http://www.sandia.gov/MPSCP/mpscp_design.htm

จาก Sandia National Labs เป็นเครื่องมือคัดลอกไฟล์ที่ทำงานผ่าน SSH ซึ่งได้รับการปรับแต่งเป็นพิเศษเพื่อให้อิ่มตัวเครือข่ายความเร็วสูงระหว่างระบบปิด (เช่นการคัดลอกเทราไบต์ของข้อมูลระหว่างสองซูเปอร์คอมพิวเตอร์ที่ไซต์เดียวกันเชื่อมต่อผ่าน 10Gb + หรือ Infiniband) มันใช้งานได้ดี แต่อาจเจ็บปวดในการเซ็ตอัพ ในการทดสอบฉันเห็นได้อย่างง่ายดายว่าทำงานเร็วกว่า rsync 2x-3x

— Yeraze
แหล่งที่มา

3

ใช้ rsync และพิจารณาใช้กับ rsyncd หากคุณใช้ rsync โดยไม่ต้อง rsyncd คุณจะติดอยู่โดยใช้ ssh ซึ่งหมายถึงการใช้การเข้ารหัสบางประเภท คุณอาจคัดลอกข้อมูลจากเครื่องรุ่นเก่าไปยังเครื่องรุ่นใหม่กว่าและเครื่องรุ่นเก่าอาจไม่มี CPU grunt ในการเข้ารหัสข้อมูลเพื่อการส่งข้อมูลที่รวดเร็วพอที่จะทำให้การเชื่อมต่อกิกะบิตอีเทอร์เน็ตอิ่มตัว ทดสอบการถ่ายโอนแบตช์ของไฟล์โดยใช้ทั้งสองวิธีและดูว่าวิธีใดเร็วกว่า

ด้วยเหตุผลเดียวกันฉันขอแนะนำให้ทดสอบการใช้ตัวเลือกการบีบอัดของ rsync ก่อนที่จะตกลงใช้งาน การบีบอัดเป็นกิจกรรมที่ใช้ CPU มากซึ่งอาจไม่สามารถติดตามความเร็วกิกะบิตอีเธอร์เน็ตเมื่อพยายามใช้กับฮาร์ดแวร์รุ่นเก่า rsync เป็นโปรแกรมอายุสิบห้าปีเขียนกลับเมื่อคนส่วนใหญ่แม้ในประเทศโลกแรกเข้าถึงอินเทอร์เน็ตผ่านโมเด็ม dialup แบนด์วิดท์เครือข่ายเทียบกับการแลกเปลี่ยน CPU แตกต่างกันมากแล้ว

— ไคล์โจนส์
แหล่งที่มา

คุณพูดถูกว่า rsync มีค่าเริ่มต้นที่จะใช้ ssh แต่นั่นไม่ใช่ตัวเลือกเดียว คุณสามารถทำให้มันใช้ rsh แทนการใช้-eตัวเลือก ด้วยตัวเลือกเดียวกันคุณสามารถเปลี่ยนตัวเลือกของ ssh เพื่อใช้การเข้ารหัสที่ใช้ซีพียูน้อยลง: -e 'ssh -c arcfour,blowfish-cbc'หรือคล้ายกัน ไม่ว่าจะสร้างความแตกต่างความเร็วใด ๆ กับเครื่องจักรที่ทันสมัยฉันไม่รู้ แต่มาตรฐานที่รวดเร็วอาจคุ้มค่าโดยเฉพาะกับไฟล์ 20 TB

— Michael DM Dryden

3

แพคเกจ 20Tb นี้บรรจุในไฟล์ขนาดใหญ่จำนวนเล็กน้อย (เช่นวิดีโอฐานข้อมูลสัตว์ประหลาด) หรือไฟล์เล็ก ๆ นับล้าน

หากมีไฟล์ขนาดเล็กจำนวนมากฉันจะใช้ rsync เพื่อเริ่มการทำงานใหม่หรือสตรีมแบบ piped เพื่อประสิทธิภาพ

tar -cf - * | ( cd newhome; tar -xf - )

ต้องติดตั้งรีโมตโฟลเดอร์

คุณสามารถแนบอาเรย์ใหม่โดยตรงกับส่วนต่อประสานที่แตกต่างกันได้หรือไม่ Local rsync ไม่ได้ใช้ ssh ดังนั้นคุณจึงลบจุดความล้มเหลวนั้น ใช่ Firewire 800 ช้ากว่ากิกะบิตอีเธอร์เน็ต แต่คุณไม่สามารถโหลดอีเธอร์เน็ตได้ 100% - อาจจะเร็วกว่าเมื่อใช้ Firewire FYI คุณยังสามารถเครือข่าย firewire ถ้ากล่องอยู่ใกล้พอ เพิ่มส่วนต่อประสานในการตั้งค่าระบบ -> เครือข่าย

— paul
แหล่งที่มา

0

ตัวเลือกอื่นคือลองใช้ Bittorrent Sync ( http://www.bittorrent.com/sync ) ฉันใช้มันเพื่อซิงค์รูปถ่ายและวิดีโอของครอบครัวระหว่างสมาชิกในครอบครัวของเราทั่วทั้ง WAN แต่ไม่มีเหตุผลที่มันจะไม่ทำงานสำหรับเครือข่ายท้องถิ่น มันใช้การเชื่อมต่อแบบเพียร์ทูเพียร์ดังนั้นข้อมูลจะไม่ผ่านเซิร์ฟเวอร์อย่างที่มันต้องการหากคุณพยายามใช้บางอย่างเช่นดรอปบ็อกซ์ (ไม่ใช่ฉันคิดว่าคุณมีพื้นที่ดร็อปบ็อกซ์ 20 TB หรือต้องการรอนานขนาดนั้น ข้อมูล!)

นอกจากนี้ยังรองรับในหลาย ๆ แพลตฟอร์มจึงมีความยืดหยุ่นมากกว่า rsync และ tar

— KenB
แหล่งที่มา