ถ่ายโอนไฟล์ 10 TB จากสหรัฐอเมริกาไปยังดาต้าเซ็นเตอร์ของสหราชอาณาจักร

96

ฉันกำลังโยกย้ายเซิร์ฟเวอร์จากสหรัฐอเมริกาไปยังสหราชอาณาจักรจากศูนย์ข้อมูลหนึ่งไปยังอีกแห่งหนึ่ง โฮสต์ของฉันบอกว่าฉันควรจะสามารถบรรลุ 11 เมกะไบต์ต่อวินาที

ระบบปฏิบัติการคือ Windows Server 2008 ที่ปลายทั้งสอง

ขนาดไฟล์เฉลี่ยของฉันอยู่ที่ประมาณ 100 MB และข้อมูลถูกแบ่งออกเป็นไดรฟ์ 2 TB ห้าตัว

วิธีที่แนะนำในการโอนไฟล์เหล่านี้คืออะไร?

FTP
SMB
Rsync / Robocopy
อื่น ๆ ?

ฉันไม่ได้ใส่ใจเรื่องความปลอดภัยมากนักเพราะเป็นไฟล์สาธารณะ แต่ฉันต้องการโซลูชันที่สามารถผลักดันอัตราการถ่ายโอนแบบเต็ม 11 MB / s เพื่อลดเวลาการถ่ายโอนทั้งหมด

file-transfer large-data

— พอล Hinett
แหล่งที่มา

19

11 MB / s หรือ 11 Mb / s?

— wim

14

ถ่ายโอนข้อมูลไปยังบัตรเจาะแบบไบนารีและใช้ผู้ให้บริการนกพิราบ :)

— ป้อน

9

คุณควรให้รายละเอียด คุณคิดว่าต้องใช้นกพิราบตัวขนส่งกี่ตัว? แสดงงานของคุณ

— Evik James

18

@Evik ยุโรปหรือแอฟริกา?

— wim

8

นอกจากนี้ Wolfram Alpha เป็นวิธีที่สะดวกที่สุดในการคำนวณ "10 TB ที่ 11MB / s" wolframalpha.com/input/?i=10+TB+at+11MB%2Fs

— ปลาปักเป้า

173

จัดส่งฮาร์ดไดรฟ์ข้ามมหาสมุทรแทน

ด้วยความเร็ว 11 Mbps ที่มีการใช้งานเต็มรูปแบบคุณกำลังมองหาเพียง 90 วันในการถ่ายโอน 10 TB

11 Mbps = 1.375 เมกะบิตต่อวินาที = 116.015 GB

10240 GB / 116.015 GB / วัน = ~ 88.3 วัน

— เชนหัวเสีย
แหล่งที่มา

42

+1 สำหรับsneakernet นอกจากนี้คุณลืมค่าใช้จ่าย TCP / IP มันเหมือนกับ ~ 100 วันภายใต้สถานการณ์ที่เหมาะสมที่สุด

— Chris S

43

ปราชญ์เคยกล่าวไว้ว่า "อย่าประมาทแบนด์วิดท์ของรถสเตชั่นแวกอนที่เต็มไปด้วยเทปที่พุ่งไปตามทางหลวง" สมการนี้เป็นจริงมากและไม่เปลี่ยนแปลงอย่างมีนัยสำคัญโดยการเปลี่ยนรถบรรทุกสถานีสำหรับเรือ ( bpfh.net/sysadmin/never-underestimate-bandwidth.html )

— Rob Moir

5

มันจะดีกว่าที่จะจัดส่งเทปหรือดิสก์ blueray มากกว่าไดรฟ์ ถ้าคุณไปกับไดรฟ์ตรวจสอบให้แน่ใจว่าต้นฉบับถูกเก็บรักษาอย่างปลอดภัยและพร้อมใช้งานในกรณี ฉันจะไปหาไดรฟ์ด้วยตัวเอง (ยกเว้นว่าฉันมี Ultrium 4 ไดรฟ์) เพราะ 10 TB = 410 ชั้น blueray ดิสก์!

— อัลเลน

9

เพิ่งรู้ว่าฉันพิมพ์ 11Mbps แต่สิ่งที่ฉันหมายถึงจริงๆคือ 11MB / s ฉันคิดว่ามันทำให้เกิดความแตกต่างอย่างมากการคำนวณของฉันใช้เวลาประมาณ 11-14 วันโดยประมาณ ... ถูกต้องหรือไม่

— Paul Hinett

18

ยังคงเชื่อว่าการส่งคนดูแลการสำรองข้อมูล 10TB ในขณะที่ดิสก์อย่างเป็นทางการยังคงทำงานอยู่เมื่อติดตั้งเสร็จแล้วคุณสามารถส่ง rsync เพื่ออัพเดทเซิร์ฟเวอร์ใหม่สำหรับการเปลี่ยนแปลงใด ๆ คุณจะทำให้เครื่องของคุณทำงานได้ในหนึ่งวัน

— Loïc Faure-Lacroix

26

ฉันจะบอก rsync ที่ 11 MB / s คุณจะดู 10-14 วันและแม้ว่าคุณจะถูกขัดจังหวะ rsync จะเริ่มต้นได้อย่างง่ายดายเมื่อมันหยุดครั้งสุดท้าย

ที่ 11 Mbps ฉันจะจัดส่งฮาร์ดดิสก์ตามที่แนะนำข้างต้น :)

— ลูคัสคอฟฟ์แมน
แหล่งที่มา

1

ค่าประมาณของคุณแตกต่างอย่างมากจากสิ่งที่คนอื่นโพสต์ (และฉันไม่รู้ว่าใครถูกต้อง) คุณสามารถให้วิธีการในการไปถึงตัวเลขเหล่านั้นได้หรือไม่?

— John Gardeniers

9

ความแตกต่างเกิดจาก OP ผิดพลาด 11 Mbps เมื่อจริงแล้วเขาหมายถึง 11 MBps - ซึ่งเร็วกว่า 8 เท่า BTW รีสตาร์ท rsync 10 TB ในกรณีที่การหยุดชะงักอาจใช้เวลาสักครู่ใช่ไหม ชั่วโมงหรือนานกว่านั้น?

— Frank Farmer

@ Frankankarmer: ฉันไม่ต้องกังวลกับการเริ่มต้น rsync อีกครั้ง; ฉันเก็บสำเนาภายนอกเอาไว้ที่ ~ 20TB ผ่านสายไร้สาย 30Mbps และการรีสตาร์ทจะอยู่ในช่วงวินาที สำเนาเริ่มต้นใช้เวลาสองถึงสามสัปดาห์ แต่โดยปกติการอัปเดตทุกคืนจะใช้เวลาสองสามชั่วโมง

— Javier

@ Frankankarmer - rsync ดูเหมือนว่าจะขยายขนาดได้เป็นอย่างดี ฉันมี ~ 2TB เหนือเส้น ADSL1 ในชนบทที่ไม่ได้ตั้งใจด้วยการแอบ แต่ก็ใช้เวลาประมาณ 5 นาทีในการซิงค์ทุกคืนหากไม่มีอะไรเปลี่ยนแปลง

— เฟล็กโซ

6

rsync เวลารีสตาร์ทเครื่องชั่งที่มีจำนวนไฟล์ (ส่วนใหญ่จากstatเวลาในประสบการณ์ของฉัน) ไม่ได้กับข้อมูลทั้งหมด ฉันคาดว่าจะไม่รออย่างมีนัยสำคัญ แม้ว่าประสบการณ์ของฉันกับ rsync จะน้อยกว่า 5TB เล็กน้อย

— Derobert

15

แน่นอน Rsync

อย่างน้อยคุณสามารถดำเนินการต่อได้ตลอดเวลาหลังจากหยุดพักและไม่มีอาการปวดใด ๆ

— Korjavin Ivan
แหล่งที่มา

7

3+ เดือนเพื่อคัดลอกที่การใช้งาน 100% ขออภัยนี่เป็นวิธีที่ยอดเยี่ยมในการถ่ายโอนข้อมูลจำนวนมาก

— Chris S

ฉันต้องยอมรับกับ @ChrisS การใช้rsyncเพียงเพื่อคัดลอกไฟล์ขนาดใหญ่นั้นไม่มีประสิทธิภาพ สำหรับสิ่งที่ฉันฉันสิ้นสุดการใช้tarมากกว่าnetcatหรือsshสำหรับการโอนครั้งแรก มันเร็วกว่ามากและเริ่มถ่ายโอนทันทีในขณะที่rsyncจะสแกนไฟล์ทั้งหมดก่อนซึ่งต้องใช้เวลา หากสิ่งนี้ขัดจังหวะคุณยังสามารถใช้งานได้ในrsyncภายหลัง ในความเป็นจริงฉันทำเช่นนี้บางครั้งหลังจากtarเพื่อให้แน่ใจว่าสิทธิ์ทั้งหมดไฟล์ซ็อกเก็ต ฯลฯ ถูกต้อง

— Martin Scharrer

1

หลังจาก OP แก้ไขว่าเขามีการเชื่อมต่อ ~ 100Mb ไม่ใช่ 11Mb rsync ก็สมเหตุสมผลดีกว่า +1 สำหรับคนแรกที่พูดถึงมัน

— Chris S

12

อย่าประมาทแบนด์วิดธ์ของสเตชั่นแวกอนที่เต็มไปด้วยเทป

- จังหวัดตราด

ในกรณีของคุณดิสก์หรือเทปที่ส่งโดย บริษัท จัดส่ง แต่หลักการยังคงมีผลบังคับใช้ หากคุณไม่กังวลเกี่ยวกับเวลาแฝงนี่จะถูกกว่าแบนด์วิธเครือข่ายอย่างมากเพื่อถ่ายโอนข้อมูล 10TB ในระยะเวลาที่เหมาะสม

— ConcernedOfTunbridgeWells
แหล่งที่มา

เจฟฟ์แอดวิ่งตัวเลขในการโพสต์ Coding สยองขวัญเก่าของเขา .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html

— tardate

10

คุณควรใช้ rsync มันจะบีบอัดข้อมูลและยกเลิกการทำซ้ำก่อนที่จะส่ง นอกจากนี้ยังสามารถทำการถ่ายโอนต่อบางส่วนซึ่งสำคัญมากสำหรับการถ่ายโอนขนาดใหญ่

มีแนวโน้มว่าจะไม่ถ่ายโอน 10 TB ถ้ามันเป็นบันทึกและข้อความและมันอาจจะต่ำกว่า 1 TB; อาจจะต่ำกว่า 1 TB

มีเครื่องมือที่ทำงานได้ดีกว่าการบีบอัดมากกว่า rsync และมีแนวโน้มที่จะพบการแข่งขันมากขึ้น คุณสามารถใช้lrzipฯลฯ

มีข้อมูลบางประเภทที่ไม่บีบอัดได้ดีและไม่มีการใช้งานซ้ำซ้อน - วิดีโอและสื่ออื่น ๆ ในกรณีดังกล่าว FTP และ rsync กำลังพยายามอย่างมาก

— จะ
แหล่งที่มา

3

ข้อมูลซ้ำซ้อน RSync หรือไม่ ฉันคิดว่ามันทำเช่นนี้ในระดับไฟล์เท่านั้นซึ่งหมายความว่าการขจัดข้อมูลซ้ำซ้อนส่วนใหญ่ไม่มีประโยชน์ในกรณีนี้

— devicenull

6

ฉันรู้ว่าสิ่งนี้ได้รับการยอมรับแล้ว แต่คุณได้พิจารณานำดิสก์ของคุณไปยังศูนย์ข้อมูล / ผู้ให้บริการ / โฮสต์ซึ่งคุณสามารถรับแบนด์วิดธ์เพิ่มเติมได้หรือไม่ มันอาจจะทำให้คุณเสียค่าใช้จ่าย แต่การคัดลอก 10240Gb ไปยังดิสก์สำรองและการส่งจะมีค่าใช้จ่ายทั้งเวลาและเงิน (2 x เงิน)

นอกจากนี้คุณยังมั่นใจได้ว่าดิสก์ของคุณจะไม่หยุดชะงัก

— Asken
แหล่งที่มา

คำตอบนี้แตกต่างจากคำตอบที่ยอมรับอย่างไร

— Chris S

2

@Chris คำตอบนี้แนะนำให้นำดิสก์ไปยังท่อขนาดใหญ่กว่าในทวีปเดียวกัน

— Alex Jasmin

5

11Mbps? นี่เป็นข้อ จำกัด ที่คุณมีอยู่ที่นี่ ในสถานการณ์ของคุณฉันจะ:

โคลนข้อมูล
บีบอัดมัน
ให้เช่าเซิร์ฟเวอร์ทั้งสองสิ้นสุดด้วยแบนด์วิดธ์เพิ่มขึ้นอย่างน้อย 10 เท่า (ในดาต้าเซ็นเตอร์เดียวกันหรือที่ปลายทางของคุณในดาต้าเซ็นเตอร์ใกล้คุณ)
ถ่ายโอนไฟล์
ใช้ข้อมูลกับเซิร์ฟเวอร์ใหม่

ถ้าคุณไม่มีวิธีเพิ่มแบนด์วิดท์จริง ๆ ... จากนั้นการจัดส่งฮาร์ดไดรฟ์จะเร็วขึ้น

จากประสบการณ์ที่เจ็บปวดของฉันฮาร์ดไดรฟ์มีแนวโน้มที่จะทำลายในจดหมาย ... USB แฟลชไดรฟ์เป็นวิธีที่ดีกว่าสำหรับการถ่ายโอนข้อมูลบ่อยครั้ง ในกรณีของคุณมันอาจต้องใช้สองสามข้อ :) ส่งข้อมูลของคุณ 2 ชุดไปยังฮาร์ดไดรฟ์หลายตัว

พิจารณาจำนวนข้อมูลที่คุณมีคุณสามารถส่งไดรฟ์จากอาร์เรย์ RAID 5 หรือ RAID 6 หากคุณมีฮาร์ดแวร์ / ซอฟต์แวร์เดียวกันที่อีกด้านหนึ่งเพื่อเสียบไดรฟ์ของคุณ แต่ในกรณีนั้นอย่าลืมทำเครื่องหมายลำดับของไดรฟ์ของคุณ และหมายเลขซีเรียลของพวกเขาดังนั้นเมื่อกำหนดค่าใหม่พวกเขาจะไม่สับสน

— หมาป่าในอเมริกา
แหล่งที่มา

1

ขออภัย 11Mbps นั้นผิดพลาดมันคือ 11MB / s ... ฉันได้พูดถึงหนึ่งในความคิดเห็นข้างต้น

— Paul Hinett

4

ในขณะที่ฉันต้องเห็นด้วยกับคำตอบ "ส่งโดยใช้ harddrives" ในกรณีนี้นี่เป็นวิธีคัดลอกที่ฉันใช้เมื่อฉันต้องคัดลอกไฟล์จำนวนมากเป็นครั้งแรก:

ในขณะที่rsyncเป็นการดีที่จะทำให้การจัดเก็บข้อมูลทั้งสองสอดคล้องกัน แต่ก็เป็นการแนะนำค่าใช้จ่ายที่ไม่จำเป็นสำหรับการถ่ายโอนครั้งแรก ฉันคิดว่าวิธีที่เร็วที่สุดคือการที่ได้รับการประปามากกว่าtar netcatบนเว็บไซต์ของผู้รับคุณยังสามารถใช้netcatในการฟังtarโหมดซึ่งท่อข้อมูลที่เข้ามาไปยังสกัด ประโยชน์คือการtarเริ่มส่งทันทีและnetcatส่งเป็นสตรีม TCP ธรรมดาโดยไม่มีค่าใช้จ่ายโปรโตคอลระดับสูงเป็นพิเศษ ควรเร็วเท่าที่จะได้รับ อย่างไรก็ตามเป็นไปไม่ได้ง่ายที่จะเริ่มต้นการถ่ายโอนขัดจังหวะที่ตำแหน่งสุดท้าย

นอกจากนี้ยังเป็นไปได้อย่างง่ายดายที่จะบีบอัดข้อมูลสำหรับการถ่ายโอนโดยใช้tarตัวเลือกที่เหมาะสมหรือเพิ่มเครื่องมือบีบอัดในท่อ โปรดทราบว่าnetcatส่งวันที่ไม่ได้เข้ารหัส ในกรณีที่ไม่มีตัวเลือกการsshเชื่อมต่อที่เข้ารหัสสามารถใช้แทน ( tar <options> | ssh <target> -c 'tar -x <options>')

หากการถ่ายโอนข้อมูลทั้งหมดrsyncสามารถนำมาใช้เพื่อให้แน่ใจว่าไฟล์ทั้งหมดที่ได้รับการปรับปรุงในเวลาเดียวกันจะถูกทำข้อมูลให้ตรงกัน IIRC ยังtarไม่ได้สร้างซ็อกเก็ตซึ่งจะหายไปเป็นอย่างอื่น แต่ก็ไม่ได้ใช้สำหรับดาต้าเซ็นเตอร์อยู่ดี

— Martin Scharrer
แหล่งที่มา

ข้อเสียคือไม่ยอมให้มีการแทรกแซง

— Joel Coel

3

คุณพิจารณาIPoACหรือไม่

นกพิราบตัวเดียวอาจจะสามารถรับข้อมูลได้หลายสิบกิกะไบต์ในเวลาประมาณหนึ่งชั่วโมงซึ่งบนพื้นฐานของแบนด์วิดธ์โดยเฉลี่ยนั้นค่อนข้างดีเมื่อเทียบกับมาตรฐาน ADSL ในปัจจุบันแม้เมื่อบัญชีสำหรับไดรฟ์ที่หายไป

— Wim
แหล่งที่มา

21

นกพิราบจะสูญเสียสัญญาณในระยะที่อธิบายโดย OP

— Roy Tinker

@RoyTinker ต้องล้างข้อมูล IPoAC โดยใช้กระบวนการสร้างหน้าต่าง

— JamesBarnett

3

อีกครั้งข้อเสนอแนะแรกคือการจัดส่งไดรฟ์

ข้อเสนอแนะที่สองคือการใช้ rsync เพื่อ rsyncd ไม่เกิน SSH ฉันได้ลองหลาย ๆ อย่างแล้วมันก็เร็วที่สุด อย่าลืมเปิดการบีบอัด ดูที่การเพิ่มหรือลดขนาดบัฟเฟอร์ rsyncเพื่อรับอัตราการถ่ายโอนที่ดีที่สุด นอกจากนี้ยังอาจช่วยในการเพิ่มขนาด MTU ของคุณ สิ่งนี้จะช่วยได้ถ้าเราเตอร์ระหว่างทางไม่ได้แยกส่วนแพ็กเก็ตของคุณ มีวิธีการตรวจสอบว่าพวกเขาทำ

น่าเสียดายที่ไม่มีการตั้งค่าที่ดีที่สุดเสมอ คุณจะต้องทดสอบเพื่อหาสิ่งที่ดีที่สุดในสถานการณ์ของคุณ

— sjbotha
แหล่งที่มา

2

คุณระบุว่าเซิร์ฟเวอร์กำลังใช้งาน Windows 2008 Microsoft DFSจะเหมาะหรือไม่ มีเวทย์มนตร์ในระดับล่างที่พยายามดึงแบนด์วิธออกจากการเชื่อมต่อให้มากที่สุดเท่าที่จะทำได้และยังมีการบีบอัดและการทำซ้ำ (IIRC)

ใจคุณฮาร์ดไดรฟ์ดีวีดีหรือ BluRays จะเร็วขึ้น ... การคำนวณของฉันคือ 11 วันที่เต็ม 11 MB / s ...

— TiernanO
แหล่งที่มา

1

คุณสามารถใช้ฝนตกหนักสำหรับสิ่งนี้

สร้างฝนตกหนักส่วนตัวที่ปลายด้านหนึ่งและใช้ไคลเอนต์ในอื่น ๆ

แม้ว่าจะมีการเข้ารหัสคุณต้องตรวจสอบกับข้อกำหนดของคุณ

— Dragos
แหล่งที่มา

1

ความสัมพันธ์ของฝนตกหนัก 1 ต่อ 1 นั้นไม่ดีไปกว่าการถ่ายโอนไฟล์ 1 ต่อ 1 หากมีข้อ จำกัด ระหว่างไซต์ทั้งสองคุณจำเป็นต้องมี seeders หลายตัวบนท่อที่แตกต่างกันโดยกระจายทางภูมิศาสตร์เป็นอย่างดี

— Jeremy

@ Jeremy - มันไม่ได้ดีขึ้นหรือแย่ลงในแง่ของปริมาณงาน มันอาจจะดีกว่าในแง่ของความน่าเชื่อถือ (หยุดชั่วคราว / ประวัติย่อ) ซึ่ง xfer ขนาดนี้อาจมีความสำคัญ

— Joel Coel