วิธีที่ดีที่สุดในการถ่ายโอนไฟล์ขนาดใหญ่หนึ่งไฟล์ผ่านลิงค์ WAN ความเร็วสูงและความล่าช้าสูงคืออะไร

ดูเหมือนว่าจะเกี่ยวข้องกับอันนี้แต่ก็ค่อนข้างแตกต่างกัน

มีลิงค์ WAN นี้ระหว่างเว็บไซต์ของ บริษัท สองแห่งและเราจำเป็นต้องถ่ายโอนไฟล์ที่มีขนาดใหญ่มาก (การถ่ายโอนข้อมูล Oracle, ~ 160 GB)

เรามีแบนด์วิดท์เต็ม 100 Mbps (ทดสอบแล้ว) แต่ดูเหมือนว่าการเชื่อมต่อ TCP เดียวจะไม่สามารถทำได้สูงสุดเนื่องจากการทำงานของ TCP (ACKs ฯลฯ ) เราทดสอบการเชื่อมโยงกับiperfและผลลัพธ์จะเปลี่ยนไปอย่างมากเมื่อเพิ่มขนาดหน้าต่าง TCP: ด้วยการตั้งค่าพื้นฐานเราจะได้รับปริมาณข้อมูล ~ 5 Mbps ด้วย WS ที่ใหญ่กว่าเราสามารถเพิ่มได้ถึง ~ 45 Mbps แต่ไม่มากไปกว่านั้น เวลาแฝงเครือข่ายอยู่ที่ประมาณ 10 ms

จากความอยากรู้เราใช้ iperf โดยใช้การเชื่อมต่อมากกว่าหนึ่งครั้งและเราพบว่าเมื่อใช้งานสี่การเชื่อมต่อพวกเขาจะประสบความสำเร็จในความเร็วที่ ~ 25 Mbps ต่อการเติมแบนด์วิดท์ที่มีอยู่ทั้งหมด ดังนั้นคีย์ดูเหมือนจะทำงานหลายการโอนพร้อมกัน

ด้วย FTP สิ่งที่เลวร้ายยิ่ง: แม้จะมีการตั้งค่า TCP ที่เหมาะสม (ขนาดหน้าต่างสูง, MTU สูงสุด ฯลฯ ) เราไม่สามารถรับมากกว่า 20 Mbps ต่อการถ่ายโอนครั้งเดียว เราลอง FTPing ไฟล์ขนาดใหญ่ในเวลาเดียวกันและสิ่งต่าง ๆ ก็ดีกว่าเมื่อถ่ายโอนไฟล์เดียว แต่ผู้ร้ายกลายเป็นดิสก์ I / O เพราะการอ่านและเขียนไฟล์ขนาดใหญ่สี่ไฟล์จากคอขวดดิสก์เดียวกันเร็ว ๆ นี้ และดูเหมือนว่าเราจะไม่สามารถแยกไฟล์ขนาดใหญ่นั้นออกเป็นไฟล์เล็ก ๆ แล้วรวมมันกลับคืนมาอย่างน้อยก็ไม่ได้ในเวลาที่ยอมรับได้ (เห็นได้ชัดว่าเราไม่สามารถใช้ splicing / ผสานไฟล์กลับในเวลาที่เทียบเคียงได้กับ กำลังถ่ายโอน)

ทางออกที่ดีในที่นี้คือเครื่องมือแบบมัลติเธรดที่สามารถถ่ายโอนไฟล์จำนวนมากในเวลาเดียวกัน การเรียงลำดับของโปรแกรมเพียร์ทูเพียร์เช่น eMule หรือ BitTorrent ได้ทำไปแล้ว แต่จากแหล่งเดียวไปยังปลายทางเดียว เครื่องมือจะช่วยให้เราสามารถเลือกได้ว่าจะใช้การเชื่อมต่อแบบขนานจำนวนเท่าใดและแน่นอนว่าการเพิ่มประสิทธิภาพดิสก์ I / O จะไม่กระโดด (เช่นกัน) อย่างบ้าคลั่งระหว่างส่วนต่าง ๆ ของไฟล์

ไม่มีใครรู้ว่าเครื่องมือดังกล่าวหรือไม่?

หรือใครสามารถแนะนำวิธีแก้ปัญหาที่ดีกว่าและ / หรือบางสิ่งบางอย่างที่เราไม่ได้ลองมาแล้ว?

ป.ล. เราคิดว่าจะสำรองข้อมูลไว้ที่เทป / ดิสก์แล้วส่งไปยังปลายทาง นั่นจะเป็นมาตรการที่รุนแรงของเราหาก WAN ไม่ตัดมัน แต่อย่างที่ Tanenbaum กล่าวว่า "อย่าประมาทแบนด์วิดธ์ของรถบรรทุกสถานีที่เต็มไปด้วยเทปที่พุ่งชนทางหลวง"

การค้นหา "การถ่ายโอนไฟล์ที่มีความหน่วงสูง" นั้นมีจำนวนเพลงที่น่าสนใจมากมาย เห็นได้ชัดว่านี่เป็นปัญหาที่ชุมชน CompSci และชุมชนการค้าได้นำมาใช้

ข้อเสนอเชิงพาณิชย์เล็กน้อยที่ดูเหมือนจะพอดีกับใบเสร็จ:

• FileCatalystมีผลิตภัณฑ์ที่สามารถสตรีมข้อมูลผ่านเครือข่ายเวลาแฝงสูงโดยใช้ UDP หรือหลายสตรีม TCP พวกเขามีคุณสมบัติอื่น ๆ มากมายเช่นกัน (การบีบอัดข้อมูลแบบทันทีทันใดการถ่ายโอนเดลต้า ฯลฯ )

• การถ่ายโอนไฟล์fasp "เทคโนโลยี" จาก Aspera นั้นดูเหมือนว่าจะพอดีกับสิ่งที่คุณกำลังมองหาเช่นกัน

ในโลกโอเพนซอร์ซโครงการuftp นั้นดูมีแนวโน้ม คุณไม่ต้องการความสามารถแบบมัลติคาสต์เป็นพิเศษ แต่ความคิดพื้นฐานของการกระจายไฟล์ให้กับผู้รับรับ NAKs สำหรับบล็อกที่ไม่ได้รับเมื่อสิ้นสุดการถ่ายโอนจากนั้นจึงพ่นบล็อก NAK'd ออก ดูเหมือนว่ามันจะทำในสิ่งที่คุณต้องการเนื่องจากไม่มี ACK'ing (หรือ NAK'ing) จากผู้รับจนกว่าจะเสร็จสิ้นการถ่ายโอนไฟล์ครั้งเดียว สมมติว่าเครือข่ายนั้นแฝงอยู่และไม่สูญเสียสิ่งนี้อาจทำในสิ่งที่คุณต้องการเช่นกัน

ข้อเสนอแนะที่แปลกจริง ๆ ข้อนี้ตั้งค่าเว็บเซิร์ฟเวอร์แบบง่าย ๆ เพื่อโฮสต์ไฟล์บนเครือข่ายของคุณ (ฉันแนะนำ nginx โดยบังเอิญ) จากนั้นตั้งค่าพีซีที่มี firefox ที่ปลายอีกด้านและติดตั้งส่วนขยาย DownThemAll

มันเป็นตัวเร่งการดาวน์โหลดที่รองรับการสับเปลี่ยนและประกอบใหม่
คุณสามารถแบ่งการดาวน์โหลดแต่ละครั้งเป็น 10 ชิ้นเพื่อประกอบใหม่อีกครั้งและมันจะทำให้สิ่งต่าง ๆ เร็วขึ้น!

(ข้อแม้: ฉันไม่เคยลองสิ่งใดที่มีขนาดใหญ่ถึง 160GB แต่ใช้งานได้ดีกับไฟล์ iso 20GB)

การขนส่งUDTน่าจะเป็นการขนส่งที่นิยมที่สุดสำหรับการสื่อสารที่มีความหน่วงสูง สิ่งนี้นำไปสู่ซอฟต์แวร์อื่น ๆ ของพวกเขาที่ชื่อว่าSector / Sphere "ระบบไฟล์แบบกระจายที่มีประสิทธิภาพสูงและเครื่องมือประมวลผลข้อมูลแบบขนาน" ซึ่งอาจคุ้มค่าที่จะดู

คำตอบของฉันสายไปหน่อย แต่ฉันเพิ่งพบคำถามนี้ในขณะที่มองหา fasp ในระหว่างการค้นหานั้นฉันก็พบสิ่งนี้: http://tsunami-udp.sourceforge.net/ , "โปรโตคอลสึนามิ UDP"

จากเว็บไซต์ของพวกเขา:

โปรโตคอลการถ่ายโอนไฟล์พื้นที่ผู้ใช้ที่รวดเร็วซึ่งใช้การควบคุม TCP และข้อมูล UDP สำหรับการถ่ายโอนผ่านเครือข่ายทางไกลความเร็วสูงมาก (≥ 1 Gbps และแม้แต่ 10 GE) ออกแบบมาเพื่อให้ปริมาณงานผ่านได้มากกว่า TCP ในเครือข่ายเดียวกัน เครือข่าย

หน้าเว็บจะกล่าวถึงผลลัพธ์นี้ (โดยใช้ลิงก์ระหว่างเฮลซิงกิฟินแลนด์ไปบอนน์ประเทศเยอรมนีผ่านลิงก์ 1GBit:

รูปที่ 1 - การถ่ายโอนระหว่างประเทศผ่านอินเทอร์เน็ตโดยเฉลี่ยอยู่ที่ 800 Mbit / วินาที

หากคุณต้องการใช้ตัวเร่งการดาวน์โหลดให้ดูที่ lftp นี่เป็นตัวเร่งการดาวน์โหลดตัวเดียวที่สามารถทำมิเรอร์แบบเรียกซ้ำได้เท่าที่ฉันรู้

bbcpยูทิลิตี้จากหน้าเว็บที่เกี่ยวข้องมาก'วิธีการถ่ายโอนข้อมูลจำนวนมากผ่านเครือข่าย'น่าจะเป็นทางออกที่ง่ายที่สุด