การพุชไฟล์ขนาดใหญ่ไปยังคอมพิวเตอร์มากกว่า 500+ เครื่อง

24

ฉันทำงานกับทีมเพื่อจัดการคอมพิวเตอร์ Windows 7 ให้เช่า 500-600 เครื่องสำหรับการประชุมประจำปี เรามีข้อมูลจำนวนมากที่ต้องซิงค์กับคอมพิวเตอร์เหล่านี้สูงสุด 1 TiB คอมพิวเตอร์ถูกแบ่งออกเป็นห้องต่างๆและเชื่อมต่อผ่านสวิตช์กิกะบิตที่ไม่มีการจัดการ เราเตรียมคอมพิวเตอร์เหล่านี้ล่วงหน้าด้วยการติดตั้งและกำหนดค่า Windows รวมถึงไฟล์ใด ๆ ที่เรามีให้เราก่อนที่เราจะส่งอิมเมจพื้นฐานสำหรับการจำลองแบบโดย บริษัท ให้เช่า ทุกปีเรามีผู้นำเสนอวิธีการในไซต์ที่มีข้อมูลมากถึงกิ๊กที่ต้องถูกผลักไปยังห้องที่พวกเขาจะนำเสนอในบางครั้งพวกเขามีไฟล์เพียงไม่กี่ไฟล์ที่มีขนาดเล็กเช่นสไลด์ PDF แต่สามารถ บางครั้งมีขนาดใหญ่กว่า> 5 GiB

กลยุทธ์ปัจจุบันของเราในการผลักไฟล์เหล่านี้คือการใช้ชุดสคริปต์และ RoboCopy สำหรับการผลักดันขนาดใหญ่เราใช้ไคลเอ็นต์ BitTorrent เพื่อสร้างไฟล์ทอเรนท์จากนั้นเราใช้แบตช์ RoboCopy เพื่อส่งไฟล์ทอร์เรนต์ไปยังโฟลเดอร์บนเครื่องรีโมตที่ตรวจสอบโดยไคลเอนต์ BT ที่ติดตั้ง บ่อยครั้งที่ข้อมูลนี้ต้องถูกผลักทันทีด้วยหน้าต่างเวลาขนาดเล็ก เรามีเครื่องจักรหลายเครื่องในห้องควบคุมที่เหมือนกับเครื่องจักรบนพื้นที่เราใช้สำหรับการดันเหล่านี้

บางครั้งเราจำเป็นต้องเรียกใช้งานโปรแกรมบนเครื่องระยะไกลและในปัจจุบันเราใช้ batch และ PSexec เพื่อจัดการงานนี้

เรายินดีที่จะตอบสนองต่อนาทีสุดท้ายเหล่านี้ด้วย "ขออภัยความผิดของคุณเอง" แต่มันจะไม่เกิดขึ้น วิธี BT ช่วยให้เรามีเวลาตอบสนองที่เร็วขึ้นมาก แต่กระบวนการแบทช์ทั้งหมดอาจยุ่งเหยิงเมื่อมีงานหลายงานที่ถูกผลัก เราใช้ Enterprise Ghost สำหรับกระบวนการอื่นและมันใช้งานไม่ได้กับสเกลขนาดใหญ่นี้และมันค่อนข้างแพงสำหรับงานปีละครั้งเช่นนี้

แก้ไข: มีความต้องการอย่างหนักที่เครื่องระยะไกลบนพื้นใช้ Windows เครื่องควบคุมไม่มีข้อกำหนดของระบบปฏิบัติการอย่างหนัก ฉันอยากจะอยู่ห่างจาก Multicast เพราะมีปัญหากับเราเตอร์ต้นน้ำ Multicast หรือ BitTorrent เป็นวิธีที่ดีกว่าในการทำสิ่งนี้หรือไม่? มีโปรโตคอลอื่นที่อาจทำงานได้ดีขึ้นหรือไม่

— WMIF
แหล่งที่มา

3

เป็นคำถามที่เขียนมาเป็นอย่างดีทำให้ฉันต้องพูดว่าคำถามการช็อปปิ้งเป็นหัวข้อนอกหัวข้อใด ๆ ในไซต์Stack Exchange ดูคำถาม & คำตอบยากปล่อยให้ไปซื้อของและคำถามที่พบบ่อยสำหรับรายละเอียดเพิ่มเติม

— Chris S

I would really like to stay away from Multicast because of complications with upstream routers.คุณอธิบายได้อย่างละเอียดว่าทำไม?

— Zoredache

2

สุจริตนอกเหนือจากการขุดโซลูชันมัลติคาสต์กระบวนการ BitTorrent และ PSExec ที่ปลูกในบ้านของคุณฟังดูเป็นเรื่องที่ดีที่สุดที่คุณสามารถทำได้ คุณอาจต้องการห่อ PowerShell รอบ ๆ เพื่อให้ได้ประโยชน์ / อัตโนมัติ แต่นั่นเป็นข้อเสนอแนะที่ดีที่สุดที่ฉันสามารถให้คุณได้ ...

— voretaq7

@ Zoredache- จริงๆแล้วมันเป็นส่วนหนึ่งเพราะฉันไม่มีประสบการณ์เพียงพอกับมัลติคาสต์ ฉันจัดการกับ Ghost และ multicast และยังไม่ได้ออกมาด้วยผลลัพธ์ที่ดีมากจริงๆ อุปกรณ์ต้นน้ำเป็นสิ่งอำนวยความสะดวกที่เราทำสัญญาและเราได้จัดการกับกลุ่มไอทีที่ค่อนข้างยากในบางพื้นที่ ฉันไม่คาดหวังให้พนักงานของพวกเขารู้ว่ามัลติคาสต์คืออะไร

— WMIF

@ voretaq7- ฉันได้พิจารณาใส่ส่วนต่อประสานกับโครงสร้างของเรา แต่ฉันจะมีเวลายากที่จะทำมันใน PowerShell มันเจ็บปวดสำหรับฉันที่จะเรียนรู้ PS เพราะส่วนใหญ่เป็นพฤติกรรมที่แตกต่างจากภาษาที่มีโครงสร้างมากขึ้น ถ้าฉันใส่ส่วนต่อประสานกับมันก็น่าจะเป็น C #

— WMIF

12

คุณต้องการโปรแกรม Multicast File Transfer: UFTPพร้อมเอกสารที่ดีและส่วนขยายแบบ proxt สำหรับการสำรวจ NAT / เราเตอร์ด้วย

— คริส
แหล่งที่มา

ฉันยังคงดูเอกสารประกอบของลิงก์ที่คุณให้ แต่ฉันยังไม่เห็นการพูดถึง multicast ระดับล่าง โดยที่ฉันหมายความว่านี้ยังคงอาศัยจุดนัดพบหลายผู้รับที่จะจัดตั้งขึ้นในเราเตอร์บางห่วงโซ่ขึ้นหรือไม่ ฉันอาศัยที่ตั้งเพื่อให้บริการเกตเวย์ของฉันดังนั้นฉันจึงไม่มีเราเตอร์ส่วนกลางที่สามารถให้บริการฟังก์ชั่นนี้ได้ UFTP มีวิธีการเลียนแบบภายในซอฟต์แวร์หรือไม่?

— WMIF

นี่คือประเภทของผลลัพธ์ที่ฉันมักจะได้รับเมื่อต้องจัดการกับมัลติคาสต์และทำไมฉันจึงระบุว่าฉันต้องการหลีกเลี่ยงมัน serverfault.com/questions/56487/…

— WMIF

ฉันไม่คุ้นเคยกับซอฟต์แวร์หรือฮาร์ดแวร์ของคำถามนั้น แต่ฉันไม่พบปัญหาเช่นนั้นในการตั้งค่าของฉัน Multicast จะทำงานในอัตราไคลเอนต์ที่ช้าที่สุดดังนั้นหากคุณมี "strata" ของความเร็วไคลเอนต์ที่แตกต่างกันคุณอาจต้องการเรียกใช้มัลติคาสต์หลายเซสชันสำหรับแต่ละสแตติก (ไม่ส่งผลกระทบต่อเวลาเสร็จสิ้นขั้นสุดท้าย เร็ว) สวิตช์และเราเตอร์ระดับกลางต้องรองรับมัลติคาสต์พร็อกซีสามารถลดระดับลงได้ แต่ถ้าคุณต้องการประสิทธิภาพคุณจะต้องมีโครงสร้างเครือข่ายที่เชื่อถือได้ / มีความสามารถ

— Chris S

สวิทช์ที่เกี่ยวข้องกับโครงสร้างพื้นฐานของคำถามนี้ไม่มีการจัดการทั้งหมด เราเตอร์จะแตกต่างกันไปในแต่ละตำแหน่งและฉันไม่สามารถรับประกันได้ว่าพวกเขาจะสนับสนุนมัลติคาสต์ มีวิธีที่ฉันสามารถทำให้เราเตอร์ของฉันอยู่ด้านข้าง แต่ยังคงเกี่ยวข้องกับส่วนมัลติคาสต์ของมันได้หรือไม่ ฉันถามเพราะฉันไม่คิดว่าจะเป็นไปได้

— WMIF

การจัดการไม่ส่งผลโดยตรงต่อการสนับสนุนการสลับสำหรับมัลติคาสต์ สวิตช์อีเธอร์เน็ต 1GB ทั้งหมดจำเป็นต้องรองรับ Multicast (แม้ว่าจะเก่าและโดยเฉพาะอย่างยิ่งสวิตช์ที่มีราคาถูกก็ใช้เป็น Broadcast ซึ่งทำให้งานเสร็จ) สวิตช์ที่เก่ากว่าทำสิ่งนี้ไปแล้ว การขาดการสนับสนุนเราเตอร์คือสาเหตุที่คุณต้องตั้งค่าพร็อกซี (หนึ่งรายการสำหรับแต่ละส่วนเครือข่ายที่แยกได้แบบหลายผู้รับ) เห็นได้ชัดว่าการใช้เราเตอร์ที่รองรับมัลติคาสต์จะเป็นวิธีที่ง่ายที่สุด แต่การกำหนดค่าพร็อกซีไม่น่ากลัว (เว้นแต่จะมีจำนวนมาก)

— Chris S

5

คุณอาจต้องการพิจารณาคดีฆาตกรรม

Murder เป็นวิธีการใช้ Bittorrent เพื่อแจกจ่ายไฟล์ไปยังเซิร์ฟเวอร์จำนวนมากภายในสภาพแวดล้อมการใช้งานจริง สิ่งนี้จะช่วยให้สามารถปรับขนาดและปรับใช้อย่างรวดเร็วในสภาพแวดล้อมของเซิร์ฟเวอร์นับร้อยถึงหมื่นนับหมื่นที่ระบบการกระจายส่วนกลางไม่สามารถทำงานได้

.

การฆาตกรรมถูกพัฒนาโดยคนที่twitterและพวกมันใช้มันทุกวันเพื่อแจกจ่ายไฟล์

— Jens Timmerman
แหล่งที่มา

4

วิธีแก้ไขปัญหาใหม่อาจปรากฏขึ้น: BitTorrent Sync

แก้ไขภายหลัง: จริงวันนี้ฉันอาจจะแนะนำผู้ช่วย git-annexหรือsyncthingแต่มีหลาย ทางเลือก

— ptman
แหล่งที่มา

ไม่ใช่แค่อีกอัน แต่ดีมากในกรณีใช้ฉันคิดว่า!

— Argeman

ฉันเห็นด้วย. ฉันพบสิ่งนี้ใน / และฉันกำลังตั้งค่าสถานการณ์การทดสอบบางอย่างเพื่อดูว่ามันจะทำงานได้ดีอย่างที่มันฟัง

— WMIF

ฉันเพิ่งทำการทดสอบขนาดใหญ่ด้วย BT Sync และพบว่าใช้ 239.192.0.0 สำหรับการรับส่งข้อมูลแบบหลายผู้รับออกอากาศ ฉันไม่สามารถควบคุมโครงสร้างพื้นฐานเครือข่ายได้ดังนั้นฉันจึงไม่สามารถวิเคราะห์ได้อย่างเต็มที่ แต่สิ่งนี้ทำให้เกิดการจราจรทางอินเทอร์เน็ตขาออกที่เห็นได้ชัดเจน เมื่อรวมกับปัญหาการซิงค์ไฟล์ทั่วไปที่ไม่ตรงกันและทำให้เกิดปัญหามากพอที่ฉันต้องปิดระบบ โชคร้ายเพราะมันใช้งานได้ดีกับคอมพิวเตอร์ขนาดเล็กกว่า 50 เครื่อง

— WMIF

1

ฉันอาจมีความคิดสำหรับคุณที่จะช่วย ยกโทษให้ฉันเพราะฉันไม่เข้าใจว่าทำไมสิ่งนี้ถึงซับซ้อนมาก แต่ถ้าคุณต้องการทำให้มันง่ายสำหรับผู้ใช้และทำให้ข้อมูลรวดเร็วและง่ายต่อการเข้าถึงภายใน LAN บางทีคุณอาจไปด้วย อุปกรณ์ NAS ฉันมี Synology DS1812 + มันสามารถ RSYNC กับไดรฟ์ Synology อื่นหรืออุปกรณ์ที่มีความสามารถ RSYNC ต่าง ๆ มันมีแอพพลิเคชั่นที่สามารถใช้งานฝนตกหนักบิตที่เรียกว่า "สถานีดาวน์โหลด" ฉันรู้ว่าคุณสามารถดาวน์โหลดไฟล์ฝนตกหนักจากช่องใส่ไดรฟ์ โพสต์ไฟล์ torrent ด้วยแอปพลิเคชันนั้นเพื่ออนุญาตให้ผู้อื่นดาวน์โหลดไฟล์ที่ต้องการ มันมีแอพสำหรับอุปกรณ์มือถือทั้ง Apple และ Android นอกจากนี้ยังสามารถถ่ายโอน FTP ช่องใส่ไดรฟ์นี้ให้ความสามารถในการส่งไฟล์ไปยังมันอย่างรวดเร็วจากนั้นกระจายไปใน LAN อย่างรวดเร็วและง่ายดาย ฉันแนะนำให้วางข้อมูลไว้ใน LAN เพื่อให้เข้าถึงผู้ใช้ LAN ได้เร็วขึ้น แต่ความสวยงามของอุปกรณ์ NAS เหล่านี้คือคุณสามารถวางพวกเขาออนไลน์ทุกที่ตราบใดที่มีการเชื่อมต่ออินเทอร์เน็ตที่รวดเร็ว บางทีหนึ่งในอุปกรณ์ระดับสูงของ Synology NAS น่าจะเหมาะสมกับความต้องการของคุณ

Synology มีอินเทอร์เฟซเสมือนที่คุณสามารถดูได้เพื่อให้แนวคิดที่ดีกว่าแก่คุณหากนี่จะเป็นประโยชน์สำหรับคุณ ฉันจะวางลิงค์ด้านล่างไปยังอินเทอร์เฟซเสมือน

http://www.synology.com/products/dsm_livedemo.php?lang=us

อุปกรณ์นี้ยังช่วยให้ผู้ใช้สามารถเข้าถึงข้อมูลของพวกเขาผ่านทางเว็บอินเตอร์เฟสหรือแอปพลิเคชันอุปกรณ์มือถือ

ฉันหวังว่านี่จะช่วยได้และอย่างที่ฉันพูดให้อภัยฉันถ้าฉันไม่เข้าใจคำถามอย่างถูกต้อง

— แฟรงค์อาร์
แหล่งที่มา

1

ฉันไม่แน่ใจว่ามันดีกว่าสิ่งที่เขาทำอยู่ตอนนี้ WMIF ไม่ต้องการต้องรอให้ผู้ใช้เริ่มรับข้อมูลด้วยตนเอง ทีมงานของเขา / เธอคาดว่าจะเตรียมดาต้าไทล์ลงบนเครื่องก่อนที่มันจะพร้อมใช้งาน

— mfinni

@mfinni ถูกต้อง งานคือการทำให้แน่ใจว่าไฟล์ที่เราได้รับนั้นถูกโหลดเข้าสู่คอมพิวเตอร์ของพื้นที่ประชุมก่อนที่ผู้เข้าร่วมจะเดินเข้าไปในห้อง

— WMIF