วิธีการสร้างเครือข่ายท้องถิ่นที่รวดเร็ว

35

ฉันทำงานในการผลิตภาพยนตร์และต้องการการเข้าถึงไฟล์วิดีโอขนาดใหญ่มากอย่างรวดเร็ว ปัจจุบันฉันใช้ eSATA 6Gbps บริเวณท่าเรือสำหรับฮาร์ดไดรฟ์ภายในซึ่งเร็วที่สุดเท่าที่ไดรฟ์จะไป

ถ้าฉันจะใช้เซิร์ฟเวอร์และเชื่อมต่อกับเวิร์กสเตชันของฉันผ่านเครือข่ายเทคโนโลยี (ค่อนข้างแพง) จะอนุญาตให้ฉันไปที่ใดก็ได้ใกล้หรือเร็วกว่าไดรฟ์หรือไม่

networking lan

— เบน
แหล่งที่มา

12

อีเธอร์เน็ต 10Gbps นั้นเข้ากันได้ดีกับ "ราคาไม่แพงถ้าคุณมีงบประมาณ" อย่างไรก็ตาม 8 หรือ 16Gbps SAN (เครือข่ายพื้นที่จัดเก็บ - aka Fibrechannel) อาจจะเหมาะกว่าสำหรับการใช้งานเฉพาะหรือไม่

— Ecnerwal

3

มันออกแบบมาโดยเฉพาะ / เหมาะสำหรับเครือข่ายการจัดเก็บ

— Ecnerwal

3

แค่ต้องการตรวจสอบ - คุณใช้ SSD หรือไม่ ถ้าไม่นั่นเป็นการอัพเกรดที่สำคัญ

— trpt4him

1

ฉันเห็นว่าไม่มีมูลค่าเพิ่มของ SAN เมื่อเทียบกับ NAS ที่ง่ายและราคาถูกกว่าที่นี่

— jiggunjer

3

เพื่อตอบคำถามนี้อย่างถูกต้องจำเป็นต้องใช้ข้อมูลเพิ่มเติม: จำนวนข้อมูลที่ต้องจัดเก็บจำนวนผู้ใช้ที่ใช้งานพร้อมกันที่เข้าถึงข้อมูลจาก (เครื่องชนิดใด)? เครือข่าย 100Gbs จะไม่ช่วยถ้าเข้าถึงได้จากเครื่อง 2 หรือ 3 เครื่องที่มีอะแดปเตอร์เครือข่าย 1Gbs

— JFL

31

เมื่อต้นปี 2560 ตัดสินจากข้อมูลที่พร้อมใช้ทางออนไลน์ดูเหมือนว่า SATA HDD ที่เร็วที่สุดจะทำงานได้เร็วสุดที่ประมาณ 220 เมกะไบต์ / วินาทีซึ่งเป็น 1.760 กิกะบิต / วินาที

ดังนั้นหากคุณเพียงแค่พยายามเอาชนะความเร็วของไดรฟ์เดียวและคุณ จำกัด HDDs สำหรับการพิจารณาราคาต่อเทราไบต์สำหรับไฟล์วิดีโอขนาดใหญ่ดังนั้น 10 Gigabit Ethernet จึงมีมากมาย

โปรดทราบว่า Thunderbolt Networking นั้นมีขนาด 10 กิกะบิต / วินาทีดังนั้นหากคุณมีพอร์ต Thunderbolt อยู่แล้วคุณสามารถทดลองใช้งานได้ มันอาจเอาชนะพอร์ต Gigabit eSATA 3 6 พอร์ตของคุณได้แม้ว่าฉันจะไม่แน่ใจเพราะ eSATA นั้นใช้เฉพาะพื้นที่เก็บข้อมูลมาก โปรดทราบด้วยว่า Thunderbolt เป็นเดสก์ท็อปบัส เพียงไม่กี่เมตรไม่ใช่ 100m ที่ 10 Gigabit Ethernet สามารถจัดการได้ ดังนั้นในขณะที่สายฟ้าอาจน่าสนใจสำหรับการทดลองและการสร้างต้นแบบในขณะที่คุณชั่งน้ำหนักตัวเลือกของคุณ แต่อาจไม่ใช่วิธีแก้ปัญหาระยะยาวที่เหมาะสมสำหรับคุณเว้นแต่คุณจะต้องการให้เวิร์กสเตชันและดิสก์เชื่อมต่อกันแบบย้อนกลับไปมารอบโต๊ะขนาดใหญ่

นั่นก็เพื่อ HDD เดียว แต่ถ้าคุณ RAID ไดรฟ์เหล่านั้นเข้าด้วยกันเพื่อให้การอ่านหรือการเขียนทุกครั้งถูกกระจายไปทั่วหลาย ๆ ไดรฟ์คุณจะได้รับประสิทธิภาพที่ดีขึ้นกว่าประสิทธิภาพของไดรฟ์เดียว นอกจากนี้ขึ้นอยู่กับงบประมาณของคุณคุณสามารถใส่ PCIe / M.2 NVME SSD ลงในพีซีเพื่อทำหน้าที่เป็นเซิร์ฟเวอร์ / NAS และคุณสามารถเพิ่มประสิทธิภาพการจัดเก็บได้อย่างรวดเร็ว (ประมาณ 3.4 GigaByte / วินาที == 27 กิกะบิต / วินาที) ต่อ ขับรถ

ในกรณีนี้คุณอาจต้องการดูบางสิ่งที่เร็วกว่า 10 กิกะบิตอีเธอร์เน็ต แต่มองไปรอบ ๆ ออนไลน์ดูเหมือนว่าราคาจะพุ่งขึ้นอย่างรวดเร็วเกินกว่า 10 กิกะบิตอีเธอร์เน็ต ดังนั้นคุณอาจต้องการดูการรวมลิงค์ในหลาย ๆ 10Gigabit links ฉันเคยเห็นเกร็ดเล็กเกร็ดน้อยออนไลน์ที่ใช้อุปกรณ์เครือข่ายเช่นสิ่งที่ใช้ 40Gbps InfiniBand สามารถซื้อได้บนอีเบย์เพราะมีสิ่งสกปรกราคาถูกถ้าคุณไม่คำนึงถึงความยุ่งยากที่มากับการซื้ออุปกรณ์มือสองบนอีเบย์

— Spiff
แหล่งที่มา

1

แล้วพันธะ 10Gbit + หลายพันธะล่ะ

— André Borie

2

พันธะอนุญาตให้มีการแยกกระแสใช้การเชื่อมโยงทางกายภาพที่แตกต่างกัน แต่การไหลเดียวจะใช้เพียงหนึ่ง NIC ดังนั้นสิ่งนี้จะเป็นประโยชน์เมื่อมีการให้บริการไฟล์หลายไฟล์แก่บุคคลอื่นในเวลาเดียวกัน แต่จะไม่เพิ่มแบนด์วิดท์สำหรับการเข้าถึงไฟล์เดียว

— JFL

4

@JohnU ไม่อีเธอร์เน็ตมีประสิทธิภาพ 94% พร้อมเฟรมมาตรฐานขนาด 1500 ไบต์และยิ่งกว่าด้วยเฟรมขนาดใหญ่ ฉันเห็นปริมาณงานที่ 930+ Mbps เป็นประจำโดยไม่ต้องลอง Gigabit Ethernet ไม่อนุญาตให้ฮับมีเพียงสวิตช์เท่านั้นดังนั้นจึงเป็นแบบ full duplex เสมอและไม่มีการชนกัน

— Spiff

1

@JFL การเชื่อมต่ออีเทอร์เน็ต (การรวมลิงก์ IEEE 802.3ad) กระจายโหลดแพ็คเก็ตต่อแพ็คเก็ตไม่ใช่ต่อการไหล เนื่องจากโดยทั่วไปแล้วเทคโนโลยีเครือข่ายได้รับการออกแบบในชั้นที่ไม่ต่อเนื่องอีเธอร์เน็ต (เลเยอร์ 2, ดาต้าลิงค์เลเยอร์) จึงไม่มีความคิดเกี่ยวกับโปรโตคอลด้านบนเช่น IP หรือ TCP ดังนั้นจึงไม่มีความคิดในเรื่องการไหล

— Spiff

2

การรวม @JFL Linux สามารถใช้ข้อมูล layer3 + (Linux สามารถทำสิ่งผิดปกติได้หลายอย่าง) โปรดจำไว้ว่าคุณต้องการทั้งสองฝ่ายเพื่อสนับสนุนวิธีการเชื่อมแบบเดียวกันเพื่อให้มีประโยชน์ หากคุณกำลังเชื่อมต่อกับสวิตช์คุณสามารถใช้งานสวิตช์ที่รองรับได้จริง

— Zoredache

5

ถ้าคุณยึดติดกับดิสก์ SATA การใช้อีเธอร์เน็ต 10Gb และสร้าง RAID10 ที่มีขนาดพอสมควรบนเซิร์ฟเวอร์จะทำให้คุณมีประสิทธิภาพที่เพิ่มขึ้นอย่างเห็นได้ชัดมากกว่าดิสก์ SATA เพียงแผ่นเดียว นี่จะเป็นการลงทุนที่คุ้มค่าเพราะคุณสามารถแบ่งปันเซิร์ฟเวอร์ในเวิร์กสเตชันได้มากเท่าที่คุณต้องการและเพิ่มในอนาคตโดยการเพิ่มสวิตช์ คุณจะต้องเรียกใช้สายเคเบิลอีเธอร์เน็ต Cat-6 เนื่องจาก Cat-5E จะไม่ตัด - อย่าลืมเพิ่มค่าใช้จ่ายในการคำนวณของคุณ คุณสามารถเพิ่ม SSD เป็นแคชเพื่อเพิ่มความเร็วของระบบให้ดียิ่งขึ้น เนื่องจากคุณทำงานกับวิดีโอฟุตเตจฉันคิดว่าคุณต้องการพื้นที่เก็บข้อมูลจำนวนมหาศาลซึ่งจะมีราคาแพงมากในการสร้างด้วย SSD ล้วนๆ

คุณสามารถซื้อเซิร์ฟเวอร์ rackmount ที่ทำไว้ล่วงหน้าจาก Dell หรือ HP และใช้การ์ด RAID ของฮาร์ดแวร์หรือถ้าคุณเป็นคนที่มีฮาร์ดแวร์มากกว่านี้คุณสามารถซื้อแชสซีที่ราคาถูกกว่าจาก Supermicro และสร้างเครื่องเก็บข้อมูลด้วยตนเองโดยใช้ซอฟต์แวร์ RAID ใน ทั้ง Windows หรือ Linux ฮาร์ดแวร์ RAID มักจะเร็วกว่าเมื่อเกี่ยวข้องกับ RAID1 เนื่องจากซอฟต์แวร์จะต้องเขียนลงดิสก์แต่ละแผ่นแล้วรอให้การเขียนเสร็จก่อนที่จะย้ายไปสู่การทำงานถัดไป โดยทั่วไปแล้วการ์ด RAID สามารถเขียนลงดิสก์ทั้งสองแบบขนานและแคชการดำเนินการเขียนส่งคืนการควบคุมระบบปฏิบัติการทันที อย่างไรก็ตามโปรดทราบว่าถึงแม้ว่า RAID0 จะเร็วกว่าคุณไม่มีความซ้ำซ้อนและความล้มเหลวของไดรฟ์เดียวจะทำให้ข้อมูลสูญหายโดยสมบูรณ์ อย่าใช้ RAID0 เมื่อคุณมีข้อมูลที่คุณต้องการเก็บไว้

ในระดับสูงคุณมี Storage Area Networks (SANs) แต่สิ่งเหล่านี้ได้รับการออกแบบมาเพื่อให้การดำเนินการหลายอย่างจากลูกค้าแยกกันจำนวนมากขนานกัน ประโยชน์ของการทำเช่นนี้คือปริมาณงานที่สูงมากสำหรับเครื่องที่เชื่อมต่อกันจำนวนน้อย แต่มีค่าใช้จ่ายสูงเกินความต้องการของคุณและมีราคาแพงมาก ที่ต่ำสุดคุณมีอุปกรณ์ Network Attached Storage (NAS) ที่คนอื่นพูดถึง แต่ถึงแม้ว่าจะง่ายกว่าเซิร์ฟเวอร์เต็ม แต่ฉันไม่แนะนำพวกเขาเนื่องจาก NAS มักจะเป็นกล่องดำ พวกเขาได้รับการออกแบบให้เป็นแบบพลักแอนด์เพลย์สำหรับผู้ใช้ส่วนใหญ่และด้วยเหตุนี้คุณจึงสามารถควบคุมระบบปฏิบัติการได้เพียงเล็กน้อย - ฉันต้องส่ง NAS ขนาดเล็กกลับมาที่ฉันซื้อให้กับสำนักงานของลูกค้าเพราะมันไม่เสถียรหลังจากใช้งานมาทั้งวัน

ข้อดีอีกประการของการสร้างเซิร์ฟเวอร์ก็คือคุณกำลังมุ่งเน้นวิดีโอทั้งหมดของคุณไว้ในที่เดียวซึ่งทำให้สามารถใช้งานได้จริงและสำรองข้อมูลได้อย่างสม่ำเสมอ อย่าละเลยกลยุทธ์การสำรองข้อมูลของคุณ วันหนึ่งคุณต้องพึ่งมัน!

— Gargravarr
แหล่งที่มา

3

"ซอฟต์แวร์ต้องเขียนลงดิสก์แต่ละแผ่นแล้วรอให้การเขียนเสร็จสมบูรณ์ก่อนที่จะย้ายไปยังการทำงานถัดไป" ที่ไม่เป็นความจริงมานานหลายทศวรรษ แม้ในขณะนี้ดิสก์ที่ไม่ใช่เซิร์ฟเวอร์ยังรองรับการรอคิวคำสั่ง และการพูดอย่างเคร่งครัดด้วยซอฟต์แวร์ DMA ก็ไม่จำเป็นต้องรอเช่นกัน ได้รับการสนับสนุนในเดสก์ท็อปตั้งแต่ปี 1998 หรือมากกว่านั้น

— MSalters

อาจเป็นเรื่องที่น่าสังเกตว่าในขณะที่ประโยคแรกของคุณเป็นจริงสำหรับผู้ใช้คนเดียว 10Gb ที่ใช้แบนด์วิธร่วมกันหมายความว่าเมื่อผู้ใช้หลายคนพยายามเข้าถึงการใช้งานร่วมกัน

— Dan Neely

2

NAS ไม่ใช่อุปกรณ์พิเศษตามคำนิยามคุณสามารถมี Linux PC ธรรมดาที่มี samba หรือ NFS แล้วเรียกมันว่า NAS ความแตกต่างที่สำคัญคือการแชร์ในระดับไฟล์เทียบกับการแชร์ในระดับบล็อก อุปกรณ์บล็อกสามารถใช้งานได้ครั้งละหนึ่งลูกข่ายเท่านั้น นอกจากนี้ SAN ยังมีราคาแพงกว่าและใช้ความรู้ในการกำหนดค่านานขึ้น

— jiggunjer

@jiggunjer จริงมาก แต่คนส่วนใหญ่ที่สร้างพีซีด้วย Samba จะเรียกมันว่าไฟล์เซิร์ฟเวอร์ไม่ใช่ NAS ฉันแค่เล่นตามหลักวิชาการเพื่อหมายถึงอุปกรณ์พิเศษ ยังเป็นเรื่องจริงมากเกี่ยวกับ SAN ซึ่งเป็นสาเหตุที่ฉันจัดว่าพวกเขาเป็น overkill

— Gargravarr

@DanNeely ใช่เนื่องจากมีการเพิ่มไคลเอนต์ด้วยการเข้าถึงพร้อมกันความเร็วในแต่ละเวิร์กสเตชันจะลดลง แต่อัตราการส่งข้อมูลทั้งหมดจากเซิร์ฟเวอร์ควรจะอยู่ในระดับสูงมาก การเพิ่มด้วยแคช SSD สามารถชดเชยสิ่งเหล่านี้ได้เกือบทั้งหมด

— Gargravarr

3

ไม่มีอะไรจะดีไปกว่าความยืดหยุ่นและความง่ายในการตั้งค่าของ 10gbe แต่ SAS นั้นสามารถสร้างเครือข่ายได้ด้วยตัวเอง:

สำหรับเวิร์กสเตชันจำนวนน้อย (n <8) โดยที่ปริมาณไม่จำเป็นต้องสามารถเขียนได้จากคอมพิวเตอร์หลายเครื่องพร้อมกัน SAS ทำงานได้ดี ด้วยTyan JBOD ($ 1,500) และLSI HBA ($ 400) เราได้รับการถ่ายโอนอย่างยั่งยืน 3,400 MB / s (27 Gbps) ไปยัง SSD JBOD มีสวิตช์ภายในที่มี 3 อัปลิงค์ไปยัง HBA แต่สวิตช์ SAS มีให้สำหรับการนับพอร์ตที่สูงขึ้น

นี่คือการทดสอบความเร็วของหนึ่งในปริมาณของเรา:

ภายในเราใช้โซลูชันนี้กับClustered Windows Server ที่รัน Storage Spacesที่แจกจ่ายให้กับลูกค้าที่มี 10gbe

— มิทช์
แหล่งที่มา

2

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

ก่อนอื่น M.2 SSD ที่ให้มาเธอร์บอร์ดที่ถูกต้องสามารถเข้าถึง 2gb-4gb / s และอาจสูงกว่า RAID สองสามตัวด้วยกันและความเร็วของคุณก็สูงขึ้น

Teaming ที่มีขนาด 10GB หลาย NIC จะทำให้คุณใกล้เคียงกับความเร็วในการเล่น

อะไรก็ตามที่มากกว่า 10g จะได้รับเงินมากขึ้น

40 กิกะบิต NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&Gclid=Cj0KEQiA9P7F7A7P8FGA7P8FGA7PROF_KARTH_KARG_KARTH_KARG_KARG_KARK_GARN_KARI_TARGUT_THBGIU2JZJJJA_PARK_XXXXXXXXXXXXXXTHFTH @ 7FGI

— cybernard
แหล่งที่มา

การที่ความเร็วสูงกว่า 10gb นั้นมีแนวโน้มที่จะเพิ่มความเร็วบัสท้องถิ่นให้เป็นปัจจัย จำกัด :) สล็อต PCI-Express 2.0 x16 มีเหตุผล 64GBit / s - แต่เหนือศีรษะทุกด้าน (บัสไปยังหน่วยความจำซอฟต์แวร์ไดรเวอร์ไปยังหน่วยความจำโหลด cpu ... ) จะแทะที่ค่อนข้างใกล้เคียงกับที่คุณสามารถดีใจถ้า 10GBe ของคุณทำงานที่ความเร็วสาย ...

— rackandboneman

2

@rackandboneman: นั่นเป็นเหตุผลที่คุณมี NIC สมาร์ท 10Gb / s Ethernet คือความเร็วที่แท้จริง ส่วนหัว Ethernet, IP และ TCP สามารถจัดการได้โดย NIC โดยปล่อยให้ CPU จัดการกับข้อมูลจริงเท่านั้น

— MSalters

หากกลไกการขนถ่ายเหล่านี้ทำงานร่วมกับสถานการณ์แอปพลิเคชันของคุณ - และในขณะที่ลดการใช้งาน CPU พวกเขาจะไม่ลดปริมาณข้อมูลที่สำคัญหากการรับส่งข้อมูลจำนวนมากเป็นขยะในสถานที่แรก ...

— rackandboneman

@rackandboneman PCIe 3.0 x16 มีอยู่แล้วดังนั้นความเร็วจึงเป็นสองเท่า

— cybernard

10GbE ได้ไกลราคาถูกกว่าที่: Mellanox NIC ราคา $ 180และ 25gbe มาใกล้เคียงMellanox 25gbe ราคา $ สิ่งที่คุณฆ่าคือค่าใช้จ่ายพอร์ตบนสวิตช์ แต่ eBay หรือตาข่ายแบบเต็มทำให้ปัญหานั้นหายไป

— มิทช์

0

ใช้การ์ดไฟเบอร์อีเธอร์เน็ตพร้อมสวิตช์ไฟเบอร์มัลติโหมดหรือโหมดเดี่ยวพร้อมแผ่นรอง หากคุณมีงบประมาณที่คุณสามารถทำได้ทั้งหมด 10gbps หากคุณใช้การรวมลิงก์กับการ์ดไฟเบอร์พอร์ตคู่คุณจะได้รับ 20gbps เนื่องจากคำว่า "ค่อนข้างแพง" มีการเปลี่ยนแปลงทั้งนี้ขึ้นอยู่กับงบประมาณของคุณตัวเลขที่แท้จริงของสิ่งที่คุณยินดีจ่ายจะเป็นประโยชน์

— แดดจัด
แหล่งที่มา

0

วิธีที่ถูกที่สุดคือใช้การรวมลิงก์ (IE รัน N เคเบิลโดยทั่วไปคือ 2) แทนที่จะเป็นหนึ่ง

วิธีนี้ลิงก์ 1Gb ราคาถูกสกปรกจะกลายเป็นลิงก์ 2Gb

เห็นได้ชัดว่าหมายความว่าคุณต้องการอย่างน้อย 4 พอร์ตสำหรับเซิร์ฟเวอร์ไคลเอนต์เดียว

— Antzi
แหล่งที่มา

และไคลเอนต์ต้องการ 2 พอร์ต ... สวิตช์แบบธรรมดาทำงานกับสิ่งนี้หรือไม่? หรือมันควรจะเป็นลิงค์โดยตรง?

— jiggunjer

@jiggunjer สวิทช์ที่เรียบง่ายที่สามารถใช้สำหรับว่า แต่คุณจำเป็นต้องมีการกำหนดค่าพิเศษในคอมพิวเตอร์ทุกเครื่อง / เซิร์ฟเวอร์ที่ใช้รูปแบบนี้

— Antzi

การรวมนี้เหมือนกับพันธะที่กล่าวถึงในความคิดเห็นของคำตอบโดย @Spiff หรือไม่ ซึ่งในกรณีแบนด์วิดธ์จะไม่เพิ่มขึ้นสำหรับการเข้าถึงไฟล์เดียว ...

— jiggunjer

@ jiggunjer สิ่งนี้เกิดขึ้นกับวิธีการตั้งค่าของคุณดังนั้นฉันจึงไม่สามารถตอบได้จริงๆ

— Antzi

1

@ FlorianCastellane ล่าสุดราคาถูกหนึ่งที่ฉันซื้อไม่ได้ ขึ้นอยู่กับรายละเอียด

— Antzi