คำแนะนำทั่วไปเกี่ยวกับโซลูชันเก็บถาวร ~ 15tb และเติบโต


9

ฉันต้องการระบบจัดเก็บและจัดเก็บที่ดีขึ้นสำหรับไฟล์ของธุรกิจขนาดเล็กของฉัน โดยเฉพาะไฟล์ที่เสร็จสิ้นโครงการวิดีโอ นอกเหนือจากข้อ จำกัด ด้านเวลาและค่าใช้จ่ายสิ่งที่รั้งฉันไว้คือฉันไม่เชื่อในโซลูชันใด ๆ ที่ฉันไตร่ตรอง ดังนั้นฉันจึงกำหนดปัญหาและความคิดของฉัน ฉันขอขอบคุณความคิดเห็นใด ๆ

งบประมาณ: ฉันเชื่อในการใช้จ่ายตามที่ควรจะเป็น ดังที่กล่าวมาเราเป็นธุรกิจขนาดเล็ก ฉันหวังว่าฉันจะสามารถใช้ประโยชน์จากสิ่งนี้ได้ <5k และมากกว่านั้นประมาณ 1-3k นั่นอาจเป็นความฝันที่ไพเราะ บอกฉันที

ปัญหา:

  • ไฟล์วิดีโอดิบมีขนาดใหญ่ในขนาดไฟล์ เราได้สะสมไปแล้ว 10 + tb และเติบโตเร็ว
  • การตัดต่อวิดีโอจำเป็นต้องมีการเข้าถึงไฟล์แบบอ่าน / เขียนอย่างรวดเร็วดังนั้นเซิร์ฟเวอร์ไฟล์กลางหรือคลาวด์จะไม่เร็วพอ ดังนั้นเราอาจต้องการโซลูชั่นที่ประสบความสำเร็จสำหรับโครงการเก่าและโครงการปัจจุบันจะต้องอยู่ในท้องถิ่น
  • เราต้องการวิธีแก้ปัญหาความซ้ำซ้อนและนอกสถานที่บางประเภท

สิ่งที่เราทำในปัจจุบัน:

  • เราใช้ฮาร์ดไดรฟ์ภายนอกคุณภาพสูงขนาดใหญ่
  • เรามักจะซื้อเป็นคู่และทำซ้ำเนื้อหาด้วยตนเอง ในคำอื่น ๆ เราทำงานอย่างใดอย่างหนึ่งและทำซ้ำไฟล์อื่น ๆ ซึ่งทำหน้าที่เป็นสำรอง / ถอยกลับ
  • HD เหล่านี้เร็วพอกับ firewire800 หรือ USB3 เพื่อใช้งานได้โดยตรง
  • เมื่อได้รับการเติมเต็มแล้วเราได้วางคู่กัน

เกิดอะไรขึ้นกับโซลูชันปัจจุบัน:

  • แม้ว่าข้อมูลจะซ้ำกันในสองไดรฟ์ไดรฟ์เหล่านี้จะไม่ "สำรองข้อมูล" หรือจัดเก็บนอกสถานที่
  • การจัดองค์กรข้าม HD ภายนอกเหล่านี้ยากมาก โครงการใดอยู่บนไดรฟ์อะไร เป็นต้น
  • ในที่สุดเราก็จะมีฮาร์ดไดรฟ์จำนวนมาก
  • การทำสำเนาไม่ใช่ RAID

ตัวเลือก:

เซิร์ฟเวอร์ภายใน

  • ซื้อเซิร์ฟเวอร์สำหรับติดตั้งแร็คและกล่องหุ้มอาร์เรย์ที่ติดตั้งฮาร์ดไดรฟ์แบบแร็คเช่น Norco, (SAS) (20 bays)
  • ไฟล์วิดีโอทั้งหมดจะถูกเก็บไว้ในเซิร์ฟเวอร์นี้ เราสามารถติดตั้งและชำระค่าบริการคลาวด์เพื่อสำรองข้อมูลคอมพิวเตอร์ / เซิร์ฟเวอร์เครื่องนี้ CrashPlan ทำงานบน Linux และไม่ จำกัด จำนวนข้อมูล ฮาร์ดไดรฟ์นั้นจะเป็นไดรฟ์ทางกายภาพที่เชื่อมต่อกับเซิร์ฟเวอร์ดังนั้นเราจึงได้รับกฎของ บริษัท "no NAS" อย่าง CrashPlan ไม่ใช่คอมพิวเตอร์ส่วนบุคคลดังนั้นการซิงค์จึงสามารถเรียกใช้ 24/7/365 ได้ สิ่งนี้จะช่วยแก้ปัญหานอกสถานที่
  • แทนที่จะใช้บริการสำรองข้อมูลออนไลน์เช่น CrashPlan เราสามารถเขียนสคริปต์เพื่อซิงค์ไฟล์เหล่านี้กับบัญชี Amazon Glacier
  • นโยบายที่วิดีโอแอบดูทำงานจากฮาร์ดไดรฟ์ภายนอกสำหรับโครงการปัจจุบัน แต่ต้องวางโครงการบนคอมพิวเตอร์เครื่องใหม่นี้เมื่อเสร็จสมบูรณ์ กล่าวอีกนัยหนึ่งให้ดำเนินการใช้ฮาร์ดไดรฟ์ภายนอกสำหรับโครงการปัจจุบันและจัดเก็บโครงการที่เก็บถาวรบนเซิร์ฟเวอร์นี้

บริการสำรองข้อมูลบนคลาวด์ (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • โดยทั่วไปแล้วให้คุณสำรองฮาร์ดไดรฟ์ภายนอกที่เชื่อมต่อกับคอมพิวเตอร์ (ไม่มี NAS หรือไดรฟ์เครือข่าย)
  • โดยปกติแล้วพวกเขาคาดว่าไดรฟ์ภายนอกที่สำรองไว้จะยังคงเชื่อมต่อกับคอมพิวเตอร์ของคุณและข้อมูลทั้งหมดจะยังคงอยู่ในไดรฟ์ หากคุณไม่ต่อฮาร์ดไดรฟ์ภายนอกเป็นเวลาหลายเดือนจะเกิดอะไรขึ้นกับข้อมูลสำรอง หากคุณล้างพื้นที่ด้วยการลบโครงการเก่าโครงการเหล่านั้นจะถูกลบออกจาก Online Service ด้วย
  • ผู้ใช้ของเราต้องการให้ฮาร์ดไดรฟ์ภายนอกเชื่อมต่อกับคอมพิวเตอร์จนกว่าข้อมูลทั้งหมดจะอยู่ในคลาวด์ อาจใช้เวลาหลายสัปดาห์สำหรับโครงการขนาดใหญ่
  • การกู้คืนโครงการจะช้ามากเนื่องจากความเร็วในการถ่ายโอนทางอินเทอร์เน็ต
  • บัญชีสำรองคลาวด์เหล่านี้มักจะมีเฉพาะกับผู้ใช้ / คอมพิวเตอร์หนึ่งเครื่อง ดังนั้นหากฮาร์ดไดรฟ์สำรองข้อมูลโดยผู้ใช้รายหนึ่ง จากนั้นผู้ใช้คนที่สองทำงานในโครงการนั่นหมายความว่าอย่างไร

NAS ขนาดใหญ่

  • NAS คือ "พื้นที่เก็บข้อมูลเครือข่าย" คุณติดฮาร์ดไดรฟ์ได้มากเท่าที่จะเป็น มันจะโจมตีพวกเขา คุณสามารถเข้าถึงสิ่งนี้ผ่านการเชื่อมต่อเครือข่ายหรืออาจ USB3 / Firewire
  • ส่วนใหญ่มีระบบปฏิบัติการอบเข้าไป ดังนั้นคุณจึงไม่สามารถเรียกใช้ซอฟต์แวร์อื่นเช่นบริการสำรองข้อมูลบนคลาวด์ หรือคุณสามารถปรับแต่งเองหรือรันซอฟต์แวร์ของคุณเอง คุณได้สิ่งที่คุณซื้อ
  • Big NASs ค่อนข้างแพงและไม่ใหญ่มาก คุณไม่พบคนจำนวนมากที่มีมากกว่า 4 อ่าว ปัจจุบัน HD ขนาดใหญ่คือ 3tb ดังนั้น 4bays อาจอยู่ที่ไหนสักแห่งรอบ ๆ ที่เก็บข้อมูล <12tb ไม่สะดวกสบายมากสำหรับอนาคต

ความคิดอื่น ๆ คือ:

  • การสำรองข้อมูลเทป
  • เพียงเก็บถาวรโครงการเก่าโดยตรงไปยัง Amazon Glacier ข้ามการสร้างเซิร์ฟเวอร์ภายในเพื่อจัดเก็บ

ขอบคุณสำหรับคำแนะนำใด ๆ !!! เจด


เมื่อโครงการเสร็จสิ้นคุณต้องกลับไปทำงานกับข้อมูลบ่อยครั้งเพียงใด
Michael Hampton

คุณเข้าใจ "บิ๊ก NAS" มีขนาดเล็กอย่างน่าทึ่ง มี บริษัท มากมายตั้งแต่ NetApp ถึง EMC ไปจนถึง IBM ถึง Isilon ไปจนถึง บริษัท อื่น ๆ อีกมากมายที่อยากนั่งกับคุณ
mfinni

เราจะต้องกลับไปที่ข้อมูลนี้หนึ่งครั้งหรือสองครั้งต่อเดือน หากมีความล่าช้าในการเข้าถึงข้อมูลนี้ (Amazon Glacier) ฉันคิดว่ามันจะเป็นที่ยอมรับถ้าเรากำลังพูดถึงชั่วโมงและไม่ใช่วัน
maestrojed

อย่าใช้ Glacier การเรียกคืนข้อมูลจะสูงและนักบัญชีของคุณจะออกมาเมื่อเขาได้รับการเรียกเก็บเงิน
HopelessN00b

@mfinni ฉันมั่นใจว่า EMC และ IBM จะมีความคิดที่ยอดเยี่ยมและฮาร์ดแวร์ที่ยอดเยี่ยม (ไม่รู้ NetApp) ไม่แน่ใจว่าเหมาะสมกับงบประมาณที่ฉันอธิบายหรือไม่เหมาะสมกับธุรกิจขนาดเล็ก ดูเหมือนว่าเน็ตแอพจะทำให้ฮาร์ดแวร์คล้ายกับสิ่งที่ฉันเรียกว่า "ฮาร์ดไดรฟ์อาเรย์" ที่ทำโดย Norco ฉันพูดถึงสิ่งนี้ในการสร้างแนวคิดเซิร์ฟเวอร์ของฉันเอง เป็นแนวทางที่คุณแนะนำหรือไม่
maestrojed

คำตอบ:


12

เทป. เรียบง่ายเช่นนั้น Quantum มีระบบ SuperStore ที่สามารถจัดการมากกว่านั้นและฉันได้เห็นพวกเขาในราคาที่ต่ำกว่า 5,000 จุด - ใหม่ สิ่งที่ดีคือคุณสามารถดึงเทปออกมาสำหรับการจัดเก็บเพื่อปรับขนาดนี้จะค่อนข้างมีประสิทธิภาพและเทปสุดท้าย


เนื่องจากคุณมีความสุขกับเวลาในการเรียกคืนตามลำดับชั่วโมงฉันจึงใช้ TomTom ในเรื่องนี้อย่างสมบูรณ์ เทปด้อยค่าลงมากและยอดเยี่ยมสำหรับสิ่งนี้
MadHatter

หากคุณใช้เทปควรตรวจสอบให้แน่ใจว่าคุณมีสิ่งที่ช่วยให้คุณทดสอบเทปได้บ่อยครั้ง จากประสบการณ์ของฉันประมาณ 75% ของการสำรองข้อมูลเทปไม่ทำงานเพราะคนใช้เทปเดียวกันหลายครั้งและรู้สึกประหลาดใจเมื่อพวกเขาไม่สามารถดึงข้อมูลออกจากพวกเขา 3 ปีต่อมา
แมทธิว

2
น่าประหลาดใจพอสมควรเพราะการเก็บไว้อย่างถูกต้อง (ไอ) มีการรับประกันความยาว aarchival (ฉันคิดว่า 30 ปี) และคุณสามารถทำสำเนา 2 ชุดได้อย่างง่ายดาย ชั่งได้ดีจริงๆ มันเป็นมากกว่า - ขอโทษ - ความโง่เง่าของ ppl ที่อาจไม่เคยทดสอบการกู้คืนแม้แต่ครั้งเดียว .... แม้ว่าฉันจะทำท่าในตาราง (1 สัปดาห์, 1 เดือน, 1 ปี)
TomTom

1
+1 - นี่เป็นกรณีหนังสือสำหรับเทปความจุสูง ค่าใช้จ่ายที่เพิ่มขึ้นของการเพิ่มที่เก็บข้อมูลลงในไฟล์เก็บถาวรแบบใช้เทป (แม้ว่าจะมีการตัดเทปสองเทปเพื่อจัดเก็บในและนอกสถานที่) ต่ำกว่าฮาร์ดดิสก์ไดรฟ์และเทปนั้นมีความหมายสำหรับการเก็บถาวร LTO ได้รับการสนับสนุนโดยสมาคมอุตสาหกรรมที่แสดงความมุ่งมั่นในการสร้างผลิตภัณฑ์ที่อนุญาตให้เข้าถึงสื่อที่มีอายุมากกว่า อย่างไรก็ตามในเวลาไม่กี่ปีที่คุณเปลี่ยนองค์ประกอบเทปคุณควรย้ายข้อมูลเก่าไปเป็นรูปแบบเทปใหม่หากเพียงเพื่อต่อสู้กับบิตเน่าที่อาจเกิดขึ้น หากคุณต้องการให้สิ่งนี้เป็น "OPEX" ให้พิจารณาตัวเลือกการเช่า
Evan Anderson

1
เทปเป็นสิ่งที่ดี แต่ต้องมีระเบียบวินัย - การทดสอบเป็นประจำการหมุนนอกสถานที่ ฯลฯ ฉันจะไปกับ NAS ใกล้ ๆ (อาจเป็น nas4free) และ rsync ที่ จำกัด อัตราไปยังกล่องที่เหมือนกันนอกสถานที่
quadruplebucky

4

ก่อนอื่นฉันจะแนะนำให้หลีกเลี่ยงกลาเซียร์ มันฟังดูดีจนกระทั่งคุณกระทืบค่าใช้จ่ายในการกู้คืนข้อมูลจำนวนมากจริง ๆ นี้เป็นเครื่องคิดเลขไม่เป็นทางการที่คุณสามารถใช้ในการคำนวณการจัดเก็บธารน้ำแข็งและค่าใช้จ่ายการดึงและผู้พิพากษาสำหรับตัวคุณเอง การกู้คืนข้อมูลเทราไบต์จากกลาเซียร์เป็นวิธีที่ไม่น่าดึงดูด

ประการที่สองฉันอยากจะแนะนำว่าเพื่อการสำรองข้อมูลอย่างง่ายคุณสามารถหนีไปกับเซิร์ฟเวอร์ NAS เดียวที่มีไดรฟ์จำนวนมาก ฟังดูเหมือนว่าคุณจะมองแค่ตัวเลือก NAS ที่บ้านและออฟฟิศขนาดเล็กและคุณควรพิจารณาข้อเสนอ NAS ที่เหมาะสม ต้องการ Dell ฉันจะชี้เซิร์ฟเวอร์ PowerVault NASของ Dell แต่ HP, IBM, SuperMicro และคนอื่น ๆ มีข้อเสนอที่คล้ายกัน ฉันมี Dell PowerVault NX รุ่นเก่าที่บ้านซึ่งทำหน้าที่เป็นห้องสมุดสื่อของฉันและมีดิสก์ SAS ใกล้ถึงสิบสอง TB อยู่ในนั้น วันนี้ไดรฟ์ SAS ใกล้ 4 TB ก็มีให้เช่นกันดังนั้นคุณสามารถเติมเซิร์ฟเวอร์ NAS ที่เหมาะสมกับสิ่งเหล่านั้นได้เสมอ (หรือซื้อเซิร์ฟเวอร์ NAS สองเครื่อง)

คุณสามารถใช้หนึ่งในสิ่งเหล่านี้ได้บน LAN ในพื้นที่ของคุณติดตั้งซอฟต์แวร์สำรองข้อมูลที่คุณเลือก ( เช่น Bacula ถ้าคุณชอบฟรีหรือข้อเสนอเชิงพาณิชย์หนึ่งโหลหากคุณต้องการการสนับสนุนจากผู้จำหน่าย) และใช้โวลุ่ม RAID ขนาดใหญ่เป็นของคุณ เป้าหมายการสำรองข้อมูล จากนั้นคุณสามารถใช้บริการสำรองข้อมูลบนคลาวด์เพื่อสำรองข้อมูลเซิร์ฟเวอร์ NAS นี้และมีประโยชน์ของการสำรองข้อมูลในพื้นที่และระยะไกล นี่คือสิ่งที่ฉันทำที่บ้าน เซิร์ฟเวอร์ NAS ที่เหมาะสมจำนวนเทราไบต์ของข้อมูลสำรองไปยังบริการคลาวด์

และแน่นอนคุณสามารถใช้เทปได้เช่นกัน ... ซื้อเทปไดรฟ์หรือห้องสมุด LTO - โดยส่วนตัวฉันจะต้องใช้ความพยายามอย่างมากในการหลีกเลี่ยงเทปหรือสื่อออปติคัลดิสก์ แต่เป็นตัวเลือกที่ถูกต้องและอาจถูกกว่าดิสก์ วิธีการแก้ปัญหาดิสก์

ในที่สุดฉันขอแนะนำให้คุณต้องพิจารณาข้อเสียเปรียบหลักของบริการสำรองข้อมูลบนคลาวด์ซึ่งเป็นขนาดของไพพ์อินเทอร์เน็ตของคุณ อาจใช้เวลาเป็นสัปดาห์หรือเป็นเดือนในการอัปโหลดข้อมูลเทราไบต์ผ่านการเชื่อมต่ออินเทอร์เน็ตของคุณและ / หรือต้องเสียค่าธรรมเนียมเพิ่มเติมจาก ISP ของคุณ ดังนั้นในขณะที่พวกเขาเป็นตัวเลือกที่ทำงานได้สำหรับการสำรองข้อมูลแม้แต่ข้อมูลขององค์กรนั่นเป็นข้อ จำกัด ที่คนส่วนใหญ่จะไม่พิจารณาจนกว่าพวกเขาจะตีมันแล้ว


+1 Glacier เป็นที่เก็บถาวร - เป็นเรื่องจริงจัง S ++++ สำหรับการสำรองข้อมูล การสำรองข้อมูลหมายถึงไม่มีการคืนค่าสำหรับทุกเพศทุกวัยจากนั้น LOT - และโควต้า 5% หมายถึงการชำระเงินในกรณีที่มีการกู้คืน
TomTom

1

ฉันคิดว่ามันขึ้นอยู่กับงบประมาณของคุณ หากคุณสามารถใช้จ่ายเพียง $ 6k เท่านั้นคุณจะต้องสร้าง NAS ของคุณเอง ฉันจะดู nas4free และเซิร์ฟเวอร์มีค่าใช้จ่ายเท่าไหร่ หากคุณสามารถใช้จ่าย $ 20k คุณอาจเติมเซิร์ฟเวอร์ด้วยดิสก์และการ์ด RAID หรือซอฟต์แวร์ RAID ที่เหมาะสมภายใต้ Linux หรืออะไรก็ตาม

ประมาณ $ 40k คุณสามารถมี 1U ระดับสูง (IBM x3550 M4, 2 พอร์ต Emulex 10GBit Nic, 4 Gbit NIC, RAM 128GB, ดิสก์ SAS 10k ท้องถิ่น 2 ตัว) พร้อม 10Gbit iSCSI ไปยังกล่อง Infortrend SAN ที่มี 24 4TB SAS ดิสก์ ฝานและลูกเต๋าตามที่คุณต้องการ RAID6 เป็นการกำหนดค่าที่สมเหตุสมผล

เทปก็เป็นความคิดที่ดีเช่นกัน แต่ฉันไม่รู้ว่ามันราคาถูกจริงๆ ขึ้นอยู่กับว่าคุณจะได้ห้องสมุดขนาดใหญ่ขนาดไหน ถ้าไลบรารีเทป 48 ดีคุณสามารถทำเช่นนั้นอีกครั้งด้วยการ์ด 1U และ SAS ภายนอกสำหรับไดรฟ์ $ 30k และ 2 LTO6 บางที ... แต่คุณต้องมีลิขสิทธิ์ซอฟต์แวร์เพื่อจัดการเทปสำรองหรือบางสิ่งบางอย่าง ฉันใช้ NetBackup เท่านั้นซึ่งอาจไม่เหมาะกับคุณที่นี่ อย่าลืมว่าคุณอาจต้องการขับไลบรารี่ไลบรารีในซอฟต์แวร์ แต่เมื่อคุณออกจากห้องสมุดอย่าลืมที่จะหาเทปและโหลดมันรวมทั้งพื้นที่การจัดเตรียมสำหรับการเข้าถึง ...

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.