วิธีการสำรองข้อมูล 20 + TB?

เรามีเซิร์ฟเวอร์ NAS ที่ บริษัท ที่ฉันทำงานเพื่อใช้ในการจัดเก็บการถ่ายภาพ แต่ละเซสชันมีขนาดประมาณ 100GB ในช่วงสองสามปีที่ผ่านมาเซิร์ฟเวอร์นี้ได้รวบรวมข้อมูลมากกว่า 10 TB และเรากำลังเพิ่มจำนวนการถ่ายภาพแบบเอ็กซ์โพเนนเชียล ฉันคาดว่าภายในสิ้นปีหน้าเราจะมีพื้นที่เก็บข้อมูล 20+ TB บน NAS นี้ ขณะนี้เรากำลังสำรองข้อมูลเซิร์ฟเวอร์นี้ด้วยเทปโดยใช้เทป LTO-5 ด้วย Symantec BackupExec เนื่องจากขนาดของเซิร์ฟเวอร์นี้โตขึ้นการสำรองข้อมูลทั้งหมดของเซิร์ฟเวอร์นี้จึงไม่เสร็จสิ้นในชั่วข้ามคืน ใครบ้างมีข้อเสนอแนะเกี่ยวกับวิธีการสำรองข้อมูลจำนวนนี้หรือไม่ เราควรสำรองข้อมูลไว้ในเทปหรือไม่? มีตัวเลือกอื่น ๆ ซึ่งอาจจะดีกว่าหรือไม่

คุณต้องถอยหลังไปหนึ่งก้าวแล้วหยุดคิดว่า "ฉันมี NAS ขนาด 20TB ฉันต้องสำรองข้อมูล!" และพัฒนากลยุทธ์การจัดเก็บข้อมูลที่คำนึงถึงลักษณะของข้อมูลของคุณ:

• มันมาจากไหนและคุณได้รับข้อมูลใหม่มากแค่ไหน? (คุณได้รับสิ่งนี้ในคำถามของคุณ)
• ข้อมูลจะถูกใช้อย่างไรเมื่อคุณมี? คนกำลังแก้ไขรูปภาพหรือไม่ คุณเก็บต้นฉบับและสร้างเวอร์ชันที่แก้ไขหรือไม่
• คุณต้องเก็บข้อมูลทั้งหมดไว้นานเท่าใด คนยังคงเปลี่ยนแปลงรูปภาพเมื่อ 2 ปีก่อนหรือไม่?

ขึ้นอยู่กับคำตอบของคำถามสองข้อสุดท้ายคุณอาจต้องการระบบเก็บถาวรมากกว่าระบบสำรองข้อมูลที่แตกต่างกันอย่างสิ้นเชิง

ข้อมูลที่เป็นข้อมูลคงที่ (เช่นรูปภาพอายุ 2 ปีที่คุณเก็บไว้ "ในกรณี") ไม่จำเป็นต้องทำการสำรองข้อมูลทุกคืนหรือแม้แต่ทุกสัปดาห์ก็ต้องมีการเก็บถาวร สิ่งที่คุณทำจริงอาจมีความซับซ้อนมากขึ้น แต่ในทางแนวคิดแล้วภาพเก่าทั้งหมดสามารถถูกเขียนลงในเทป (หลายสำเนา!) และไม่ได้สำรองไว้อีกต่อไป

จากความคิดเห็นของคุณมีความคิดเพิ่มเติม:

• เนื่องจากคุณเก็บต้นฉบับของการถ่ายแต่ละครั้งโดยไม่ถูกแตะต้องและทำงานบนสำเนาและสมมติว่าอย่างน้อยภาพต้นฉบับบางชิ้นก็เป็นผ้าปิดตาคุณอาจสามารถลดจำนวนข้อมูลที่ต้องสำรองไว้ครึ่งหนึ่ง

• หากคุณยังไม่สามารถสำรองข้อมูลเต็มรูปแบบได้ภายในเวลาที่คุณมีวิธีการเร่งความเร็วในการสำรองข้อมูลแบบดิสก์ต่อดิสก์ก่อนจากนั้นจึงคัดลอกชุดข้อมูลสำรองลงในเทป

คุณมีสองทางเลือก:

ตัวเลือกที่ 1:

1. ซื้อ NAS อีก
2. ให้ RO แก่ผู้ใช้ของคุณในการเข้าถึง new_NAS
3. ย้ายไฟล์ทั้งหมดที่เก่ากว่า 2 ปีไปที่ new_NAS
4. สำรองข้อมูล old_NAS ต่อไปตามปกติ
5. ทุก ๆ 6 เดือนจะย้ายไฟล์ที่เก่ากว่า 2 ปีไปที่ new_NAS

ตัวเลือก 2:

1. ซื้อ NAS อีก

2. เรียกใช้rsyncทุกชั่วโมง: old_NAS -> new_NAS

   หรือใช้สิ่งที่ดีกว่าเช่นrdiff-backupซึ่ง rsync + เก็บ deltas กับการเปลี่ยนแปลงไฟล์ (คุณสามารถกู้คืนไฟล์รุ่นเก่ากว่า)

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. ทุกๆ 6 เดือนล้างไฟล์เก่าที่ใช้งานเช่น:

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

เหตุใดการสำรองข้อมูลของคุณจึงต้องดำเนินการข้ามคืน ประสิทธิภาพของ Fileserver หรือไม่ คุณอาจสามารถ จำกัด แบนด์วิดท์ของซอฟต์แวร์สำรองข้อมูลของคุณเพื่อ จำกัด ผลกระทบในระหว่างวัน หรืออุทิศอินเทอร์เฟซบน NAS ของคุณเพื่อพูดคุยกับเทปไดรฟ์เพื่อ จำกัด ผลกระทบต่อการรับส่งข้อมูลอื่น ๆ

คุณสามารถเรียกใช้การถ่ายโอนข้อมูลเต็มในวันหยุดสุดสัปดาห์และจะเพิ่มเฉพาะในช่วงสัปดาห์? หากปัญหากำลังเปลี่ยนเทปในวันหยุดสุดสัปดาห์เมื่อไม่มีใครอยู่รอบ ๆ ไลบรารีเทป / autochanger ราคาถูกจะมีค่าใช้จ่ายน้อยกว่าการจ่ายเงินให้ใครบางคนเปลี่ยนเทป

คุณสามารถแบ่งกลุ่มข้อมูลของคุณออกเป็นหลายกลุ่มที่เล็กพอที่จะทำให้เสร็จสมบูรณ์ภายในหน้าต่างสำรองของคุณได้หรือไม่?

เรามีข้อมูลประมาณ 50TB ใน NAS ของเราและใช้เวลานานกว่าหนึ่งสัปดาห์ในการถ่ายโอนข้อมูลทั้งหมดโดยใช้เทปไดรฟ์ 2 ตัว (หนึ่งไดรฟ์ข้อมูลใช้เวลาเกือบหนึ่งสัปดาห์ในตัวเองเพราะมันมีไฟล์ขนาดเล็กจำนวนมาก) สิ่งที่เราทำคือการทำซ้ำข้อมูลของเราไปยัง NAS ที่สอง NAS อันดับสองของเราอยู่ในสถานที่ (แต่ในดาต้าเซ็นเตอร์ที่แตกต่างจากหลัก) ดังนั้นเราจึงยังคงเก็บข้อมูลลงในเทปสำหรับการสำรองข้อมูลนอกสถานที่ เราเรียกใช้การสำรองข้อมูลจาก NAS รองดังนั้นการสำรองข้อมูลจะไม่ทำให้ใคร ๆ ทำงานช้าลง

หากคุณสามารถจัดตำแหน่ง NAS สำรองของคุณได้ไกลพอก็สามารถสำรองข้อมูลได้โดยไม่จำเป็นต้องใช้เทป

ฉันแค่สงสัยเกี่ยวกับขนาดของการถ่ายทำแต่ละครั้งจริงๆหรือประมาณ 100gb / ครั้ง? บริษัท ของคุณมีการประชุมกี่ครั้งในแต่ละเดือน

เนื่องจากคุณส่วนใหญ่เก็บเซสชันเก่าที่ไม่ได้ใช้บ่อย ๆ และอาจไม่จำเป็นต้องกู้คืนข้อมูลนั้นบ่อยๆฉันขอแนะนำให้คุณใช้บริการจาก บริษัท บางแห่งเพื่อดูแลงานนั้นให้คุณ .

ตัวอย่างเช่นการจัดเก็บ 20TB เหล่านั้นโดยใช้บริการออนไลน์เช่น Amazon Glacier จะมีราคาสูงกว่า $ 200 / เดือน หากคุณจำเป็นต้องดึงข้อมูลที่เก็บถาวรเหล่านั้นออกมาเป็นประจำหรือแม้กระทั่งกู้คืนทั้งหมดก็จะทำให้เกิดข้อ จำกัด ด้านเวลา / ต้นทุน หากคุณเพียงแค่เก็บสิ่งเหล่านั้น "เพื่อให้แน่ใจว่าพวกเขาจะถูกเก็บไว้" อาจใช้ส่วนที่สามจะทำให้ชีวิตของคุณง่ายขึ้น (และยังถูกกว่าการซื้อ NAS เทปและอื่น ๆ อีก)

full backups of this server are not completing overnight
จากนั้นลองสำรองข้อมูลเพิ่มเติม การสำรองข้อมูลเต็มรูปแบบหนึ่งครั้งทุก ๆ วัน xx จะเพิ่มส่วนที่เหลือ

ฮาร์ดดิสก์มีราคาไม่แพงเร็วกว่าเทปและสามารถใช้เป็นข้อมูลสำรองได้

นอกจากนี้ยังมีทางเลือกที่ดีสำหรับการสำรองข้อมูลบนคลาวด์ในขณะนี้ดังนั้นจึงไม่จำเป็นต้องเพิ่มเทปมากขึ้นและเร็วขึ้น
ตัวอย่างเช่น:

• บริการ Red-Gate Cloud
• ที่เก็บข้อมูลสำรองของ Amazon
• รองรับ Amazon Glacier (พื้นที่เก็บข้อมูลระยะยาวราคาถูก)

ฉันคิดว่าทางออกที่ดีที่สุดสำหรับสิ่งนี้คือสิ่งที่เราทำกับข้อมูลบัญชีเงินเดือนของเราซึ่งควรใช้ความพยายามเล็กน้อยในการติดตั้ง

• เริ่มแรกจะเก็บข้อมูลส่วนที่เหลือของเซิร์ฟเวอร์ที่สำรองไว้ทุกวัน ระยะเวลาเก็บรักษาของเราในการสำรองข้อมูลเหล่านั้นคือ 13 เดือน

• เมื่อเราไม่คาดหวังว่าจะต้องแก้ไขข้อมูลอีกต่อไป (สองช่วงเวลาการชำระภายหลัง IIRC) ข้อมูลจะถูกบันทึก (ผ่านสคริปต์) ไปยังโวลุ่มการเก็บถาวรที่ไม่รวมอยู่ในการสำรองข้อมูลปกติ

• ปริมาณไฟล์เก็บถาวรได้รับการสำรองข้อมูลถึงเทปรายปีและเทปจะถูกส่งออกไปยัง Cintas เพื่อการจัดเก็บอย่างไม่มีกำหนด

สิ่งนี้ช่วยให้เราสามารถเข้าถึงข้อมูลที่ไม่เปลี่ยนแปลงได้อย่างง่ายดายทางออนไลน์ (ดังนั้นเราไม่จำเป็นต้องโทรหาเทปทุกครั้งที่นักบัญชีต้องการที่จะดูบางอย่าง) ในขณะที่ยังคงเก็บถาวรข้อมูลนอกไซต์ที่ไม่ จำกัด และไม่ทำลายระบบสำรองข้อมูลของเรา เสียงเหมือนการตั้งค่าประเภทเดียวกันอาจใช้งานได้กับคุณแม้ว่าคุณอาจต้องการปรับจำนวนข้อมูลที่คุณเก็บออนไลน์ขึ้นอยู่กับความต้องการของคุณในการเข้าถึงข้อมูลนี้ในเวลาที่เหมาะสม - พื้นที่เก็บข้อมูลระดับองค์กร 20TB นั้นแพงกว่ามาก กว่าการจัดเก็บลงในเทป LTO5 สองหรือสามชุดที่คุณเก็บไว้ในห้องใต้ดิน

บางทีคุณสามารถสร้างBackblaze Podของคุณเอง: 135Tbสำหรับ7384 $
คลิกที่นี่สำหรับข้อมูลเพิ่มเติม: Backblaze Pod ข้อมูลการสร้าง

คุณสามารถซื้อชิ้นส่วนที่จำเป็นและสร้างด้วยตัวเอง

บางทีคุณสามารถสร้าง 3 ของพวกเขาและเก็บ 2 ในสถานที่และ 1 นอกสถานที่ จากนั้นคุณสามารถใช้หนึ่งพ็อดเป็น "ข้อมูลออนไลน์" พ็อดนอกสถานที่ที่สองเป็นการสำรองข้อมูลของพ็อดแรกและพ็อดนอกสถานที่ที่สามเป็นการสำรองข้อมูลนอกสถานที่ฉุกเฉิน

ด้วย 135Tb ของการจัดเก็บสำหรับแต่ละฝักคุณยังสามารถคิดเกี่ยวกับการรักษาประวัติศาสตร์ของการเปลี่ยนแปลงบางอย่าง ...
135Tb / 20TB = 19 สำเนาสำรองเต็ม
หรือคุณสามารถเก็บข้อมูลสำรองได้ทั้งหมด 10 แบบรวมถึงการสำรองข้อมูลส่วนต่างที่ไร้สาระ

โดยธรรมชาติถ้าคุณต้องการสำรองข้อมูลนอกสถานที่คุณจะต้องใช้แบนด์วิธขนาดใหญ่ ... :-)

เพื่อนร่วมงานของฉันซื้อ NAS 8 ดิสก์ของ Synology มันรัน RAID ไฮบริด เขาซื้อ Seagate Barracuda 3TB แปดตัวจาก NewEgg เมื่อไม่กี่สัปดาห์ที่ผ่านมาในราคา $ 89 ต่อคน คุณสามารถ rsync มิเรอร์จาก NAS ที่ผลิตไปยัง NAS ใหม่นี้ผ่าน GigaBit เนื่องจากคุณเป็นเพียงการถ่ายโอนความแตกต่างการถ่ายโอนจะใช้เวลาสั้นลง จากนั้นคุณสามารถใช้ NAS สำรองเพื่อดำเนินการแบบเต็มหรือส่วนเพิ่ม ค่าใช้จ่ายสำหรับคุณจะต่ำกว่า $ 2,000 สำหรับการสำรองข้อมูล NAS