คุณสำรองข้อมูลเซิร์ฟเวอร์จัดเก็บอย่างไร

ฉันกำลังมองหาการใช้เซิร์ฟเวอร์จัดเก็บข้อมูลขนาดใหญ่มากเพื่อใช้เป็น NAS สดสำหรับเซิร์ฟเวอร์อื่น ๆ (ตาม Linux ทั้งหมด)

โดยขนาดใหญ่มากฉันหมายถึงพื้นที่ว่างระหว่าง 4TB ถึง 20TB (แม้ว่าจะไม่จริงเราจะทำให้มันเป็น 20TB)

เซิร์ฟเวอร์จัดเก็บข้อมูลจะเป็น RAID 10 สำหรับความปลอดภัยของข้อมูลและประสิทธิภาพการทำงาน แต่เราจะยังต้องการโซลูชันสำรองซึ่งรวมถึงการสำรองข้อมูลนอกสถานที่ด้วย

คำถามของฉันคือคุณสำรองข้อมูลจำนวนมากได้อย่างไร!

ไม่ใช่ว่าฉันสามารถเชื่อมต่อฮาร์ดไดรฟ์แบบพกพาและถ่ายโอนไฟล์ผ่าน ขณะนี้เราไม่มีอุปกรณ์อื่นที่มีพื้นที่เก็บข้อมูลมากมาย

ฉันต้องใช้งบประมาณสำหรับเซิร์ฟเวอร์เก็บข้อมูลสำรองนอกสถานที่แห่งที่สองหรือมีวิธีแก้ปัญหาที่ดีกว่าหรือไม่

มีหลายวิธีในการจัดการข้อมูลที่มีขนาด ขึ้นอยู่กับสภาพแวดล้อมของคุณและจำนวนเงินที่คุณยินดีจ่าย โดยทั่วไปมีกลยุทธ์ 'รับข้อมูลจากเซิร์ฟเวอร์' โดยรวมเพียงเล็กน้อย:

• ผ่านทางอีเธอร์เน็ตอย่างที่แจ้งไว้ในกล่องข้อมูลจะถูกสตรีมไปยังบางตำแหน่งเพื่อจัดการ 20TB จะใช้เวลานานในการคัดลอกมากกว่า 1GbE แต่ก็สามารถทำได้ ฮาร์ดแวร์สามารถช่วยได้ (เช่นลิงก์ 10GbE หรือในบางกรณีการเชื่อม NIC)
• ผ่านระบบย่อยการจัดเก็บหากคุณอยู่บน Fibre Channel ให้ส่งไปยังอุปกรณ์อื่นในเครือข่าย FC หากคุณมี SAS ให้ส่งไปที่อุปกรณ์ที่ต่อกับ SAS โดยทั่วไปเร็วกว่าอีเธอร์เน็ต
• ส่งไปยังดิสก์อาร์เรย์อื่นส่งไปยังพื้นที่เก็บข้อมูลขนาดใหญ่อื่นที่เชื่อมต่อกับเซิร์ฟเวอร์เดียวกัน

นั่นคือมุมมอง 100Km เมื่อคุณเริ่มซูมเข้าสู่สิ่งต่าง ๆ จะได้รับการแยกส่วนมากขึ้น ดังที่ได้กล่าวไปแล้ว LTO5 เป็นเทคโนโลยีเทปเฉพาะที่ออกแบบมาสำหรับโหลดความหนาแน่นสูงชนิดนี้ อาร์เรย์หน่วยเก็บข้อมูลที่เหมือนกันอีกตัวเป็นเป้าหมายที่ดีโดยเฉพาะอย่างยิ่งถ้าคุณสามารถใช้บางอย่างเช่น GlusterFS หรือ DRBD เพื่อรับข้อมูลตรงนั้น นอกจากนี้หากคุณต้องการการหมุนเวียนการสำรองข้อมูลหรือเพียงแค่ความสามารถในการทำงานในกรณีที่อาร์เรย์ล้มเหลวจะส่งผลกระทบต่อสิ่งที่คุณวาง

เมื่อคุณตัดสินด้วยวิธีการดู 100Km การเข้าสู่ซอฟต์แวร์จะเป็นงานที่ยิ่งใหญ่ครั้งต่อไป ปัจจัยที่มีอิทธิพลต่อสิ่งนี้คือสิ่งที่คุณสามารถติดตั้งบนเซิร์ฟเวอร์ที่เก็บข้อมูลของคุณได้ตั้งแต่แรก (ถ้าเป็น NetApp นั่นเป็นเรื่องหนึ่งเซิร์ฟเวอร์ Linux ที่มีที่เก็บข้อมูลเป็นอีกสิ่งหนึ่งโดยสิ้นเชิงเช่นเดียวกับเซิร์ฟเวอร์ Windows ที่มีที่เก็บข้อมูลมากมาย) ฮาร์ดแวร์ใดที่คุณเลือก (ไม่ใช่แพ็คเกจการสำรองข้อมูล FOSS ทั้งหมดที่จัดการกับไลบรารีเทปได้เป็นอย่างดี) และการสำรองข้อมูลประเภทใดที่คุณต้องการ

คุณต้องทราบว่าคุณต้องการกู้คืนความเสียหายประเภทใด การจำลองแบบสดง่าย ๆ นั้นง่ายขึ้น แต่ไม่อนุญาตให้คุณกู้คืนจากสัปดาห์ก่อนเพียงแค่ตอนนี้ หากความสามารถในการกู้คืนจากสัปดาห์ที่ผ่านมามีความสำคัญสำหรับคุณคุณต้องออกแบบเพื่อสิ่งนั้น ตามกฎหมาย (ในสหรัฐอเมริกาและที่อื่น ๆ ) ต้องมีการเก็บรักษาข้อมูลบางส่วนเป็นเวลา 7 ปีขึ้นไป

การจำลองแบบง่ายเป็นวิธีที่ง่ายที่สุด นี่คือสิ่งที่ DRBD ออกแบบมาให้ทำ เมื่อคัดลอกครั้งแรกเสร็จแล้วก็แค่ส่งการเปลี่ยนแปลง ปัจจัยที่ทำให้เกิดความสับสนที่นี่คือเครือข่ายท้องถิ่นหากอาร์เรย์ที่ 2 ของคุณไม่อยู่ใกล้กับ DRBD หลักอาจไม่สามารถทำได้ คุณจะต้องมีเซิร์ฟเวอร์จัดเก็บข้อมูลตัวที่ 2 ซึ่งมีพื้นที่เก็บข้อมูลอย่างน้อยเท่ากับพื้นที่เก็บข้อมูลแรก

เกี่ยวกับเทปสำรองข้อมูล ...

LTO5 สามารถเก็บข้อมูล 1.5TB โดยไม่มีการบีบอัด การป้อนมอนสเตอร์เหล่านี้ต้องใช้เครือข่ายที่รวดเร็วซึ่งเป็น Fibre Channel หรือ 6Gb SAS เนื่องจากคุณต้องการสำรองข้อมูลมากกว่า 1.5TB ในการทดลองคุณต้องมองหาออโต้โหลด (นี่คือตัวอย่าง: ลิงค์ 24 ออโต้โหลดไดรฟ์ 1 สล็อตจาก HP) ด้วยซอฟต์แวร์ที่รองรับพวกเขาพวกเขาจะจัดการกับการเปลี่ยนเทปกลางข้อมูลสำรองให้คุณ พวกเขายอดเยี่ยม คุณจะยังต้องดึงเทปออกเพื่อส่งไปยังนอกสถานที่ แต่นั่นเป็นสิ่งที่น่ากลัวกว่าแขวนไว้ทั้งคืนเพื่อโหลดเทปด้วยตัวคุณเองเมื่อมีการสำรองข้อมูล

หากเทปจะช่วยให้คุณ ' มรดก EW ' heebiegeebies, เทปห้องสมุดเสมือนอาจจะมีความเร็วของคุณ (เช่นนี้จากควอนตัม: การเชื่อมโยง ) สิ่งเหล่านี้ทำตัวเป็นไลบรารีเทปสำหรับซอฟต์แวร์สำรองข้อมูลในขณะที่การจัดเก็บสิ่งต่าง ๆ ลงในดิสก์ด้วยเทคนิคการทำสำเนาที่มีประสิทธิภาพ คนที่ชื่นชอบมากยิ่งขึ้นจะคัดลอกเทปเสมือนไปยังเทปจริงสำหรับคุณหากคุณชอบสิ่งนั้นซึ่งสามารถเป็นประโยชน์อย่างมากสำหรับการหมุนนอกสถานที่

หากคุณไม่ต้องการโคลนด้วยเทปเสมือนจริง แต่ยังต้องการสำรองข้อมูลโดยตรงจากดิสก์คุณจะต้องมีพื้นที่เก็บข้อมูลขนาดใหญ่พอที่จะรองรับขนาด 20TB รวมถึงข้อมูลการเปลี่ยนแปลงสุทธิที่คุณต้องการ เพื่อเก็บไว้ แพ็คเกจการสำรองข้อมูลที่แตกต่างกันจัดการสิ่งนี้แตกต่างกัน เทคโนโลยีการทำซ้ำบางอย่างดีมาก ๆ และเทคโนโลยีอื่น ๆ ก็เป็นแฮกเกอร์ โดยส่วนตัวฉันไม่ทราบถึงสถานะของแพ็คเกจซอฟต์แวร์สำรองข้อมูล FOSS ในพื้นที่นี้ (ฉันได้ยินจาก Bacula) แต่พวกเขาอาจจะเพียงพอ แพ็คเกจสำรองเชิงพาณิชย์จำนวนมากมีตัวแทนท้องถิ่นที่คุณติดตั้งบนเซิร์ฟเวอร์ที่จะสำรองเพื่อเพิ่มปริมาณงานซึ่งมีข้อดีมากมาย

ตู้เพลง LTO-5? คุณต้องการได้ที่ไหนสักแห่งระหว่างสามถึง 15 เทปเพื่อสำรองข้อมูลอาร์เรย์นั้นซึ่งไม่ได้เป็นจำนวนมากอย่างบ้าคลั่ง ตู้เพลงจะดูแลการเปลี่ยนเทปให้คุณและซอฟต์แวร์สำรองข้อมูลที่ดี (เช่น bacula) จะติดตามไฟล์ที่อยู่ในเทปใด

คุณจะต้องพิจารณาเวลาที่ใช้ในการสำรองข้อมูลระบบไฟล์ที่มีขนาดใหญ่เนื่องจากมีโอกาสมากที่ FS จะเปลี่ยนไปในช่วงเวลานั้น เพื่อผลลัพธ์ที่ดีที่สุดระบบไฟล์ที่รองรับสแน็ปช็อตจะมีประโยชน์มากดังนั้นคุณสามารถใช้สแนปชอตทันทีและทำการสำรองข้อมูลทั้งหมดหรือเพิ่มส่วนที่เหลือแทนที่จะเป็นระบบไฟล์สด

คุณควรดูการสำรองข้อมูลบนดิสก์เนื่องจากเทปจะใช้เวลานานและการเข้าถึงตามลำดับการกู้คืนจะใช้เวลาตลอดไป

ใช้ประโยชน์จากการสำรองข้อมูลส่วนต่างหรือส่วนเพิ่มอย่างแน่นอน - สำรองข้อมูลการเปลี่ยนแปลงในทุกความถี่ที่เหมาะสมกับคุณ

อาจเป็นทางออกที่ดีที่สุดที่จะมีเซิร์ฟเวอร์ที่มีขนาดใกล้เคียงกันเป็นอันดับสองในตำแหน่งอื่นที่มีการสำรองข้อมูลส่วนเพิ่มที่ถูกส่งอย่างสม่ำเสมอและสามารถเปลี่ยนเป็นสถานที่ได้อย่างรวดเร็วหากเซิร์ฟเวอร์หลักเสียชีวิต อย่างไรก็ตามตัวเลือกอื่นจะใช้ไดรฟ์แบบถอดได้ในสถานที่ซึ่งจะถูกนำออกไปภายนอกเพื่อเก็บข้อมูล

เมื่อคุณจัดการกับข้อมูลจำนวนมากคุณควรแบ่งการสำรองข้อมูลของคุณออกเป็นงานสำรองที่มีขนาดเล็กลงและหากไม่สามารถสำรองข้อมูลได้ทุกวันควรสำรองข้อมูลให้โซเซดังนั้นชุด A จะสำรองข้อมูลหนึ่งวันและ ตั้ง B ถัดไป

คิดถึงกระบวนการกู้คืนเสมอ เราได้ถูกต่อยครั้งหนึ่งเมื่อเราต้องกู้คืนไฟล์จากงานสำรองหลายร้อยกิ๊กซึ่งใช้หน่วยความจำจำนวนมากและใช้เวลาในการสร้างดัชนีสำรองและกู้คืนอีกครั้ง ในที่สุดเราก็ไม่สามารถทำมันให้เสร็จภายในหนึ่งวันและต้องสร้างเซิร์ฟเวอร์การกู้คืนโดยเฉพาะเพื่อให้เซิร์ฟเวอร์สำรองหลักของเราทำงานต่อไปได้ทุกคืน!

--added--

คุณต้องการคิดถึงเทคโนโลยีการขจัดความซ้ำซ้อนซึ่งสามารถประหยัดพื้นที่จำนวนมากได้โดยไม่ต้องสำรองข้อมูลเดียวกันหลาย ๆ ครั้งสำหรับผู้ใช้หลายคน โซลูชันการสำรองข้อมูลหรือระบบไฟล์จำนวนมากนำเสนอการขจัดข้อมูลซ้ำซ้อนซึ่งเป็นส่วนหนึ่งของการทำงาน

ก่อนอื่นให้ระบุความเสี่ยงที่คุณป้องกัน ความเสี่ยงทั่วไป:

• ภัยพิบัติ: มีบางสิ่งที่โชคร้ายเกิดขึ้นกับไซต์ของคุณทั้งหมด
• ข้อผิดพลาดของมนุษย์ (นี่คือสิ่งที่เกิดขึ้น _all_the_time_):
  • บางคนตัดสินใจใช้ความสามารถ "hot-swap" ของเซิร์ฟเวอร์จัดเก็บข้อมูลของคุณในแบบที่ผู้ผลิตไม่ได้ตั้งใจ
  • บางคนเรียกใช้กระบวนการที่ทำให้ข้อมูลเสียหายซึ่งจะทำการสำรองข้อมูลอย่างน่าเชื่อถือเป็นเวลาสองสามเดือนก่อนที่จะพบปัญหา
  • มีคนลบรายงานสำคัญที่ถึงกำหนดภายในหนึ่งชั่วโมงและมีค่าหลายพันดอลลาร์

จากนั้นประเมินต้นทุนของโซลูชันการหลีกเลี่ยงความเสี่ยงต่างๆเช่น:

• การสำรองข้อมูลนอกสถานที่ (กระจกระยะไกล): ปลอดภัยจากภัยพิบัติข้อผิดพลาดของมนุษย์บางส่วน (แต่ไม่ทั้งหมด) (ยังคงออนไลน์)
• ที่เก็บข้อมูลออฟไลน์ (เทป) นอกสถานที่: ปลอดภัยจากภัยพิบัติยากต่อการกู้คืนข้อมูลอย่างรวดเร็ว
• การสำรองข้อมูลออนไลน์ (กระจก) ในสถานที่: ปลอดภัยจากข้อผิดพลาดบางอย่างของมนุษย์ความล้มเหลวของฮาร์ดแวร์บางอย่าง
• การสำรองข้อมูลนอกสถานที่ (เทปเปลี่ยนเทป): ปลอดภัยจากข้อผิดพลาดของมนุษย์ส่วนใหญ่ความล้มเหลวของฮาร์ดแวร์ส่วนใหญ่

จากนั้นประเมินกลยุทธ์การหมุนเวียน (คุณต้องการกู้คืนมากแค่ไหนคุณสามารถสูญเสียข้อมูลได้มากน้อยเพียงใด)

จากนั้นเลือกข้อมูลที่มีค่า

ฉันมีลูกค้าที่มีระบบ 12 TB คล้ายกันสองตัวในอาคารต่าง ๆ สองแห่งเชื่อมต่อกันที่ 1GB หนึ่งคือระบบการผลิต มันถูกสำรองข้อมูลทีละส่วน (พร้อมสแน็ปช็อตรายวัน) ให้กับอีกอันด้วยยูทิลิตี้rdiff-backupที่ยอดเยี่ยม rdiff-backup ต้องพร้อมใช้งานในที่เก็บการแจกจ่ายมาตรฐานของคุณ

การสำรองข้อมูลนอกสถานที่ (กระจกระยะไกล)

ใช้ rsync แม้ว่า ssh (การเปลี่ยนแปลงเท่านั้น) - การสำรองข้อมูลครั้งแรกจะต้องทำในเครื่อง แต่หลังจากการสำรองข้อมูลนั้นจะง่ายขึ้นอยู่กับการเปลี่ยนแปลง

หากคุณต้องการเก็บเวอร์ชันด้วยการเปลี่ยนแปลง - สำรองข้อมูล

http://www.nongnu.org/rdiff-backup/

ระบบไฟล์ btrfs ใน Linux มีแนวโน้มดี แต่ยังคงมีการพัฒนาอย่างมาก

ดูที่ "เนื้อหา" ที่แท้จริงของคุณและความถี่ที่เปลี่ยนแปลงก่อนที่คุณจะวางแผนกลยุทธ์ของคุณ หลายครั้งที่ผู้คนปั่นข้อมูลเดียวกันกับเทปรายสัปดาห์ซ้ำแล้วซ้ำอีกโดยไม่มีเหตุผลที่ดี

เทคโนโลยีการคัดลอกซ้ำจากผู้ขายบางรายสามารถอนุญาตให้สแนปชอตบันทึกคุณจากการกู้คืนไฟล์แต่ละไฟล์ แต่คุณจะต้องใช้นอกสถานที่เพื่อการป้องกันเสมอ