การกำหนดค่า RAID สำหรับ NAS ขนาดใหญ่

ฉันกำลังคิดที่จะสร้างกล่อง NAS ขนาด 24 1TB แต่ฉันไม่แน่ใจว่าการกำหนดค่าไดรฟ์ที่ดีที่สุดคืออะไร ฉันดูที่การใช้ areca ARC-1280ML-2G controller และแขวนไดรฟ์ทั้งหมด 24 ตัว

ฉันต้องการให้มันทั้งหมดติดตั้งเป็นโวลุ่มเดียวเนื่องจากประเภทของข้อมูลที่เราเก็บไว้ หนึ่งความคิดที่บ้าเราต้องกำหนดค่าโวลุ่ม RAID 6 4 ดิสก์ 6 จากนั้นทำซอฟต์แวร์ RAID 5 เหนือ 6 โวลุ่มเหล่านั้น นั่นหมายถึงว่าหนังสือเล่มใดเล่มหนึ่งอาจตายกับเราและเราจะไม่สูญเสียข้อมูล

ฉันควรทราบว่านี่เป็นโครงการวิจัยและพัฒนาเรามีแอปพลิเคชั่นที่จะเกิดขึ้นซึ่งเราจะต้องใช้พื้นที่จัดเก็บหลายสิบเทราไบต์เพื่อให้รวดเร็วและพร้อมใช้งานสูง แต่สำหรับระยะเริ่มต้น R&D เราสามารถยอมรับความเสี่ยงได้บ้าง

ทางออกที่ดีที่สุดสำหรับการกำหนดค่าประเภทนี้คืออะไร? ด้วยดิสก์ 24 1 TB มีแนวโน้มว่าจะมีมากกว่าหนึ่งรายการที่จะล้มเหลวในเวลาเดียวกัน (หรือภายในเวลาที่ใช้ในการสร้างโวลุ่มใหม่หลังจากความล้มเหลวครั้งแรก) ดังนั้นฉันจึงมีปัญหาในการหาวิธีแก้ปัญหาที่ดี

มีระดับ RAID สำหรับสิ่งที่คุณต้องการอยู่แล้ว เรียกว่า RAID 10

MTBF สำหรับไดรฟ์ระดับมืออาชีพและระดับผู้บริโภคเพิ่มขึ้นตามลำดับความสำคัญในปีที่ผ่านมาอัตราความผิดพลาดที่ไม่สามารถแก้ไขได้ค่อนข้างคงที่ อัตรานี้อยู่ที่ประมาณ 10 ^ 14 บิตดังนั้นหนึ่งบิตละ 12 เทราไบต์อ่านสำหรับผู้บริโภคไดรฟ์ SATA, แหล่งที่มา

ดังนั้นสำหรับทุกการสแกนของการส่งผ่านของไดรฟ์ 24Tb ของคุณสถิติคุณจะพบข้อผิดพลาดบิตเดียวอย่างน้อย 2 ข้อผิดพลาดแต่ละข้อนั้นจะทริกเกอร์การสร้าง RAID5 และที่แย่กว่านั้นในระหว่างการสร้างข้อผิดพลาดที่สองจะทำให้เกิดความผิดพลาดซ้ำซ้อน

นี่คืองานประจำทุกวันของฉัน ... การสร้างเซิร์ฟเวอร์สตอเรจ Linux

• การ์ด Areca นั้นใช้ได้ คุณสามารถใช้มันใน RAID-6 มันจะให้ความปลอดภัยที่เหมาะสม ซื้อหน่วยสำรองแบตเตอรี่เสริมด้วยเช่นกัน
• ใช้ดิสก์ระดับองค์กรไม่ใช่ไดรฟ์เดสก์ท็อป คุณจะใช้จ่ายอีก 400 bucks บนเซิร์ฟเวอร์ของคุณ แต่มันก็คุ้มค่า ซื้อไดรฟ์สำรองสองชุด อย่ายุ่งกับมันใช้ดิสก์ของรุ่นเดียวกัน
• สำหรับระบบแฟ้มใช้XFS ไม่ใช่การล้อเล่น, ext3 และเพื่อน ๆ จะไม่ขึ้นอยู่กับงานของระบบไฟล์ 16TB + แม้ในกรณีที่เกิดความผิดพลาดอย่างรุนแรง xfs_repair จะค่อนข้างเร็วในปริมาณ 20TB (15 นาทีไม่มาก)
• โดยเฉพาะอย่างยิ่งใช้LVM2ซึ่งจะช่วยลดความยุ่งยากในการจัดการพื้นที่เก็บข้อมูลแม้ว่าคุณจะไม่ได้วางแผนที่จะปรับเปลี่ยนมากนักก็ตาม
• ติดตั้งเครื่องมือจัดการ areca และเขียนงาน cron เพื่อส่งอีเมลรายวันพร้อมการตรวจสุขภาพ
• อย่าลืมสำรองข้อมูล RAID ไม่ใช่ข้อมูลสำรอง หากใครบางคนลบไฟล์สำคัญคุณจะไม่สามารถกู้คืนได้หากไม่มีข้อมูลสำรองที่เหมาะสม ฉันใช้การสำรองข้อมูล rdiffเป็นการส่วนตัวเพื่อบันทึกข้อมูลสำคัญทั้งหมดบนเซิร์ฟเวอร์เฉพาะที่มีประวัติหนึ่งเดือน นอกจากนี้คุณยังสามารถสร้างโวลุ่ม RAID สองไฟล์บนเซิร์ฟเวอร์ไฟล์ของคุณและสำรองข้อมูลอีกตัวหนึ่ง

ว้าว, RAID5 เหนือ RAID5 หรือไม่ ต้องการหารือเกี่ยวกับปัญหาด้านประสิทธิภาพหรือไม่ คุณจะมีตัน โฮสต์ที่คุณแฮงเอาท์เหล่านั้นจะมีการคำนวณลูกแมวพาริตี้ที่เขียนไปยังไดรฟ์ 3 ตัวจากนั้นคำนวณพาริตี้ของพาริตีนั้นและเขียนไปยังไดรฟ์ที่ 4 ของชุดนั้น ว้าว!

ให้พูดคุยเกี่ยวกับ RAID10 โดยพื้นฐานแล้วมันคือ RAID 1 แต่คุณแบ่งไดรฟ์ของคุณออกครึ่งหนึ่ง เป็นความผิดพลาดที่คุณสามารถสูญเสียไดรฟ์ 2 ตัวและยังคงโอเคอยู่รวมถึงประสิทธิภาพที่โดดเด่น

หากคุณไม่ต้องการพื้นที่ว่างอย่างบ้าคลั่ง แต่คุณมีอาร์เรย์ขนาด 24TB อยู่รอบ ๆ โดยไม่มีอะไรดีไปกว่าการทำเช่นนั้น แต่ต้องมีพื้นที่เชิงบวกอย่างแน่นอนคุณอาจพิจารณา RAID60 โดยพื้นฐานแล้ว RAID6 ใช้ชุดไดรฟ์ที่ทำมิเรอร์ คุณจะสูญเสียไดรฟ์ประมาณครึ่งหนึ่งและประสิทธิภาพจะไม่ดี แต่คุณเกือบจะรับประกันได้ว่าข้อมูลจะอยู่ที่นั่น

จริง ๆ แล้วฉันจะไปกับ RAID10 มันทำงานได้ดีและทำงานได้ดี ฉันสองความเห็นของ Evan ว่าคุณไม่ควรสร้าง RAID ขนาดใหญ่จากดิสก์จำนวนมากเพราะอย่างที่เขาพูดสิ่งต่าง ๆ เช่น fsck และ chkdsk จะใช้เวลาตลอดไปและสำคัญกว่าในใจของฉันเพราะความน่าจะเป็นทางสถิติของข้อผิดพลาดในการอ่าน เพิ่มขึ้นตามขนาดของดิสก์แต่ละขนาด ฉันจะแนะนำ 7-10 แผ่นต่อชุด คุณสามารถสร้างโวลุ่ม RAID 3 ขนาดที่เหมาะสมมากด้วยจำนวนสปินเดิลนั้น

ไม่ว่าคุณจะเลือกแบบไหนจำไว้ว่าให้ทิ้งแผ่นดิสก์ไว้สองสามชิ้นที่อะไหล่ร้อนเพื่อที่คุณจะสามารถเริ่มสร้างใหม่ได้ทันทีแทนที่จะมีแถวรอให้คุณแทนที่ ทันทีที่แผ่นดิสก์ตายนาฬิกาจะเริ่มติ๊กอีกครั้ง

ทำไมไม่ RAID 1 + 0 ทุกอย่างถูกจัดการในระดับควบคุม ...

ฉันรู้ว่าคุณพูดว่า "R&D" แต่คุณก็พูดว่า "พร้อมใช้งานสูง" ฉันจะตั้งคำถามว่า "การประหยัด" ของโซลูชัน DIY กับการซื้ออุปกรณ์ SAN ที่ไม่ได้ใช้งานเพื่อทำสิ่งนี้ เมื่อสิ่งผิดปกติกับโซลูชัน DIY ของคุณคุณจะอยู่ในตำแหน่งที่ไม่มีใครอยากได้หากไม่มีใครติดต่อเพื่อขอความช่วยเหลือ การหยุดทำงานมีค่าใช้จ่ายเท่าใดต่อชั่วโมง คุณสามารถกินค่าใช้จ่ายของเกียร์ SAN ระดับกลางได้อย่างรวดเร็วในค่าใช้จ่ายในการหยุดทำงานโดยไม่สนใจค่าใช้จ่ายที่เกี่ยวข้องกับการสูญเสียข้อมูลที่ถูกต้อง

ไม่ว่าคุณจะทำอะไรเกี่ยวกับดิสก์พื้นฐานฉันจะไม่สร้างระบบไฟล์เดียวที่มีขนาดใหญ่

ความเสียหายของระบบไฟล์เป็นไปได้จริง (ปัญหาตัวควบคุม RAID ข้อบกพร่องของระบบปฏิบัติการ ฯลฯ ) ในปริมาณที่มากการตรวจสอบระบบไฟล์จะดำเนินต่อไปตลอดกาล ฉันขอแนะนำให้ใช้หลายวอลุ่มที่สามารถรวมกันเชิงตรรกะเพื่อให้ปรากฏเป็น filesytem เดียว (ผ่านวิธีการต่างๆ - คุณไม่ได้พูดถึงระบบปฏิบัติการดังนั้นฉันจึงไม่สามารถให้แนวคิดที่เฉพาะเจาะจงได้) หากคุณมีความเสียหายของระบบไฟล์คุณจะเสียส่วนหนึ่งของโลจิคัลวอลุ่ม

เป็นตัวอย่าง: ในโลกของ Windows วิ่ง CHKDSK บนไดรฟ์ 20TB NTFS เต็มไปด้วยไฟล์ที่เป็นไปได้ช้า ในสภาพแวดล้อมแบบนั้นฉันจะสร้างวอลุ่ม NTFS ที่เล็กลงหลาย ๆ ตัวและรวมมันไว้ในเนมสเปซเดียวด้วย DFS

wazoox คำตอบนั้นดีฉันไม่มีตัวแทนให้คะแนนเพิ่มเติมกับเขา แต่ฉันจะเพิ่มสิ่งต่อไปนี้

RAID 6 หรือดิสก์แพริตีที่มีชีวิตอย่างน้อย 2 แผ่นต่อ 10 แผ่นซึ่งมากที่สุดคือ 16 ถ้าคุณสามารถใช้เวลาประมาณหนึ่งวันในการสร้างประสิทธิภาพการโจมตีของคุณจะได้รับผลกระทบ หากคุณไม่สามารถอยู่กับความเสื่อมโทรมได้ก็จะต้องมีแถบสะท้อนแสง

หากคุณกำลังจะไปยังเส้นทาง linux ฉันจะใช้การ์ด RAID ฮาร์ดแวร์ (พร้อมแบตเตอรี่สำรอง) หรือมีตัวควบคุม RAID ในกล่องหุ้มดิสก์ ฉันยอมรับว่า xfs เป็นระบบไฟล์ที่เลือกบน Linux อย่างไรก็ตามโปรดทราบว่าระบบไฟล์ที่มีขนาดประมาณ 50TB บน xfs ใช้ RAM มากกว่า 16GB หากคุณต้องการเรียกใช้ xfs_check

ฉันจะพิจารณากล่อง NAS ที่ดีอย่างจริงจังเช่น NetApp เพราะมันใช้งานได้น้อยกว่าในระยะยาวขึ้นอยู่กับว่าคุณใช้เวลาในการดูแลระบบจัดเก็บข้อมูลนานเท่าใด

การทำให้ nfs / samba ทำงานได้ดีนั้นเป็นบิตของงานศิลปะมืด ๆ คุณจะใช้อีเทอร์ 10GB หรือรวมเพียง 1GB / วินาทีหรือไม่ (อย่าได้รับการ์ด Broadcomm โดยเฉพาะการ์ดขนาด 10GB)

LVM2 เป็นเกมง่ายๆ แต่ไม่ใช้สแน็ปช็อตเพราะมันไม่เร็ว

โปรดจำไว้ว่าการสำรองข้อมูลจะใช้เวลาพอสมควร

ทดสอบวิธีที่ระบบจะล้มเหลวก่อนที่จะเริ่มใช้งานจริงและเขียนไว้ในที่ที่คุณและเพื่อนร่วมงานสามารถหาเอกสารได้เมื่อทุกอย่างผิดพลาด

ขึ้นอยู่กับอัตราส่วนการอ่าน / เขียนของคุณ เราใช้เปลือกหุ้มไดรฟ์ภายนอกของ HP MSA70 SAS จำนวนมากและสร้างพวกเขาเป็นอาร์เรย์ RAID6 เดียวเนื่องจากอัตราการอ่านและเขียนของเราคือ 99%: 1% ดังนั้นเราจึงไม่สนใจว่า R6 จะเขียนช้าที่สุด ( ยังคงค่อนข้างเร็วไม่ใช่สิ่งที่ดีเมื่อเทียบกับคนอื่น) วิธีนี้เรามี 23 ดิสก์ที่มีข้อมูลให้เรามีดีมากเช่นเดียวกับที่ดีมากการอ่านแบบสุ่มและการอ่านแบนด์วิดธ์โดยรวมที่มีประโยชน์และสามารถอยู่รอดได้สองดิสก์ที่ล้มเหลว

ตามแนวทางคร่าวๆอาร์เรย์ RAID5 ไม่ควรมีมากกว่า 14 ดิสก์ในหนึ่งอาเรย์ในขณะที่ RAID6 ควรใช้ได้กับดิสก์มากถึง 54 หรือมากกว่า - แน่นอนว่าอาเรย์ที่ใหญ่กว่านั้นจะมีช่องว่างระหว่างการอ่านและการเขียนที่ใหญ่กว่า การสร้างใหม่ช้ากว่าจะใช้เวลา แต่มันอาจเป็นการแลกเปลี่ยนที่ดี

ฉันจะเพิ่มดิสก์แสตนด์บายสองตัวสำหรับการเริ่มต้น

RAID 5 หรือ 6 นั้นใช้ได้สำหรับการอ่านแบบสุ่มหรือการอ่านและเขียนตามลำดับที่มีขนาดใหญ่ หากคุณจะได้รับการเขียนขนาดเล็กจำนวนมากไปกับ RAID 10 ตั้งแต่ RAID 5+ ใช้เวลา 4 x ตีบนการเขียนขนาดเล็ก

หากคุณกำลังจะเปิดการเขียนแคชอย่าลืมสำรองด้วยแบตเตอรี่