สติตรวจสอบการกำหนดค่าเซิร์ฟเวอร์ 40TB

ฉันใช้คอมพิวเตอร์มา 40 ปีแล้ว แต่ฉันไม่เคยสร้างเซิร์ฟเวอร์แบบนี้เลยดังนั้นนี่อาจเป็นคำถามที่ n00b

ฉันมีไคลเอนต์ที่จะนำเสนอไฟล์เพลง def สูงพิเศษสำหรับการดาวน์โหลด ในกรณีนี้หมายถึงการบีบอัด FLAC 24 / 192Khz = ~ 10GB / อัลบั้ม (ไม่ฉันไม่ต้องการแยกความปรารถนาของผลิตภัณฑ์เพียงแค่การกำหนดค่าเซิร์ฟเวอร์) แคตตาล็อกจะมีประมาณ 3,000 อัลบั้มโดยมีทั้งเวอร์ชั่นที่สูงและต่ำ def (สำหรับ iPods ของพวกเขาฉันเดา) ข้อมูลหลัก 35-40TB หรือมากกว่านั้น

เนื่องจากนี่เป็นผลิตภัณฑ์ที่พิเศษมากขนาดของตลาดจึงค่อนข้างเล็ก (คิดว่า: ผู้ที่ใช้จ่าย $ 20,000 + กับระบบเสียงของพวกเขา) ซึ่งหมายถึงเวลาส่วนใหญ่ที่เซิร์ฟเวอร์ใช้งานว่าง 100% (หรือใกล้เคียง) ฉันมีสิ่งที่ดูเหมือนข้อเสนอ colocation ที่ดีจาก ColocationAmerica ด้วยการเชื่อมต่อ 1Gbps และแบนด์วิดท์ที่ประมาณ $ 20 / TB ดังนั้นตอนนี้ฉันแค่ต้องสร้างกล่องเพื่อส่งมอบสินค้า

กรณีการใช้งานการเข้าถึงข้อมูลนั้นเป็นแบบเขียนครั้งเดียว / อ่านได้หลายครั้งดังนั้นฉันจึงคิดว่าจะใช้ซอฟต์แวร์ RAID 1 สำหรับคู่ของไดรฟ์ สิ่งนี้จะช่วยให้ฉัน (ฉันคิดว่า ) กำหนดค่าไดรฟ์สำรองสำหรับคนที่ล้มเหลวได้ทันทีดังนั้นจึงสามารถเริ่มต้นการสร้างไดรฟ์ที่สองขึ้นมาใหม่ก่อนที่ผู้ดูแลระบบบางรายจะสังเกตเห็นไฟแดงบนระบบ มันจะดีมากถ้าฉันได้ไดรฟ์ส่วนใหญ่ให้นอน / หมุนลงถ้าไม่ต้องการซึ่งจะใช้เวลาส่วนใหญ่กับไดรฟ์ส่วนใหญ่

ฉันไม่ต้องการพลังในการคำนวณมากนัก - สิ่งนี้เป็นเพียงการผลักวัตถุไขมันลงไปในท่อ - ดังนั้น CPU / มาเธอร์บอร์ดจึงค่อนข้างเรียบง่ายตราบใดที่มันสามารถรองรับไดรฟ์จำนวนนี้ได้

ฉันกำลังพิจารณาการกำหนดค่าต่อไปนี้:

Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server

ดังนั้นฉันจะไปในทิศทางที่ถูกต้องหรือนี่คือวิธีที่สมบูรณ์แบบในการเข้าถึงปัญหาหรือไม่

อัปเดตเพื่อชี้แจงจุดสองสามข้อ:

1. ฉันไม่มีประสบการณ์กับ ZFS เนื่องจากผลิตภัณฑ์อาทิตย์ล่าสุดที่ฉันเป็นเจ้าของกลับมาในช่วงปลายยุค 80 ฉันจะทำ RTFMing เล็กน้อยเพื่อดูว่ามันรู้สึกถูกต้องหรือไม่
2. ฉันไม่ต้องการให้ระบบไฟล์ทำอะไรที่น่าตื่นเต้นเพราะชื่อไฟล์จะเป็น UUID ง่าย ๆ และวัตถุก็จะมีความสมดุลในไดรฟ์ (เช่นระบบแคชขนาดใหญ่) ดังนั้นฉันจึงคิดว่านี่เป็นระบบไฟล์แยกต่างหาก 40 ระบบและนั่นทำให้ RAID 1 ฟังดูถูกต้อง (แต่ฉันยอมรับความเขลาที่นี่)
3. เนื่องจากความคาดหวังในปัจจุบันของเราคือเราไม่น่าจะดาวน์โหลดมากกว่าหนึ่งโหลไฟล์ในแต่ละครั้งและในกรณีส่วนใหญ่จะมีหนึ่งคนที่ดาวน์โหลดไฟล์ใด ๆ ก็ตามฉันไม่รู้ว่าเราต้องการหน่วยความจำมากมาย สำหรับบัฟเฟอร์ บางที 8GB นั้นค่อนข้างเบา แต่ฉันไม่คิดว่า 128GB จะทำอะไรได้มากกว่าการใช้พลังงาน
4. มี 2 ​​เครื่องแยกกันไม่ได้กล่าวถึงที่นี่: เว็บสโตร์ปัจจุบันของพวกเขาและ Master Download ที่แยกได้เกือบสมบูรณ์ซึ่งจัดการการพิสูจน์ตัวตนทั้งหมดการจัดการการนำเข้าผลิตภัณฑ์ใหม่การบังคับใช้นโยบาย (หลังจากทั้งหมดนี่คือสนามเด็กเล่นของ RIAA) การสร้าง URL ชั่วคราว ส่งมอบการดาวน์โหลดให้กับสัตว์ร้ายเหล่านี้มากกว่าหนึ่งตัวหากการรับส่งข้อมูลเกินความคาดหมายของเรา) การติดตามการใช้งานและการสร้างรายงาน นั่นหมายความว่าเครื่องนี้เกือบจะสามารถสร้างขึ้นได้โดยใช้เจอร์บิลใน Quaaludes

ZFS? ประโยชน์อยู่ที่ไหน

ตกลงฉันโหยหาวิธีของฉันผ่านคู่มือ ZFS หลายคำถามที่พบบ่อย ฯลฯ ยกโทษให้ฉันที่ทำให้เกิดเสียงโง่ แต่ฉันพยายามเข้าใจประโยชน์ของการใช้ ZFS มากกว่าความเชื่อของชาวแอนดิลิเวียใน N RAID1 คู่ของฉัน ในหน้าวิธีปฏิบัติที่ดีที่สุดนี้ (จากปี 2006) พวกเขายังแนะนำว่าอย่าทำอุปกรณ์ 48 ZFS แต่ 24 มิร์เรอร์อุปกรณ์ 2 ชิ้น - ฟังดูเหมือนว่าฉันกำลังพูดถึงเรื่องนี้อยู่ หน้าอื่น ๆ กล่าวถึงจำนวนอุปกรณ์ที่ต้องเข้าถึงเพื่อส่งบล็อก ZFS 1 (หนึ่ง) ตัว นอกจากนี้โปรดจำไว้ว่าที่ 10GB ต่อวัตถุและการใช้ดิสก์ 80% ผมเก็บรวมทั้งสิ้น 320 ไฟล์ต่อ 4TB ไดรฟ์ เวลาที่ฉันสร้างใหม่ด้วย N RAID 1s สำหรับความล้มเหลวของไดรฟ์ที่กำหนดคือการเขียน 4TB จากอุปกรณ์หนึ่งไปยังอุปกรณ์อื่นZFS ทำสิ่งนี้ให้ดีขึ้นได้อย่างไร

ฉันจะยอมรับว่าเป็นไดโนเสาร์ แต่ดิสก์ราคาถูก, RAID 1 ฉันเข้าใจแล้วความต้องการการจัดการไฟล์ของฉันนั้นเล็กน้อยและ ZFS บน Linux (ระบบปฏิบัติการที่ฉันต้องการ) ยังคงอายุน้อย บางทีฉันอาจหัวโบราณเกินไป แต่เมื่อฉันดูที่ระบบการผลิตนั่นคือสิ่งที่ฉันทำ

ฉันขอขอบคุณทุกท่านสำหรับความคิดเห็นของคุณที่ทำให้ฉันคิดเกี่ยวกับเรื่องนี้ ฉันยังไม่ตัดสินใจอย่างสมบูรณ์และฉันอาจต้องกลับมาและถามคำถามเพิ่มเติมอีก n00b

ตามคำอธิบายปัญหาของคุณปัญหาของคุณไม่ได้เป็นเซิร์ฟเวอร์เท่าที่เก็บข้อมูล
คุณต้องการระบบไฟล์ที่น่าเชื่อถือและมีประสิทธิภาพเช่นZFSที่ออกแบบมาเพื่อจัดการกับความจุขนาดใหญ่ได้ดีและมีความสามารถในการจัดการในตัวเพื่อให้จุดสิ้นสุดของระบบจัดการได้ง่ายขึ้น

ดังที่ได้กล่าวไว้ในความคิดเห็นฉันจะไปกับ ZFS สำหรับพูลหน่วยเก็บข้อมูล (อาจเป็น FreeBSD เพราะฉันคุ้นเคยกับระบบปฏิบัติการนั้นมากที่สุดและเพราะมันมีประวัติที่ยาวนานและพิสูจน์แล้วว่ามีประสิทธิภาพที่แข็งแกร่งด้วย ZFS - ตัวเลือกที่สองของฉัน ระบบปฏิบัติการจะเป็นIllumosอีกครั้งเนื่องจากการรองรับ ZFS ที่ผ่านการทดสอบอย่างดี)

เท่าที่ให้บริการไฟล์ผมเห็นด้วย - คุณไม่จำเป็นต้องใช้ฮาร์ดแวร์มากนักในการผลักข้อมูลออกจากพอร์ตเครือข่าย ไดรเวอร์หลักของคุณสำหรับ CPU / RAM จะเป็นความต้องการของระบบไฟล์ (ZFS)
กฎทั่วไปของหัวแม่มือคือ ZFS ต้องการ RAM 1GB บวก 1GB สำหรับพื้นที่ดิสก์ทุก ๆ 10TB ที่จัดการ (ดังนั้นสำหรับ 40TB คุณจะต้องมี RAM 5GB สำหรับ ZFS) - ความสัมพันธ์ไม่เชิงเส้นเลย (มีมากมาย หนังสือ / บทช่วยสอน / เอกสารที่ดีเกี่ยวกับ ZFS ที่สามารถช่วยคุณประเมินสภาพแวดล้อมของคุณได้)
โปรดทราบว่าการเพิ่มใน ZFS bells และ whistles เช่น deduplication จะต้องใช้ RAM เพิ่มเติม

เห็นได้ชัดว่าความต้องการรอบ RAM สูงขึ้นมากกว่าที่จะลงและไม่ตระหนี่: ถ้าคณิตศาสตร์ของคุณบอกว่าคุณต้องการ RAM 5GB จะไม่โหลดเซิร์ฟเวอร์ที่มี 8GB - ก้าวได้ถึง 16GB

จากนั้นคุณสามารถเรียกใช้เซิร์ฟเวอร์ของคุณโดยตรงบนกล่องเก็บข้อมูล (ซึ่งหมายความว่าคุณต้องการ RAM มากขึ้นในกล่องนั้นเพื่อรองรับกระบวนการเซิร์ฟเวอร์) หรือคุณสามารถติดตั้งที่เก็บข้อมูลระยะไกลไปยังเซิร์ฟเวอร์ "front-end" เพื่อ ให้บริการตามคำขอของลูกค้า
(อดีตมีราคาถูกกว่าในตอนแรกส่วนหลังจะปรับระยะยาวได้ดีกว่า)

นอกเหนือจากคำแนะนำนี้คำแนะนำที่ดีที่สุดที่ฉันสามารถให้คุณมีอยู่แล้วครอบคลุมดีในซีรีส์วางแผนกำลังการผลิตของเราคำถาม - พื้น "โหลดทดสอบทดสอบโหลด , โหลดทดสอบ "

ฉันใช้ ZFS สำหรับเซิร์ฟเวอร์ที่มีหลาย TB และได้รับความนิยมอย่างมาก ฉันใช้ OpenIndiana เพื่อเริ่มใช้งานและตอนนี้ย้ายไปที่ FreeNAS ตามที่ฉันต้องการ

ฉันอยากจะแนะนำให้ใช้การ์ด LSI HBA (9211-8i เป็นการ์ดฐานที่ดี) พร้อมกับตัวขยาย SAS (เคส SuperMicro สามารถสั่งซื้อได้ด้วยตัวขยาย SAS หนึ่งตัวที่ใช้ชิปเซ็ต LSI) เฟิร์มแวร์ LSI ได้รับการสนับสนุนใน FreeNAS และ FreeBSD ตรวจสอบเวอร์ชั่นที่เหมาะสม (V16 ใช้ได้กับ FreeBSD V9.x)

เมื่อเขียนครั้งหนึ่งอ่านหลาย ๆ ลักษณะของระบบของคุณฉันจะใช้ทอพอโลยี ZFS Z2 (หลีกเลี่ยง RAID-5 และ Z1 กับไดรฟ์ขนาดนี้) ระบุว่าคุณกำลังใช้ดิสก์ 4TB เวลาสร้างใหม่ (resilver) สำหรับอาร์เรย์ vDev เดี่ยวขนาดใหญ่จะใช้เวลานานถ้าพูลเต็ม เพื่อหลีกเลี่ยงการสร้างใหม่เป็นเวลานานให้จัดเรียง vDevs เป็นกลุ่ม 6 หรือ 10 เพื่อสร้างพูล (คำแนะนำจากเอกสารประกอบ FreeNAS) พูลที่ประกอบด้วยไดรฟ์ 6 vDevs สามตัว (สันนิษฐานว่าเป็นไดรฟ์ 4TB) จะมีความจุที่สามารถใช้งานได้ ~ 48TB และมีความทนทานต่อข้อผิดพลาดในระดับที่ดี (โปรดจำไว้ว่าคุณยังต้องสำรองข้อมูล

เพื่อเพิ่มความเร็วให้กับไฟล์ที่เข้าถึงโดยทั่วไปคุณสามารถโยน SSD สองสามตัวสำหรับ L2ARC (อาจไม่จำเป็นสำหรับแอปพลิเคชันของคุณ แต่มีราคาถูกสำหรับ 120GB SSD)

และตามที่ระบุไว้ใช้ RAM จำนวนมาก 64GB นั้นไม่แพงมากนักเมื่อเทียบกับฮาร์ดแวร์ตัวอื่นในระบบ น่าเสียดายที่ XEON ที่เล็กกว่านั้นไม่สามารถใช้งานได้มากกว่า 32GB คุณสามารถลองได้ แต่ RAM อื่น ๆ จะดีกว่าตามวรรณกรรม ZFS (ฉันใช้ XEON ที่คุณพูดถึงกับ RAM 32GB และอาร์เรย์ Z2 ความจุ 24TB และทำงานได้ดี)

ข้อดีอีกอย่างของ ZFS ก็คือคุณสามารถตั้งค่าสแนปชอตเป็นระยะได้ ด้วยวิธีนี้คุณสามารถคืนค่าเวอร์ชันก่อนหน้าได้อย่างง่ายดายและสแน็ปช็อตนั้นมีพื้นที่มาก นอกจากนี้คุณสามารถทำซ้ำสแนปชอตไปยังชุดข้อมูลอื่น (ภายในหรือระยะไกล) และสามารถทำได้ผ่าน SSH เพื่อความปลอดภัย

ฉันชอบความน่าเชื่อถือของระบบ ZFS ฉันชอบความจริงที่ว่ามันเป็นฮาร์ดแวร์อิสระ !! ระบบใด ๆ ที่สามารถดูไดรฟ์สามารถนำเข้ากลุ่มได้ ไม่มีการพึ่งพาเฟิร์มแวร์และอื่น ๆ ที่สามารถเกิดขึ้นได้กับการจู่โจมของฮาร์ดแวร์ (ไม่ใช่ปัญหากับการ์ดที่ดีกว่า แต่มีราคาแพงกว่าการ์ด HBA และต้องการไดรเวอร์ ฯลฯ

เนื่องจากโพสต์นี้เก่ากว่าคุณน่าจะมีทางออก ถ้าเป็นเช่นนั้นจิตใจบอกเราว่าคุณสร้างอะไร?

ไชโย