การเพิ่มที่เก็บข้อมูล 60TB ไปยังเซิร์ฟเวอร์ SLES 10

ฉันต้องเพิ่มที่เก็บข้อมูล \ staging ไปยังเซิร์ฟเวอร์ SLES 10 ความต้องการคือการนำเสนอปริมาณค่อนข้างมาก (9-20TB แต่ละประมาณ 60TB หรือดังนั้นทั้งหมด) ที่จะใช้ในการจัดเก็บข้อมูลที่เก็บถาวร (ตัวอักษรนี้เป็นห้องสมุด) ซึ่งประกอบด้วยไฟล์ภาพขนาดใหญ่ (150Meg Tiff's ส่วนใหญ่) และ tarballs ขนาดใหญ่ ข้อมูลจะเอนเอียงอย่างท่วมท้นเพื่ออ่าน IO อย่างแน่นอน> 95% และอาจมากกว่า 99%

ที่เก็บข้อมูลได้ถูกซื้อไปแล้ว - เดซี่อาร์เรย์ Dell MD3000 SAS ถูกล่ามโซ่กับ 2 MD1000 ที่มีประชากรเต็มรูปแบบด้วยไดรฟ์ 2TB 7200 RPM SATA, ทั้งหมด 45 ไดรฟ์ สแต็กของอาร์เรย์เชื่อมต่อกันโดยใช้อะแดปเตอร์ SAS ภายนอกแบบคู่สองพอร์ตนั่นคือมี 4 เส้นทางไปยังสแต็ก

ความตั้งใจของฉันคือการกำหนดค่าเหล่านี้เป็นชุดของ 4 ไดรฟ์ที่นั่งอยู่ในกลุ่ม RAID 4 ตัวพร้อมหนึ่ง hot spare ต่ออาร์เรย์ กลุ่มทั้งหมดจะเป็น RAID 6 ที่มีไดรฟ์ 7 หรือ 14 และแต่ละกลุ่ม RAID จะถูกนำเสนอเป็น LUN เดียวโดยใช้ความจุทั้งหมดในกลุ่มนั้น ในด้าน SLES จำเป็นต้องจัดรูปแบบเป็นโวลุ่ม XFS

ฉันมีประสบการณ์ จำกัด กับ SLES (และ Linux โดยทั่วไป) และฉันกำลังมองหาคำแนะนำเกี่ยวกับสิ่งนี้โดยเฉพาะ:

1. มีสิ่งใดที่ต้องระวังเกี่ยวกับเมื่อกำหนดค่าโวลุ่ม XFS ของขนาดนี้ภายใต้ SLES 10 เช่นการตั้งค่าเริ่มต้นจะเป็นไปได้หรือไม่เมื่อได้รับโปรไฟล์ IO?
2. วิธีที่ดีที่สุดในการเริ่มต้น \ partition \ format เหล่านี้คืออะไร ฉันใช้ Parted เพื่อตั้งค่า Disk label และ YAST Partition Manager (ยอมรับค่าเริ่มต้นทั้งหมด) เพื่อสร้างและฟอร์แมตวอลุ่ม XFS สำหรับการทดสอบครั้งแรกของฉัน
3. ฉันจะตั้งค่า multipath ได้อย่างไร เมื่อฉันแสดงปริมาณการทดสอบเริ่มต้นจะปรากฏเป็นอุปกรณ์สี่แยก (/ dev / sdl, / dev / sdm, / dev / sdn และ / dev / sdn) ฉันจะทำอย่างไรเพื่อทำงานกับสิ่งนี้เป็นโวลุ่มเดียว?
4. ในการทดสอบครั้งแรกของฉันฉันเห็นอัตราการถ่ายโอนจากปริมาณ EMC Clariion SAN ที่มีอยู่ประมาณ 30Meg / วินาที นี่มันต่ำกว่าที่ฉันคาดไว้มากถึงแม้ว่าบัญชีของการลงโทษการเขียน RAID 6 ฉันคาดว่าจะเห็นบางอย่างใน ballpark ของ 70-100Meg / วินาที
5. ฉันจะบอกได้อย่างไรว่าทุกอย่างเรียบร้อย - ฉันควรหาข้อผิดพลาด \ คำเตือน ฯลฯ ได้ที่ไหน? ตัวแก้ไขพาร์ติชัน YAST ใช้เวลานานมากในการเปิดตัวอย่างและฉันต้องการเข้าใจว่าทำไม
6. คุณจะแบ่งพาร์ทิชันนี้ให้แตกต่างกันและ \ หรือใช้ระบบไฟล์อื่นและถ้าเป็นเช่นนั้น

เซิร์ฟเวอร์เป็น Dell 2950 - ฉันยังไม่ได้ตรวจสอบรายละเอียดสเป็ค แต่ด้านบนแสดงให้เห็นถึงการใช้ประโยชน์ที่อยู่ในตัวเลขหลักเดียวที่ต่ำที่สุด

ที่งานก่อนหน้าของฉันเรามีปัญหาที่คล้ายกัน เราทำการผลิตท้องฟ้าจำลองและแต่ละเฟรมคือ 64 ล้านพิกเซล รูปภาพขนาดใหญ่จำนวนมาก สิ่งเหล่านี้จะได้รับการประมวลผลสำหรับแต่ละโรงละครด้วยวิธีการอ่านที่ก้าวร้าวเหนือกลุ่มคอมพิวเตอร์

เซิร์ฟเวอร์ในกรณีนี้มีการตั้งค่าการจัดเก็บที่คล้ายกัน อาร์เรย์ RAID ที่ต่อพ่วงภายนอกโดยตรงหลายตัว แต่ละรายการเหล่านี้อยู่ในโวลุ่ม RAID6 ที่เปิดเผยต่อโฮสต์และเพิ่มลงใน VG (กลุ่มวอลุ่ม) ภายใต้ LVM (Logical Volume Manager) แต่ละการแสดง / การผลิตจะได้รับ LV (Logical Volume) ของตัวเองในรูปแบบ XFS ซึ่งเราจะเติบโตไปพร้อมกับโครงการตามที่ต้องการ

หากชุดข้อมูลของคุณค่อนข้างคงที่หรือเติบโตในลักษณะที่คาดการณ์ได้เช่นนี้วิธีการนี้ควรใช้งานได้ดี แต่ระวังวิธีนี้จะมีข้อเสีย คุณต้องจัดการ LV ระดับล่างในที่เก็บข้อมูลของคุณ ผู้ดูแลระบบบางคนชอบวิธีนี้ แต่คนอื่นพยายามหลีกเลี่ยง แต่นี่จะช่วยให้คุณขยายระบบไฟล์ LV และ XFS แต่ละระบบเมื่อชุดข้อมูลเติบโตขึ้น ทำให้ XFS ของคุณเล็กที่สุดเท่าที่จะเป็นไปได้เพื่อที่คุณจะได้ไม่ติดกับ fsck ที่ต้องใช้เวลาหลายปีกว่าจะเสร็จสมบูรณ์ และสามารถทำหน้าที่ควบคุมความเสียหายได้หากระบบไฟล์ลงไปทางใต้

คำเตือน: ถ้าฉันจะตั้งค่าในวันนี้ฉันจะใช้ OpenSolaris และ ZFS ส่วนใหญ่ b / c มันหลีกเลี่ยงปัญหาการจัดการขนาดเล็กและเป็นระบบไฟล์ / ผู้จัดการปริมาณที่เหนือกว่า ดังนั้นคุณอาจต้องการดูที่เช่นกัน

ฉันจะรวมมากขึ้นเพื่อซื้อดิสก์เพิ่มเติมและ RAID 10 พวกเขา

ฉันมีปัญหาที่น่ากลัวกับแผ่นดิสก์ SATA ที่ติดตั้งไฟเบอร์จำนวน 1TB FATA ที่เราซื้อกลับมาสักครู่พวกนี้คือ 1k ปอนด์ต่อแผ่นและฉันเสีย 5% ต่อเดือน! โดยทั่วไปพวกเขาไม่ได้ออกแบบมาสำหรับรอบการทำงานตลอด 24 ชั่วโมงทุกวันและคุณอาจมีปัญหาเดียวกันคือเหตุผลที่ฉันแนะนำ R10

RAID6 เป็นขั้นตอนในทิศทางที่ถูกต้อง แต่ถ้าคุณมีความสามารถฉันจะทิ้งดิสก์ไว้อย่างน้อยหนึ่งแผ่นเป็น hot-spare - หากดิสก์ตายที่ใดก็ได้ในอาเรย์ของคุณมันจะกระโดดเข้ามาและดึงออกในขณะที่รอให้คุณ แทนที่ดิสก์ที่ล้มเหลว ในเรื่องนั้นตรวจสอบให้แน่ใจว่าคุณมีดิสก์สำรองอย่างน้อย 2 หรือ 3 แผ่นในสถานที่พร้อมสำหรับการเปลี่ยนและตรวจสอบให้แน่ใจว่าคุณมีการตั้งค่าการแจ้งเตือนทั้งหมดเพื่อแจ้งให้คุณทราบเมื่อเกิดปัญหา 24x7

สำหรับประสิทธิภาพดิสก์ 2GB นั้นไม่ใช่เรื่องง่ายสำหรับดิสก์ 7.2k และ SAS สามารถทำได้อย่างรวดเร็วดังนั้นฉันจึงคาดว่า 70MBps สำหรับการอ่านตามลำดับที่คุณพูดถึง - randoms และการเขียนค่อนข้างต่ำ

ขออภัยถ้าฉันดูเหมือนว่าเป็นลบฉันเพิ่งจะเก็บข้อมูลไว้นานหลายปีแล้วและสามารถนอนหลับได้อย่างง่ายดายด้วยระบบดิสก์ขององค์กร - ฉันเพิ่งดึงกะ 48/72 ชั่วโมงมากเกินไปที่จะเปลี่ยนเกียร์ระดับล่าง