150 TB และการเติบโต แต่จะเติบโตได้อย่างไร

กลุ่มของฉันในปัจจุบันมีเซิร์ฟเวอร์จัดเก็บข้อมูลขนาดใหญ่สองเซิร์ฟเวอร์ทั้ง NAS ที่ใช้ debian linux สิ่งแรกคือเซิร์ฟเวอร์ 24-all-in-one (SATA) all-in-one ที่มีอายุหลายปี เรามีฮาร์ดแวร์ RAIDS สองชุดที่ติดตั้งด้วย LVM เหนืออุปกรณ์เหล่านั้น เซิร์ฟเวอร์ตัวที่สองคือดิสก์ 64 ตัวที่แบ่งออกเป็น 4 ส่วนแต่ละตัวเป็นฮาร์ดแวร์ RAID 6 เชื่อมต่อผ่าน SAS ภายนอก เราใช้ XFS กับ LVM เพื่อสร้างพื้นที่เก็บข้อมูลที่ใช้งานได้ 100TB ทั้งหมดนี้ใช้งานได้ดี แต่เรากำลังพัฒนาระบบเหล่านี้ให้สูงขึ้น มีการสร้างเซิร์ฟเวอร์สองเครื่องดังกล่าวและยังคงเติบโตเราต้องการสร้างสิ่งที่ช่วยให้เรามีความยืดหยุ่นมากขึ้นในแง่ของการเติบโตในอนาคตตัวเลือกการสำรองข้อมูลที่ทำงานได้ดีขึ้นภายใต้ความล้มเหลวของดิสก์ (การตรวจสอบระบบไฟล์ ในสภาพแวดล้อมที่พร้อมกันอย่างมาก (คิดว่าคลัสเตอร์คอมพิวเตอร์ขนาดเล็ก) เราไม่มีการสนับสนุนการบริหารระบบ

ดังนั้นสิ่งที่เรามองหาคือโซลูชั่นการจัดเก็บข้อมูลประสิทธิภาพต่ำที่ยอมรับได้ซึ่งจะช่วยให้เกิดการเติบโตในอนาคตและการกำหนดค่าที่ยืดหยุ่น (คิดว่า ZFS ที่มีพูลต่างกัน เราอาจอยู่นอกขอบเขตของ NAS เดียว เราคิดเกี่ยวกับการรวมกันของ ZFS (บน openindiana เป็นต้น) หรือ btrfs ต่อเซิร์ฟเวอร์ที่มี glusterfs ทำงานอยู่ด้านบนถ้าเราทำเอง สิ่งที่เราชั่งน้ำหนักที่ต่อต้านเพียงแค่กระสุนปืนและการลงทุนในโซลูชั่นการจัดเก็บ Isilon หรือ 3Par

ข้อเสนอแนะหรือประสบการณ์ใด ๆ ที่ได้รับการชื่นชม

ฉันหวังว่านี่จะช่วยได้เล็กน้อย ฉันพยายามที่จะไม่ปล่อยให้มันกลายเป็นกำแพงเต็มของข้อความ :)

3PAR / Isilon

หากคุณสามารถและจะอุทิศจำนวนชั่วโมงที่แน่นอนสำหรับคนที่รับบทบาทผู้ดูแลระบบ SAN และอยากสนุกกับชีวิตที่เจ็บปวดด้วยการนอนหลับตอนกลางคืนแทนที่จะทำงานตอนกลางคืนนี่คือวิธีที่ฉันจะไป

SAN ช่วยให้คุณทำทุกสิ่งที่ "หน่วยเก็บข้อมูล" อันเดียวจะ จำกัด คุณ (เช่นเชื่อมต่ออาร์เรย์แฟลช purestorage และสัตว์ประหลาดขนาดใหญ่ 3par sata ไปยังเซิร์ฟเวอร์เดียวกัน) แต่คุณต้องจ่ายให้และรักษาไว้อย่างดีทั้งหมด เวลาที่คุณต้องการใช้ความยืดหยุ่น

ทางเลือก

Amplidata

จุดเด่น: ปรับขนาดราคาถูกออกแบบด้วยแนวคิดที่ดีและเลเยอร์แคชการอ่าน / เขียนโดยเฉพาะ นี่อาจเป็นสิ่งที่ดีที่สุดสำหรับคุณ

RisingTideOS

ซอฟต์แวร์เป้าหมายของพวกเขาถูกใช้ในการจัดเก็บ linux เกือบทั้งหมดในขณะนี้และมันช่วยให้การจัดการที่ดีขึ้นเล็กน้อยกว่าสิ่งที่ linux / gluster ธรรมดาสามารถทำได้ (อิมโฮ) เวอร์ชั่นเชิงพาณิชย์อาจจะดูมีค่า

Gluster / btrfs

PRO: ตาชั่งและ "อิฐ" ให้เลเยอร์นามธรรมที่ดีสำหรับการจัดการ

CON: ครั้งแรกที่ฉันได้รับ PITA ทั้งหมดสำหรับฉัน มันไม่แข็งแกร่งและความล้มเหลวอาจเป็นได้ทั้งอิฐหรือนำออกมาทุกอย่าง ขณะนี้มี RedHat ในการควบคุมมันจริงอาจกลายเป็นสิ่งที่ทำงานและฉันได้พบแม้กระทั่งคนที่สามารถเชื่องมันเพื่อให้มันทำงานมานานหลายปี และอันที่สองก็ยังคงเป็นการทดลองครึ่งหนึ่ง โดยปกติ FS จะต้องใช้เวลา 3-4 ปีหลังจาก "เสร็จสิ้น" จนกว่าจะได้รับการพิสูจน์และมีประสิทธิภาพ หากคุณสนใจข้อมูลคุณจะพิจารณาสิ่งนี้ทำไม เมื่อพูดถึงการทดลองแล้วการสนับสนุนเชิงพาณิชย์ของ Ceph ใกล้จะแล้ว แต่คุณต้องติดกับเลเยอร์ "RBD" FS นั้นยังไม่ผ่านการทดสอบอย่างดีพอ ฉันต้องการทำให้ชัดเจนแม้ว่า Ceph นั้นน่าดึงดูดยิ่งกว่าในระยะยาว :)

ZFS

Pro: คุณสมบัติที่ทำให้เล็บอยู่ในโลงศพของสิ่งอื่น คุณสมบัติเหล่านั้นได้รับการออกแบบมาอย่างดี (คิดว่า L2ARC) และการบีบอัด / การลบข้อมูลซ้ำซ้อนเป็นเรื่องสนุก มี "กลุ่มการจัดเก็บ" มากกว่าหมายถึงการมีความล้มเหลวเล็ก ๆ น้อย ๆ แทนการรวมบูมขนาดใหญ่หนึ่งครั้ง

คอนดิชั่น: การดูแลรักษากล่องซอฟต์แวร์ขนาดเล็กจำนวนมากแทนที่จะเป็นที่เก็บข้อมูลจริง จำเป็นต้องรวมเข้าด้วยกันและใช้เวลา $$$ เพื่อให้การตั้งค่ามีประสิทธิภาพ

เส้นทาง XFS + LVM เป็นหนึ่งในตัวเลือกที่ดีที่สุดสำหรับโซลูชันสตอเรจ Linux ที่บริสุทธิ์ในช่วงไม่กี่ปีที่ผ่านมา ฉันสนับสนุนให้คุณอยู่ที่นั่นแล้ว ตอนนี้คุณต้องเติบโตมากขึ้นคุณก็มีตัวเลือกเพิ่มเติมให้คุณ

อย่างที่คุณทราบผู้จำหน่ายฮาร์ดแวร์รายใหญ่นั้นมีหัว NAS สำหรับการจัดเก็บ นี่จะทำให้คุณมีผู้ขายรายเดียวที่จะทำงานร่วมกันเพื่อทำให้ทุกอย่างเกิดขึ้นและมันก็ใช้ได้ดีทีเดียว พวกเขาเป็นโซลูชั่นที่ง่ายต่อการเข้า (เทียบกับ DIY) และการบำรุงรักษาต่ำ แต่พวกเขามีราคาค่อนข้างมาก ในอีกด้านหนึ่งคุณจะมีทรัพยากรทางวิศวกรรมมากขึ้นสำหรับการแก้ปัญหาหลักของคุณมากกว่าปัญหาโครงสร้างพื้นฐาน ในทางกลับกันถ้าคุณชอบแผนกของมหาวิทยาลัยส่วนใหญ่ที่ฉันรู้จักกำลังคนนั้นค่อนข้างถูกเมื่อเทียบกับการจ่ายเงินสดสำหรับสิ่งต่าง ๆ

การไปตามเส้นทางของ DIY คุณมีตัวเลือก DIY ที่คุณชื่นชมเป็นอย่างดี ZFS / BTRFS เป็นเส้นทางการอัพเกรดที่ชัดเจนจาก XFS + LVM สำหรับจัดเก็บข้อมูลออก ฉันคัดท้ายชัดเจนของ BTRFS จนกว่าจะได้รับการประกาศ 'เสถียร' ในเคอร์เนล mainline Linux ซึ่งน่าจะเร็ว ๆ นี้ในขณะนี้ที่ distros ฟรีที่สำคัญหลายแห่งใช้เป็นระบบไฟล์เริ่มต้น สำหรับ ZFS ฉันขอแนะนำให้ใช้ฐาน BSD แทนที่จะเป็น OpenIndiana เพียงเพราะมันใช้เวลานานกว่าและมีข้อผิดพลาด (เพิ่มเติม) เกิดขึ้น

Gluster ได้รับการออกแบบสำหรับกรณีการใช้งานที่คุณอธิบายที่นี่ สามารถทำแบบจำลองเช่นเดียวกับการนำเสนอเซิร์ฟเวอร์เสมือนเดียวที่มีที่เก็บข้อมูลจำนวนมากติดอยู่ ไดรฟ์ข้อมูลแบบกระจายของพวกเขาฟังดูเหมือนสิ่งที่คุณต้องการเนื่องจากกระจายไฟล์ไปทั่วเซิร์ฟเวอร์จัดเก็บข้อมูลทั้งหมดในโวลุ่มที่ประกาศ คุณสามารถเพิ่มเซิร์ฟเวอร์หน่วยเก็บข้อมูลแยกเพื่อดำเนินการต่อเพื่อขยายระดับเสียงที่มองเห็น พื้นที่ชื่อเดียว!

gotcha with Gluster คือมันทำงานได้ดีที่สุดเมื่อไคลเอ็นต์ของคุณสามารถใช้ Gluster Client เพื่อเข้าถึงระบบแทนตัวเลือก CIFS หรือ NFS เนื่องจากคุณใช้งานคลัสเตอร์แบบคำนวณขนาดเล็กคุณอาจจะสามารถใช้งานไคลเอนต์ GlusterFS ได้

คุณมาถูกทางแล้ว

เท่าที่ฉันเข้าใจคุณสามารถใช้โซลูชัน SAN ที่ใช้ Linux SCST + FibreChannel หรือ infiniband ซึ่งตอนนี้ฉันกำลังสร้าง เป็นพื้นฐานสำหรับ LUNs คุณสามารถใช้ LVM ด้านบนของ RAID ฮาร์ดแวร์และดูแล snapshots / การจำลองแบบ (ใช้ DRBD เป็นตัวอย่าง) ต่ำกว่าระดับระบบไฟล์ ในฐานะที่เป็นระบบไฟล์ฉันไม่ได้ตระหนักถึงวิธีแก้ปัญหาที่ดีสำหรับความมั่นใจเนื่องจากฉันวาง ESXi ไว้ด้านบนของโหนดดังนั้นดาต้าสโตร์จึงถูกจัดการโดย ESX concurrent FS ฉันคิดว่า GFS2 อาจทำงานได้กับสภาพแวดล้อมนั้น แต่ฉันไม่แน่ใจ 100% อย่างที่คุณควรตรวจสอบข้อกำหนดที่แม่นยำของคุณ อย่างไรก็ตามเมื่อคุณมี SAN ที่แข็งแกร่งภายใต้โหนดของคุณมันค่อนข้างง่ายที่จะทำสิ่งต่าง ๆ ให้สำเร็จ