การเลือกเทคโนโลยี SAN สำหรับ VM Web Servers 100s

ปัญหา

เรามีปัญหาเกี่ยวกับประสิทธิภาพการทำงานบนแพลตฟอร์มที่มีอยู่แล้วดังนั้นฉันจึงเปลี่ยนไปใช้ความคิดแบบกลุ่มเพื่อความเห็นที่สองเกี่ยวกับสิ่งนี้ ปัญหาด้านประสิทธิภาพนั้นเกี่ยวข้องกับ IOPS มากกว่าปริมาณงาน

สถานการณ์

เบลดศูนย์กลาง 16 โฮสต์แต่ละตัวมี RAM 64GB (เป็น Dell M1000e w / M610s แต่อาจไม่เกี่ยวข้อง) 500 VMs เว็บเซิร์ฟเวอร์ทั้งหมด (หรือเทคโนโลยีเว็บที่เกี่ยวข้องเช่น MySQL, load balancer ฯลฯ ) ประมาณ 90% เป็น Linux และ Windows ที่เหลือ ไฮเปอร์ไวเซอร์คือ VMWare vSphere เราจำเป็นต้องจัดเตรียมโฮสต์ HA ดังนั้นที่เก็บข้อมูลในเครื่องจึงไม่พร้อมใช้งาน ดังนั้นโฮสต์จึงมีการ์ด SD สำหรับบูต

พื้นหลังคิดเล็กน้อย

ในขณะนี้เรามีโฮสต์ได้มากถึง 6 โฮสต์ (ศูนย์ใบมีดจะเต็มประสิทธิภาพในช่วงเวลาหนึ่งปีที่การเติบโตปัจจุบัน) และเรากำลังเรียกใช้ iSCSI กับ Dell MD3220i w / MD1220 สำหรับการขยายตัว

ตัวเลือกที่เป็นไปได้ที่เราได้พิจารณาและความคิดทันทีพร้อมกับพวกเขา:

• การแพร่กระจาย VMs ข้ามที่เก็บข้อมูล NFS และการเรียกใช้หน่วยความจำ NFS ที่ตรงตามข้อกำหนดด้านประสิทธิภาพสำหรับ VMs ตามจำนวนที่กำหนด NFS ดูเหมือนว่าจะมีขนาดที่ถูกกว่าเช่นเดียวกับถูกจัดเก็บในระดับบล็อกมากกว่าเล็กน้อยเพื่อให้เราสามารถเคลื่อนย้ายไปมาได้ตามต้องการ
• การเพิ่มตัวควบคุม / เป้าหมาย MD3220i เพิ่มเติม เรามีความกังวลว่าการทำเช่นนี้อาจส่งผลเสียในทางใดก็ตามที่ VMWare จัดการกับเป้าหมายจำนวนมาก
• การแลกเปลี่ยนดิสก์ทั้งหมดจาก Nearline SAS เป็น SSD นี่ควรแก้ปัญหา IOPS ทั้งหมด แต่มีผลข้างเคียงที่ชัดเจนจากการลดความจุในการจัดเก็บข้อมูลของเรา นอกจากนี้ยังมีราคาแพงมาก
• vSphere 5 มีอุปกรณ์เก็บข้อมูล เราไม่ได้ทำการค้นคว้ามากขนาดนี้ แต่มันจะต้องใช้งานได้ดี?

คำถาม

พื้นที่เก็บข้อมูลแบบใดที่คุณจะเรียกใช้ภายใต้สิ่งเหล่านี้ มันไม่จำเป็นต้องขยายไปยังศูนย์ใบมีดอื่นมันแค่ต้องการให้ประสิทธิภาพที่ดีสำหรับ VMs เหล่านั้นทั้งหมด

ฉันไม่ต้องการคำตอบ "ซื้อ SAN x เพราะเป็นคำตอบที่ดีที่สุด" ฉันกำลังมองหาแนวคิดเกี่ยวกับเทคโนโลยี SAN ที่หลากหลาย (iSCSI, FC, FCoE, InfiniBand, NFS, ฯลฯ ) พื้นที่เก็บข้อมูลประเภทต่าง ๆ (SATA, SAS, SSD) และวิธีการจัดการหน่วยเก็บข้อมูล 100s ของ VMs (การรวมกัน, การแยก , Sharding ฯลฯ )

แน่นอนความคิดลิงก์คำแนะนำตัวชี้ ฯลฯ ยินดีต้อนรับในนี้ ฉันชอบที่จะได้ยินความคิดเกี่ยวกับตัวเลือกด้านบนที่เราได้พิจารณาแล้ว

ขอบคุณมากล่วงหน้าสำหรับการป้อนข้อมูลใด ๆ !

อัปเดต 5 มีนาคม '12

บางคำตอบที่ยอดเยี่ยมขอบคุณทุกคนมาก!

จากคำตอบของคำถามนี้ฉันเริ่มคิดว่าเส้นทางต่อไปนี้เป็นวิธี:

• ทำเป็นชั้นเก็บข้อมูลที่มีอยู่ในคลัสเตอร์ VMWare และวางดิสก์ VM ลงบนที่เก็บข้อมูลที่เหมาะสมสำหรับเวิร์กโหลดของพวกเขา
• อาจใช้ประโยชน์จาก SAN ที่สามารถจัดการการจัดวางข้อมูลเพื่อการจัดเก็บที่เหมาะสมโดยอัตโนมัติ
• Infiniband ดูเหมือนจะคุ้มค่าที่สุดในการรับแบนด์วิดท์ที่ต้องการกับโฮสต์อย่างเต็มประสิทธิภาพ

ดูเหมือนจะคุ้มค่ากับการใช้บริการก่อนการขายของผู้ขาย SAN รายใหญ่เพื่อรับสถานการณ์

ฉันจะพิจารณาปัญหานี้ต่อไปอีกซักพัก ในขณะเดียวกันก็ได้รับคำแนะนำเพิ่มเติมที่ได้รับอย่างสุดซึ้ง!

กุญแจสำคัญในแพลตฟอร์มสตอเรจ VMWare ที่ดีคือการทำความเข้าใจกับชนิดของโหลด VMWare ที่สร้างขึ้น

• ก่อนอื่นเนื่องจากคุณโฮสต์เซิร์ฟเวอร์จำนวนมากโดยทั่วไปปริมาณงานจะเป็นแบบสุ่ม มีการสตรีม IO จำนวนมากในเวลาเดียวกันและไม่สามารถแคชล่วงหน้าได้จำนวนมาก
• ประการที่สองมันเป็นตัวแปร ในระหว่างการดำเนินการตามปกติคุณอาจเห็นการอ่านแบบสุ่ม 70% แต่ทันทีที่คุณตัดสินใจย้าย VM ไปยังที่เก็บข้อมูลใหม่หรือบางสิ่งคุณจะเห็นการเขียนเรียงลำดับ 60GB ขนาดใหญ่ หากคุณไม่ระมัดระวังเกี่ยวกับสถาปัตยกรรมสิ่งนี้อาจทำลายความสามารถของที่เก็บข้อมูลของคุณเพื่อจัดการกับ IO ปกติ
• ประการที่สามส่วนเล็ก ๆ ของสภาพแวดล้อมของคุณมักจะสร้างส่วนใหญ่ของภาระงานจัดเก็บ

วิธีที่ดีที่สุดในการสร้างพื้นที่เก็บข้อมูลสำหรับแพลตฟอร์ม VMWare คือเริ่มต้นด้วยพื้นฐาน

• คุณต้องการความสามารถในการให้บริการปริมาณงานอ่านแบบสุ่มขนาดใหญ่ซึ่งหมายถึงไดรฟ์ที่เล็กกว่าเร็วกว่าเช่นเดียวกับ SSD ระบบจัดเก็บข้อมูลที่ทันสมัยส่วนใหญ่อนุญาตให้คุณย้ายข้อมูลโดยอัตโนมัติขึ้นอยู่กับวิธีการเข้าถึง หากคุณจะใช้ SSD คุณต้องแน่ใจว่านี่เป็นวิธีการใช้งานของคุณ มันควรจะมีวิธีการลดจุดร้อนทีละน้อย ไม่ว่าคุณจะใช้ SSD หรือไม่ก็มีประโยชน์ที่จะสามารถนำงานทั้งหมดไปใช้กับไดรฟ์ทั้งหมดดังนั้นบางสิ่งที่มีการรวมหน่วยเก็บข้อมูลจะเป็นประโยชน์
• คุณต้องการความสามารถในการให้บริการการเขียนขนาดใหญ่เป็นระยะ ๆ ซึ่งไม่ได้สนใจเรื่องความเร็วของแกนหมุนของไดรฟ์พื้นฐาน แต่ให้ความสำคัญกับประสิทธิภาพของสแต็กคอนโทรลเลอร์และขนาดของแคช หากคุณมีการแคชแบบมิรเรอร์ (ซึ่งไม่ใช่ทางเลือกยกเว้นว่าคุณเต็มใจกลับไปสำรองข้อมูลเมื่อใดก็ตามที่คุณมีความล้มเหลวของตัวควบคุม) แบนด์วิดท์ระหว่างแคชทั้งสองที่ใช้ในการทำมิเรอร์จะเป็นปัญหาคอขวดของคุณ ตรวจสอบให้แน่ใจว่าสิ่งที่คุณได้รับมีตัวควบคุมความเร็วสูง (หรือคลัสเตอร์) เชื่อมต่อระหว่างกันเพื่อการเขียนแคช ทำอย่างดีที่สุดเพื่อให้ได้เครือข่ายความเร็วสูงที่มีพอร์ตมากเท่าที่คุณจะทำได้ในขณะที่ยังคงความเป็นจริงในราคา กุญแจสำคัญในการทำงานของ front front ที่ดีคือการทำให้โหลดพื้นที่เก็บข้อมูลของคุณข้ามไปยังทรัพยากร front-end มากที่สุดเท่าที่จะเป็นไปได้
• คุณสามารถลดค่าใช้จ่ายอย่างจริงจังด้วยการมีระดับสำหรับการจัดเก็บข้อมูลที่มีลำดับความสำคัญต่ำรวมถึงการจัดเตรียมแบบบาง หากระบบของคุณไม่ได้ทำการโอนย้ายบล็อกแต่ละบล็อกไปยังไดรฟ์ขนาดใหญ่ / ช้าอย่างราคาถูก (เช่น nearline SAS หรือ SATA ที่มีขนาด 7200 RPM และ 2TB +) ลองทำด้วยตนเอง ไดรฟ์ช้าขนาดใหญ่เป็นเป้าหมายที่ยอดเยี่ยมสำหรับการจัดเก็บข้อมูลสำรองการสำรองข้อมูลบางระบบไฟล์และแม้แต่เซิร์ฟเวอร์ที่มีการใช้งานต่ำ
• ยืนยันว่าสตอเรจนั้นถูกรวมเข้ากับ VAAI เพื่อให้ VMWare สามารถจัดสรรส่วนที่ไม่ได้ใช้ของ VM และดาต้าสโตร์ที่ไม่ได้ใช้

การปรับใช้ VMWare ขนาดใหญ่ของฉันคือ NFS และ iSCSI มากกว่า 10GbE นั่นหมายถึงพอร์ต 10GbE HBA แบบดูอัลในเซิร์ฟเวอร์เช่นเดียวกับหัวจัดเก็บข้อมูล ฉันเป็นแฟนของพื้นที่เก็บข้อมูลที่ใช้ ZFS สำหรับเรื่องนี้ ในกรณีของฉันมันถูกล้อมรอบไปด้วยโฆษณา NexentaStorแต่บางคนเลือกที่จะม้วนตัวเอง

คุณสมบัติหลักของหน่วยเก็บข้อมูลที่ใช้ ZFS ในบริบทนี้คือฟังก์ชั่นแคช ARC / L2ARC ช่วยให้คุณสามารถจัดเก็บข้อมูลในระดับชั้นได้ ข้อมูลที่แอคทีฟมากที่สุดจะหามาในหน่วยความจำ RAM และ SSD เป็นระดับที่สอง การรันพูลหน่วยเก็บข้อมูลหลักของคุณจากไดร์ฟ 10k หรือ 15k SAS ก็จะเป็นประโยชน์เช่นกัน

นี่เป็นอีกกรณีของการทำโปรไฟล์และทำความเข้าใจกับภาระงานของคุณ ทำงานกับคนที่สามารถวิเคราะห์รูปแบบการจัดเก็บข้อมูลของคุณและช่วยคุณวางแผน ในด้าน ZFS / NexentaStor ผมชอบPogoStorage วิธีการขนส่ง (FC, FCoE, iSCSI, NFS) อาจไม่สำคัญ คุณมีการตรวจสอบโครงสร้างพื้นฐานที่มีอยู่ของคุณหรือไม่? ตอนนี้กิจกรรม I / O เป็นอย่างไร

คำถามสำคัญคือ: "คอขวดอยู่ที่ไหน" คุณพูดถึง IOPS แต่นั่นหมายความว่าคุณระบุดิสก์ด้วยตนเองในเชิงบวกว่าเป็นคอขวดหรือเพียงแค่ว่าพอร์ต SAN ไม่ทำงานที่ความจุหรือ VMs นั้นมีความหลากหลายมากกว่าที่คุณต้องการ?

หากคุณระบุได้ชัดเจนว่าดิสก์เป็นปัจจัย จำกัด ดังนั้นการเปลี่ยนเป็น NFS หรือ infiniband หรืออะไรก็ตามที่ไม่เกิดขึ้นเพื่อประสิทธิภาพของคุณ - คุณต้องมี SSD (หรือที่เก็บข้อมูลระดับต่ำสุดกับ SSD ในการผสมผสาน) หรือ ทั้งชุดแกนหมุนมากขึ้น (โซลูชั่นที่มีราคาแพงกว่าเมื่อไม่นานมานี้เนื่องจากการผลิตมอเตอร์สเต็ปของโลกถูกล้างลงสู่มหาสมุทร)

หากคุณไม่แน่ใจ 100% ว่าคอขวดนั้นอยู่ที่ใดคุณต้องค้นหาก่อน - ทำการสลับบางส่วนของโครงสร้างพื้นฐานสตอเรจของคุณมากขึ้นหรือน้อยลงโดยการสุ่มจากการคาดเดาของผู้อื่นที่นี่ มีประสิทธิภาพมาก (โดยเฉพาะเมื่อพิจารณาว่าการเปลี่ยนแปลงใด ๆ มีค่าใช้จ่ายสูง)

ถ้าคุณต้องการ iscsi หรือ nfs แล้วคุณจะต้องการพอร์ต 10 / 40gb หรือ infiniband สองสามตัวซึ่งเป็นตัวเลือกที่ถูกที่สุดโดยไกล แต่โซลูชันพื้นที่เก็บข้อมูลดั้งเดิมสำหรับ infiniband ดูเหมือนจะถูก จำกัด ปัญหาจะเป็นโมดูลสำหรับ bladecenter สิ่งที่มีตัวเลือกมัก 8gb fc หรือ 10 \ 1gbe และอาจ infiniband โปรดทราบว่า infiniband สามารถใช้กับ nfs และไม่มีอะไรมาปิดในแง่ของประสิทธิภาพ \ ราคา ถ้าศูนย์ใบมีดรองรับ qdr infiniband ฉันจะทำกับโฮสต์ linux บางชนิดที่มี qdr infiniband tca ผ่าน nfs นี่คือลิงค์ที่ดีที่อธิบายถึงhttp://www.zfsbuild.com/2010/04/15/why-we-chose-infiniband-instead-of-10gige

แต่ถ้า bladecenter สามารถรองรับ qdr infiniband และคุณสามารถจ่าย infiniband ดั้งเดิมได้นั่นคือโซลูชันที่คุณควรเลือก

ขณะนี้คุณสามารถรับสวิตช์ 40gbe ที่ราคาถูกกว่า (นั่นเป็นความคิดที่แปลก) จากนั้นสวิตช์ 10gbe แต่ฉันสงสัยว่าคุณกำลังอยู่ตรงกลางของใบมีดจะให้การสนับสนุน

ที่เก็บในตัวเครื่องไม่ทำงาน ฉันค่อนข้างมีความสุขกับการเขียนทรูพุตบน RAID 5s ในพื้นที่ของฉัน - มิร์เรอร์ด้วย DRBD8 ไปยังคู่ค้าคลัสเตอร์ของเครื่อง XEN ของฉัน ... (แต่นี่คือ "ไม่รองรับ" แน่นอน)

นอกเหนือจากนั้นฉันค่อนข้างแน่ใจว่า mySQL เป็นปัญหาประสิทธิภาพการทำงานของคุณ (ฉันไม่เคยเห็นฐานข้อมูลแย่ลง) ลองปรับมันออกไปและ / หรือพยายามที่จะใส่ฐานข้อมูลทั้งหมดลงในแคชของระบบแฟ้ม (สำหรับการเข้าถึงแบบอ่านได้) ...