ตัวเลือกระบบไฟล์ที่ดีที่สุดสำหรับ NFS ที่เก็บอิมเมจดิสก์ VMware

ขณะนี้เราใช้ iSCSI SAN เป็นที่เก็บข้อมูลสำหรับเซิร์ฟเวอร์ VMware ESXi หลายเครื่อง ฉันกำลังตรวจสอบการใช้เป้าหมาย NFS บนเซิร์ฟเวอร์ Linux สำหรับเครื่องเสมือนเพิ่มเติม ฉันยังเปิดรับแนวคิดในการใช้ระบบปฏิบัติการทางเลือก (เช่น OpenSolaris) หากจะให้ประโยชน์ที่สำคัญ

ระบบไฟล์ที่ใช้ระบบปฏิบัติการ Linux รองรับไฟล์ที่มีขนาดใหญ่มาก (เช่นดิสก์อิมเมจของ VMware) หรืออีกวิธีหนึ่งที่ผู้คนค้นพบ ZFS บน OpenSolaris สำหรับปริมาณงานประเภทนี้?

( แต่เดิมคำถามนี้ถูกถามใน SuperUser คุณสามารถโยกย้ายคำตอบได้ที่นี่หากคุณรู้วิธี)

ฉันขอแนะนำให้คุณดูที่ ZFS แต่เพื่อให้ได้ประสิทธิภาพที่เหมาะสมคุณจะต้องเลือกอุปกรณ์เฉพาะเป็น ZFS Intent Log (ZIL) โดยทั่วไปนี่เป็นอุปกรณ์ขนาดเล็ก (ไม่กี่ GB) ที่สามารถเขียนได้อย่างรวดเร็วมาก (20-100K IOPS) ซึ่งช่วยให้ ZFS ยืนยันได้ทันทีว่าการเขียนนั้นได้ซิงค์กับที่เก็บข้อมูลแล้ว แต่รอจนถึง 30 วินาทีเพื่อทำการเขียนลงในฮาร์ดดิสก์ สระว่ายน้ำของคุณ ในกรณีที่เกิดความผิดพลาด / ไฟดับธุรกรรมใด ๆ ที่ไม่ได้รับการยอมรับใน ZIL จะถูกเล่นซ้ำบนเมานท์ ดังนั้นนอกเหนือจาก UPS คุณอาจต้องการไดรฟ์ที่มีแหล่งจ่ายไฟภายใน / ตัวเก็บประจุซุปเปอร์เพื่อให้ IO ที่ค้างอยู่ทำให้การจัดเก็บถาวรในกรณีที่ไฟฟ้าดับ หากคุณเลือกที่จะไม่ใช้อุปกรณ์ ZIL โดยเฉพาะการเขียนอาจมีเวลาแฝงสูงซึ่งนำไปสู่ปัญหาทุกประเภท สมมติว่าคุณไม่สนใจซัน

• DDRDrive X1 - 4GB DDR2 + 4GB SLC Flash ในการ์ด PCIe x1 ที่ออกแบบมาอย่างชัดเจนสำหรับการใช้งาน ZIL เขียนไปที่ RAM; ในกรณีที่ไฟฟ้าดับจะซิงค์ RAM กับ NAND ใน <60 วินาทีโดยใช้พลังงานจากซูเปอร์คาปาซิเตอร์ (50k-300k IOPS; $ 2000 Direct, $ 1500 สำหรับ. edu)
• Intel X25-E 32GB 2.5 นิ้ว SSD (SLC แต่ไม่มีขีดสูงสุด, 3300 เขียน IOPS); [$ 390 @ Amazon] [11]
• OCZ Vertex 2 Pro 40GB 2.5 นิ้ว SSD (supercap แต่ MLC, 20k-50k เขียน IOPS); $ 435 @ Amazon

เมื่อคุณติดตั้ง OpenSolaris / Nexenta + ZFS แล้วคุณจะสามารถย้ายบล็อกระหว่างกล่อง OpenSolaris และ ESX ได้ สิ่งที่เหมาะสมสำหรับคุณขึ้นอยู่กับโครงสร้างพื้นฐานที่มีอยู่ (สวิตช์ L3, การ์ดไฟเบอร์) และลำดับความสำคัญของคุณ (ความซ้ำซ้อน, เวลาในการตอบสนอง, ความเร็ว, ราคา) แต่เนื่องจากคุณไม่ต้องการใบอนุญาตพิเศษเพื่อปลดล็อคการทำงานของ iSCSI / FC / NFS คุณสามารถประเมินสิ่งที่คุณมีฮาร์ดแวร์และเลือกรายการโปรดของคุณ:

• เป้าหมาย iSCSI (โอเวอร์เฮดของ CPU ไม่รองรับ TOE ใน OpenSolaris)
• เป้าหมายของ Fibre Channel (การ์ดไฟเบอร์ไม่ถูก)
• NFS (VMWare + NFS สามารถเลือกได้อย่าง จำกัด เพียง 32 ครั้ง)

หากคุณไม่สามารถใช้จ่าย $ 500 สำหรับการประเมินผลให้ทดสอบโดยปิดและไม่ใช้ ZILเพื่อดูว่า ZIL เป็นคอขวดหรือไม่ (อาจเป็น) อย่าทำอย่างนี้ในการผลิต อย่ายุ่งกับการขจัดข้อมูลซ้ำซ้อนของ ZFS ยกเว้นกรณีที่คุณมี RAM จำนวนมากและ SSD สำหรับ L2ARC เป็นเรื่องที่ดีมากเมื่อคุณทำการเซ็ตอัพ แต่คุณลองทำการปรับแต่ง NFSก่อนที่จะเล่นซ้ำ เมื่อคุณได้รับลิงก์ 1-2 Gb ที่อิ่มตัวมีโอกาสเติบโตใน 8gb FC, 10gigE และ infiniband แต่แต่ละรายการต้องการการลงทุนที่สำคัญแม้กระทั่งการประเมินผล

ฉันจะไม่ทำสิ่งนี้ จากประสบการณ์ของฉัน Linux (โดยเฉพาะ CentOS 3/4/5) เป็นตัวเลือกที่ไม่ดีสำหรับเซิร์ฟเวอร์ NFS ฉันมีหลายอย่างและพบว่าภายใต้ภาระความล่าช้าและปริมาณงานมีแนวโน้มลดลงด้วยเหตุผลที่เราไม่เคยได้รับความสนใจ

ในกรณีของเราเรากำลังเปรียบเทียบประสิทธิภาพของ Linux ย้อนกลับไปด้านหลังกับ Solaris (บน Ultra-SPARC) และ NetApp; ซึ่งทั้งสองอย่างส่งคืนผลลัพธ์ในแง่ของประสิทธิภาพแอปเปิ้ลต่อแอปเปิ้ลและในแง่ที่คลุมเครือของ "วิศวกรไม่ได้บ่นอะไรเกี่ยวกับความหน่วงแฝงเมื่อเซิร์ฟเวอร์อยู่ภายใต้ภาระงาน" มีความพยายามหลายครั้งในการปรับแต่งเซิร์ฟเวอร์ Linux NFS ทั้งระบบ NetApps และ Solaris ทำงานตามสภาพที่เป็นอยู่นอกกรอบ และเนื่องจากทั้งระบบที่เกี่ยวข้องกับ Solaris และ NetApp นั้นเก่ากว่าเซิร์ฟเวอร์ Linux จึงอาจเป็นที่ถกเถียงกันว่ามีข้อดีทุกอย่างและยังคงล้มเหลวในการโน้มน้าวใจ

หากคุณมีเวลามันจะคุ้มค่าในขณะที่การทดลองตั้งค่าฮาร์ดแวร์เดียวกันกับ OpenSolaris (ตอนนี้ Solaris แพงเกินไปที่จะใช้), Linux และบางทีอาจเป็นตัวแปร BSD หรือสองตัวและแข่งกัน หากคุณสามารถวัดประสิทธิภาพได้ (ตัวอย่างเช่นจำนวนดิสก์ I / O ใน VM ที่โฮสต์อยู่นอกร้านค้า) อาจเป็นกระดาษขาวหรือบทความทางอินเทอร์เน็ตที่น่าสนใจ (ถ้าคุณมีเวลา)

เกี่ยวกับ NFS โดยทั่วไปแล้วคนเน็ตแอพบอกฉันหลายครั้งว่าการวัดประสิทธิภาพของพวกเขาแสดงให้เห็นว่า NFS มีค่าใช้จ่ายเพียง 5 ถึง 10% ในการทำงานสำหรับ VMs - และหากแอปพลิเคชันของคุณอ่อนไหวมากพอว่านี่เป็นปัญหา มันในสถานที่แรก

แต่ฉันควรสารภาพว่าหลังจากเวลาและน้ำตาร้านค้าการผลิตในท้องถิ่นของเราจะถูกป้อนโดย iSCSI ส่วนใหญ่มาจาก NetApp

เราใช้ OpenSolaris 2009/06 กับการกำหนดค่า RAID 10 ZFS เพื่อให้ NFS แก่เซิร์ฟเวอร์ VMWare ESXi ของเรา มันใช้งานได้ดีพอสำหรับความต้องการของเราจนถึงตอนนี้ เรากำลังใช้ไดรฟ์ประเภท SATA Raid (ไดรฟ์ Seagate ES.2 1TB) เรายังคงมีการปรับจูนที่จะทำอย่างไร

ฉันเป็นแฟนตัวยงของ NFS datastores สำหรับ VMware, NetApp มีการใช้งานที่ยอดเยี่ยม

TR-3808เปรียบเทียบการปรับขนาดของ NetApp FC, iSCSI และ NFS ที่เชื่อมต่อกับดาต้าสโตร์ซึ่งเป็นการอ่านที่ยอดเยี่ยม

คุณอาจต้องการพิจารณาข้อผิดพลาด 3 ปีกับ ZFS ARC ที่ยังคงมีอยู่ก่อนที่จะกระโดดลงลึกเกินไปกับ ZFS ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(อันนี้น่ารังเกียจเพราะมันจะออกนอกขอบเขตจากขีด จำกัด VM ของไฮเปอร์ไวเซอร์!)