แถบ ZFS ที่ด้านบนของฮาร์ดแวร์ RAID 6 อาจมีข้อผิดพลาดอะไรบ้าง


9

ฉันมี HDD SAN ขนาด 36 * 4TB ตัวควบคุม RAID ไม่รองรับ RAID60 และไม่เกิน 16 HDD ในกลุ่ม RAID กลุ่มเดียว ฉันจึงตัดสินใจสร้างกลุ่ม RAID6 2 กลุ่มจาก 16HDD หรือ 4 จาก 8 HDD ฉันต้องการได้รับพื้นที่เก็บข้อมูลทั้งหมดเป็นหนึ่งพาร์ติชัน

ดังนั้นสิ่งที่อาจผิดไปถ้าฉันจะใช้พูล zfs ที่ด้านบนของฮาร์ดแวร์ RAID6 ใช่ฉันรู้ว่าขอแนะนำอย่างยิ่งให้ใช้ HDD ดั้งเดิมหรือโหมดส่งผ่าน แต่ฉันไม่มีตัวเลือกนี้

หรือฉันควรอยู่ให้ห่างจาก ZFS และการบุกตรวจค้นซอฟต์แวร์ในสถานการณ์นี้ (ฉันส่วนใหญ่สนใจในการบีบอัดและภาพรวม)


2
หากคุณกำลังจะใช้ ZFS แล้วทำไมไม่เพียงแค่เปิดเผยดิสก์ทั้งหมด (บางครั้งเรียกว่าโหมด HBA) และให้ ZFS จัดการมัน - มันเป็นสิ่งที่ดีที่สุด เรามีผู้เชี่ยวชาญที่แท้จริงจำนวนมากในที่นี้ (ewwhite สำหรับการเริ่มต้น) ที่จะช่วยคุณในเรื่องนี้ - คุณใช้คอนโทรลเลอร์ดิสก์อะไรที่แน่นอน
Chopper3

1
คุณจะล้มล้างฟีเจอร์ ZFS จำนวนมากโดยใช้วิธีนี้ แต่โดยรวมแล้วมันจะไม่ทำร้ายอะไรที่จะทำแบบนี้ การตรวจสอบการใช้เป็นประโยชน์เล็กน้อยในการกำหนดค่านี้เนื่องจากคอนโทรลเลอร์ RAID จะแยกรายละเอียดดิสก์ทั้งหมดออก ฉันสนใจมากขึ้นว่าทำไมคุณถึงบอกว่าคุณไม่สามารถใช้ JBOD ได้ มั่นใจได้ว่า 3530 เป็นหน่วยที่สามารถใช้งาน JBOD ได้
Spooler

2
ฉันจะรอ ewwhite - เขาอยู่ในสหรัฐฯตอนกลางดังนั้นนอนหลับ แต่เขารู้ดีกว่า ZFS ทุกคนที่ฉันรู้
Chopper3

1
@Severgun ยังมี HDD อีก 4 ตัวที่ไร้ประโยชน์เพราะไม่จำเป็นต้องใช้ hotspareคุณคิดว่ามันจะดีกว่าสำหรับ RAID array ที่มีไดรฟ์ที่ล้มเหลวที่จะปวกเปียกพร้อมกับในโหมดที่เสื่อมโทรมกว่าการรับอะไหล่ร้อนสร้างใหม่และกลับมาอย่างเต็มที่ สถานะการทำงาน?
Andrew Henle

1
@ Chopper3 ฉันจะตอบ ... อย่างไม่เต็มใจ
ewwhite

คำตอบ:


5

ฉันจึงตัดสินใจสร้างกลุ่ม RAID6 2 กลุ่มจาก 16HDD หรือ 4 จาก 8 HDD

นั่นไม่ใช่วิธีที่ดีที่สุดในการทำสิ่งต่าง ๆ มันอาจทำงานได้ดีพอ แต่ขึ้นอยู่กับความต้องการด้านประสิทธิภาพของคุณก็อาจไม่ได้

ขนาดที่เหมาะสำหรับอาเรย์ RAID5 / 6 นั้นจะเป็นข้อมูลที่หลากหลายของข้อมูลที่ "ครอบคลุม" อาเรย์นั้นตรงกับขนาดบล็อกของระบบไฟล์ที่อยู่ด้านบน

RAID5 / 6 อาร์เรย์ทำงานเป็นอุปกรณ์บล็อก - บล็อกหนึ่งของข้อมูลครอบคลุมดิสก์ในอาร์เรย์และบล็อกนั้นยังมีข้อมูลพาริตีด้วย คอนโทรลเลอร์ RAID ส่วนใหญ่จะเขียนข้อมูลขนาดใหญ่ถึงสองแผ่นลงในดิสก์แต่ละชุดในอาเรย์ - ค่าที่แน่นอนซึ่งสามารถกำหนดค่าได้ในระบบ RAID ที่ดีกว่า - และหน่วย Dot Hill ของคุณเป็นหนึ่งใน "ระบบ RAID ที่ดีกว่า" นั่นเป็นสิ่งสำคัญ

ดังนั้นจึงใช้ N x (จำนวนข้อมูลที่เก็บต่อดิสก์กลุ่ม) เพื่อขยายอาร์เรย์โดยที่ N คือจำนวนดิสก์ข้อมูล อาร์เรย์ RAID 5 ดิสก์มีดิสก์ 4 "ข้อมูล" และอาร์เรย์ RAID6 10 ไดรฟ์มีดิสก์ข้อมูล 8 ชุด

เพราะเมื่อข้อมูลถูกเขียนไปยังอาเรย์ RAID5 / 6 ถ้าบล็อกของข้อมูลมีขนาดใหญ่พอที่จะครอบคลุมอาเรย์ทั้งหมดความเท่าเทียมกันจะถูกคำนวณสำหรับข้อมูลนั้น - โดยปกติจะอยู่ในหน่วยความจำของคอนโทรลเลอร์ - จากนั้นแถบทั้งหมดจะถูกเขียน ดิสก์. ง่ายและรวดเร็ว

แต่ถ้าข้อมูลที่กำลังเขียนไม่ใหญ่พอที่จะครอบคลุมทั้งอาเรย์คอนโทรลเลอร์ RAID ต้องทำอะไรเพื่อคำนวณข้อมูลพาริตีใหม่ คิดเกี่ยวกับมัน - มันต้องการข้อมูลทั้งหมดในแถบทั้งหมดเพื่อคำนวณข้อมูลพาริตีใหม่

ดังนั้นถ้าคุณสร้างอาร์เรย์ RAID6 16- ไดรฟ์ด้วยค่าเริ่มต้นต่อดิสก์กลุ่มขนาด 512kb นั่นหมายความว่าใช้เวลา 7 MB เพื่อ "ขยาย" อาร์เรย์

ZFS ทำงานในบล็อกขนาด 128kb โดยทั่วไป

ดังนั้น ZFS จึงเขียนบล็อก 128kB - ไปยังอาร์เรย์ RAID6 16 ไดรฟ์ ในการกำหนดค่าที่คุณกำลังเสนอนั่นหมายถึงตัวควบคุม RAID ต้องอ่านเกือบ 7 MB จากอาร์เรย์และคำนวณความเท่าเทียมกันใน 7 เมกะไบต์เหล่านั้น จากนั้นเขียนว่าทั้ง 7 MB กลับสู่ดิสก์

หากคุณโชคดีทุกอย่างมันอยู่ในแคชและคุณจะไม่ได้รับความนิยมอย่างมาก (นี่คือหนึ่งในเหตุผลสำคัญที่ตำแหน่ง "ไม่ใช้ RAID5 / 6" มีดังต่อไปนี้ - RAID1 [0] ไม่ได้รับผลกระทบจากสิ่งนี้)

หากคุณโชคไม่ดีและคุณไม่ได้จัดแนวพาร์ติชันระบบไฟล์ของคุณอย่างเหมาะสม 128kB บล็อกนั้นจะครอบคลุมแถบ RAID สองแถบที่ไม่ได้อยู่ในแคชและคอนโทรลเลอร์จำเป็นต้องอ่าน 14 MB เพื่อคำนวณความเท่าเทียมกัน ทั้งหมดเพื่อเขียนหนึ่ง 128kB บล็อก

ตอนนี้ว่าเป็นสิ่งที่ต้องเกิดขึ้นมีเหตุผล มีการปรับแต่งมากมายที่คอนโทรลเลอร์ RAID ที่ดีสามารถใช้เพื่อลดการโหลด IO และการคำนวณของรูปแบบ IO ดังกล่าวดังนั้นจึงอาจไม่เลว

แต่ภายใต้ภาระหนักในการเขียนบล็อกขนาด 128kB ไปยังสถานที่สุ่มมีโอกาสดีมากที่ประสิทธิภาพของอาร์เรย์ RAID6 แบบ 16 ไดรฟ์ที่มีขนาดแถบ 7 MB จะแย่มากอย่างแน่นอน

สำหรับ ZFS นั้น RAID5 / 6 LUNs ต้นแบบ "อุดมคติ" สำหรับระบบไฟล์วัตถุประสงค์ทั่วไปที่การเข้าถึงส่วนใหญ่จะสุ่มอย่างมีประสิทธิภาพจะมีขนาดแถบที่เป็นตัวหารแม้กระทั่ง128kB เช่น 32kB, 64kB หรือ 128kB ในกรณีนี้จะ จำกัด จำนวนของดิสก์ข้อมูลในอาเรย์ RAID5 / 6 ถึง 1 (ซึ่งเป็นแบบไร้สาระ - แม้ว่าจะเป็นไปได้ที่จะกำหนดค่ามันจะดีกว่าถ้าใช้ RAID1 [0]), 2, 4 หรือ 8 ในสถานการณ์ที่ดีที่สุดจะใช้ขนาดแถบ 128kB สำหรับ RAID5 / 6 แต่กรณีที่ดีที่สุดไม่ได้เกิดขึ้นบ่อยครั้งในระบบไฟล์ที่ใช้งานทั่วไป - บ่อยครั้งเนื่องจากระบบไฟล์ไม่ได้จัดเก็บข้อมูลเมตาเหมือนกัน จัดเก็บข้อมูลไฟล์

ฉันขอแนะนำให้ตั้งค่า RAID5 5-disk arrays หรือ 10-disk RAID6 arrays ด้วยขนาดของ chunk per-disk ที่มีขนาดเล็กพอที่จำนวนของข้อมูลที่จะขยายทั้ง array array คือ 64kB (ใช่แล้วฉันได้ทำสิ่งนี้แล้ว ก่อนหน้าสำหรับ ZFS - หลายครั้ง) นั่นหมายความว่าสำหรับอาเรย์ RAID ที่มีดิสก์ข้อมูล 4 ขนาดต่อชิ้นดิสก์ควรมีขนาด 16kB ในขณะที่สำหรับอาเรย์ RAID แบบ 8 ดาต้าดิสก์ข้อมูลขนาดดิสก์ต่อชิ้นควรมีขนาด 8kB

แล้วให้ ZFS จะใช้ทั้งอาร์เรย์ - ไม่ได้แบ่งพาร์ติชันมัน ZFS จะจัดตำแหน่งตัวเองอย่างถูกต้องกับไดรฟ์ทั้งหมดไม่ว่าจะเป็นไดรฟ์แบบดิสก์เดี่ยวหรืออาร์เรย์ RAID ที่นำเสนอโดยคอนโทรลเลอร์ RAID

ในกรณีนี้และโดยที่ไม่ทราบถึงความต้องการพื้นที่และประสิทธิภาพที่แน่นอนของคุณฉันขอแนะนำให้ตั้งค่าอาร์เรย์ RAID6 10 ไดรฟ์สามตัวหรืออาร์เรย์ RAID5 5 ไดรฟ์ 5 ตัวพร้อมขนาดแถบ 64kB กำหนดค่าสเปคคู่ร้อนและประหยัดสี่ของคุณ ดิสก์สำหรับสิ่งที่เกิดขึ้นในอนาคต เพราะบางสิ่งจะ

แน่นอนที่สุดฉันจะไม่ใช้ระบบดิสก์นั้นในโหมด JBOD - เป็นอุปกรณ์ที่รองรับ NEBS ระดับ 3ที่ให้ความน่าเชื่อถือและการปกป้องความพร้อมใช้งานที่ติดตั้งไว้ในฮาร์ดแวร์ อย่าโยนมันทิ้งไปเพียงเพราะ "ZFS !!!!" หากเป็นชิ้นส่วนฮาร์ดแวร์สินค้าราคาถูกที่คุณรวมเข้าด้วยกันจากชิ้นส่วน ใช่โหมด JBOD พร้อม ZFS ที่จัดการกับ RAID นั้นดีที่สุด - แต่นั่นไม่ใช่ฮาร์ดแวร์ที่คุณมี ใช้คุณสมบัติที่ฮาร์ดแวร์มีให้


นั่นหมายความว่าสำหรับอาเรย์ RAID ที่มีดิสก์ข้อมูล 4 ขนาดต่อชิ้นดิสก์ควรมีขนาด 16kB ในขณะที่สำหรับอาเรย์ RAID แบบ 8 ดาต้าดิสก์ขนาดต่อชิ้นดิสก์ควรมีขนาด 32kB ฉันสับสนกับคณิตศาสตร์นี้เล็กน้อย ทำไม 8 ดิสก์ - 32kB อัน แก้ไขให้ฉันถ้าฉันผิด: 128kB (บล็อก ZFS) / 3 (อาร์เรย์ RAID) = 43 kB ต่ออาร์เรย์ RAID RAID6 จาก 10 ดิสก์ 43kB / 8 = 5kB (ไม่พร้อมใช้งาน chunksize) ที่ใกล้เคียงที่สุด 8kB chunksize ยังไม่พร้อมใช้งานโดยฮาร์ดแวร์ ดังนั้นประสิทธิภาพที่ดีที่สุดไม่สามารถเข้าถึงได้?
Severgun

@Severgun ฉันใส่ขนาดชิ้นไปข้างหลัง ปัญหาในการตั้งเป้าหมายเพื่อประสิทธิภาพที่ดีที่สุดอย่างสมบูรณ์บน RAID5 / 6 คือมันจะเกิดขึ้นก็ต่อเมื่อการทำงานของ IO เกือบทั้งหมดตรงกับขนาดของแถบอาเรย์ RAID จำนวนการปฏิบัติการ IO ที่น้อยกว่าขนาดแถบอาจทำให้ประสิทธิภาพลดลงอย่างมาก การใช้ขนาดบล็อกเล็กลงจะช่วย จำกัด ผลกระทบของการเขียนบล็อกเล็ก ๆ แบบสุ่ม จากประสบการณ์ของผมดีกว่าที่จะยอมแพ้ 1-2% ของประสิทธิภาพสูงสุดเท่าที่จะเป็นไปได้เพื่อแลกกับการ จำกัด กรณีที่แย่ที่สุด ระบบไฟล์ที่ใช้งานทั่วไปมีแนวโน้มที่จะมีการเขียนจำนวนน้อย
Andrew Henle

(ต่อ) 8 ดิสก์ข้อมูลในอาร์เรย์ RAID5 / 6 ที่มีขนาดก้อน 16kB ต่อดิสก์ทำให้มีขนาดแถบ 128kB ทั่วทั้งอาร์เรย์ ในทำนองเดียวกัน 32kB chunks สำหรับอาร์เรย์ 4 ดิสก์ข้อมูล ZFS เขียนบล็อกข้อมูลไฟล์ขนาด 128kB ไปยังอุปกรณ์เดียวซึ่งจะไม่แยกระหว่าง zdevs ทั้งหมด อย่างไรก็ตามอีกครั้งสำหรับระบบไฟล์ที่ใช้งานทั่วไปจะมีการเขียนย่อยมากถึง 128kB ดังนั้นขนาดแถบที่เล็กกว่า (64kB) จะช่วยลดประสิทธิภาพการทำงานที่ดีขึ้นภายใต้ภาระการเขียนที่หนัก แต่ในราคาที่ถูกที่สุด ประสิทธิภาพของเคส
Andrew Henle

4

โอเคฉันจะกัด ...

นี่คือฮาร์ดแวร์ที่ไม่ถูกต้องสำหรับแอปพลิเคชัน การตั้งค่า DotHill นั้นมีข้อ จำกัด เช่นเดียวกับ HP StorageWorks MSA2000 / P2000 ซึ่งมีไดรฟ์เพียง 16 ตัวเท่านั้นที่สามารถใช้ในการจัดกลุ่มอาเรย์เดี่ยว

ZFS บนฮาร์ดแวร์ RAID หรือ SAN LUN ที่ส่งออกไม่จำเป็นต้องเป็นปัญหา

อย่างไรก็ตามการถอด ZFS LUNs ผ่านการเชื่อมต่อที่ไม่รู้จักข้ามแชสซีการขยายตัวอาจทำให้เกิดความเสี่ยง

  • ตัวอย่างเช่นคุณกำลังเรียกใช้ multipath SAS ในโครงสร้างแบบวงแหวนด้วยตัวควบคุมคู่หรือไม่?
  • คุณมีการเดินสายเคเบิลซ้ำซ้อนกลับไปที่เซิร์ฟเวอร์หรือไม่
  • คุณกระจายไดรฟ์ในแนวตั้งไปยังกล่องหุ้มในลักษณะที่ช่วยลดความล้มเหลวของแชสซี / เคเบิล / คอนโทรลเลอร์เดี่ยวและป้องกันไม่ให้ทำลายส่วนหนึ่งของแถบ RAID0 ของคุณหรือไม่?

อย่างจริงจังมันอาจคุ้มค่าที่จะประเมินว่าคุณต้องการพื้นที่เก็บข้อมูลทั้งหมดในเนมสเปซเดียวหรือไม่ ...

หากคุณต้องการความจุประเภทนั้นในการติดตั้งครั้งเดียวคุณควรใช้กล่องหุ้ม JBOD ที่ต่อกับ HBAโดยเฉพาะและอาจมีหลายเฮดยูนิตด้วยการเดินสายที่ยืดหยุ่นและโครงร่างที่ชาญฉลาด


1

คุณควรแนบไดรฟ์ทั้งหมดเข้ากับกล่องที่รัน ZFS โดยตรง รับ SAS HBA และเชื่อมต่อไดรฟ์กับกล่องที่รองรับ ZFS (เช่นเรียกใช้ OmniOS หรือ SmartOS) จากนั้นคุณสามารถแชร์พื้นที่ผ่าน NFS, SMB, iScsi ...


คุณควรแนบไดรฟ์ทั้งหมดเข้ากับกล่องที่รัน ZFS โดยตรง ไม่จำเป็น - การเปลี่ยนฮาร์ดไดรฟ์ที่ล้มเหลวในอาเรย์ฮาร์ดแวร์ในคอนโทรลเลอร์บางตัวทำได้ง่าย : ดึงฮาร์ดไดรฟ์ออกมาพร้อมกับไฟแสดงความล้มเหลวจากนั้นจึงเปิดไดรฟ์ใหม่ขึ้นมาผู้ดูแลระบบไม่จำเป็นต้องเรียกใช้คำสั่ง ZFS ในการติดตั้งระดับองค์กรที่มีเซิร์ฟเวอร์นับร้อยหรือพันและฮาร์ดไดรฟ์นับหมื่นอาจกระจายอยู่ในศูนย์ข้อมูลหลายแห่ง ไดรฟ์ล้มเหลวมากกว่าการเกิดบิตเน่า
Andrew Henle

@Tobi Oetiker บอกวิธีการวาง 36 3.5" ฮาร์ดดิสก์ไดรฟ์ลงในกรณี 2U
Severgun

เราเพิ่งวางมันไว้ในกล่องพิเศษ ... ใช้ sas extender ... สำหรับการปรับใช้ที่มีขนาดใหญ่อาจถามว่า joyent จัดการกับมันอย่างไร
Tobi Oetiker

@AndrewHenle เพื่อให้เกิดความยุติธรรมคุณสามารถใช้ขั้นตอนการเปลี่ยนง่ายและไฟ LED แสดงสถานะที่มี ZFS และ HBA ที่เหมาะสม (อาจเกี่ยวข้องกับการเขียนสคริปต์เล็กน้อยหากไม่ได้ใช้โซลูชั่นสำเร็จรูป)
user121391

0

เหตุผลที่ ZFS ด้านบนของโลจิคัลวอลุ่ม HW RAID เป็นแนวคิดที่ไม่ดีมากเนื่องจาก ZFS ต้องการการเข้าถึงระดับบล็อกเพื่อให้สามารถใช้งานได้จริง ใช่มันจะใช้งานได้ แต่ฟังก์ชั่นจะไม่สมบูรณ์จนกว่าคุณจะเชื่อมต่อไดรฟ์เข้ากับระบบปฏิบัติการโดยตรงผ่านการเชื่อมต่อ HBA หรือ SATA โดยตรง ตัวอย่างหนึ่งคือในการกำหนดค่าที่คุณเสนอ ZFS ไม่สามารถปกป้องข้อมูลของคุณอย่างสมเหตุสมผลจากการเปลี่ยนแปลงข้อมูลด้านล่าง (ในอีกด้านหนึ่งของคอนโทรลเลอร์ HW RAID) และไม่สามารถรับประกันความปลอดภัยของข้อมูลของคุณได้ นี่เป็นหนึ่งในเหตุผลหลักที่ใช้ ZFS นอกเหนือไปจากการใช้ Super duper ที่รวดเร็ว

ZFS เป็นเทคโนโลยีที่ยอดเยี่ยมและฉันขอแนะนำอย่างยิ่ง แต่คุณจะต้องทบทวนโครงสร้างของคุณใหม่ที่นี่เพื่อให้สามารถใช้งานได้อย่างถูกต้อง ZFS คือสร้างโลจิคัลวอลุ่ม (vdevs) จากดิสก์โดยตรง

ดูเหมือนว่าคุณจะต้องอ่านมากขึ้นเกี่ยวกับวิธีการทำงานของ ZFS ก่อนที่คุณจะสามารถเข้าใจสิ่งที่คุณเสนอได้อย่างถูกต้องตรงข้ามกับสิ่งที่ควรทำจริง ๆ แทน


ใช่และใช่ ฉันเข้าใจวิธีการทำงานของ ZFS มากที่สุดเท่าที่จะทำได้ แต่มีปัญหาบางอย่าง: 1) ฉันมีตู้ SAN อยู่แล้วและจำเป็นต้องใช้ ฉันไม่ได้สร้างที่เก็บข้อมูลตั้งแต่เริ่มต้น 2) นี่ไม่ใช่บ้าน NAS ของฉันที่ฉันสามารถซื้อและทิ้งสิ่งต่างๆ 3) งบประมาณสำหรับการตั้งค่าการจัดเก็บสร้างเท่ากับศูนย์ จากพื้นที่เก็บข้อมูลฉันต้องการความเร็วในการเขียนสูงสุดพร้อมพื้นที่ประมาณ 100Tb ฉันกำลังมองหา ZFS ส่วนใหญ่เนื่องจากการบีบอัดและภาพรวม ฉันสามารถลอง btrfs ได้ แต่เป็นการทดลอง อืมอาจจะไม่เสถียรเหมือนกัน? ฉันไม่ได้ตอนนี้
Severgun

@Severgun ตราบใดที่คุณรู้ว่าสิ่งที่เป็นข้อเสียคุณจะดีในความคิดของฉัน ZFS มีคุณสมบัติที่ดีมากมาย (เช่นภาพรวม) ที่ทำงานได้อย่างอิสระจากผู้อื่น คำแนะนำส่วนใหญ่ในอินเทอร์เน็ตเน้นถึงความสำคัญของการปฏิบัติที่ดีที่สุดในทุกด้าน แต่เป็นคำแนะนำไม่ใช่ข้อกำหนดที่เข้มงวด จุดนี้จะมีความสำคัญน้อยลงในอนาคตเนื่องจากการกระจาย LInux เปลี่ยนเป็น ZFS มากขึ้นเรื่อย ๆ และระบบ Linux ส่วนใหญ่ที่ทำงานเสมือนจริงดังนั้นพวกเขาจะมีสถานการณ์ที่แน่นอนของคุณ
user121391

1
เหตุผลที่ ZFS ด้านบนของโลจิคัลวอลุ่ม HW RAID เป็นแนวคิดที่ดีมากเนื่องจาก ZFS ต้องการการเข้าถึงระดับบล็อกเพื่อให้สามารถใช้งานได้จริง แย่มากมันไม่ดีพอที่จะเรียกว่าผิด เห็นได้ชัดว่าคุณไม่รู้ว่าฮาร์ดแวร์ที่สอดคล้องกับ NEBS 3 หมายถึงอะไร นอกเหนือไปจากการเป็นซุปเปอร์ duper รวดเร็ว ZFS เป็นสิ่งที่ดีมากมาย "super duper fast" ไม่ใช่หนึ่งในนั้น นี่คือระบบไฟล์ที่ รวดเร็ว ดังนั้นนี่คือ เมื่อระบบไฟล์ดำเนินไป ZFS ก็ไม่เร็ว
Andrew Henle
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.