ระบบไฟล์ใดสำหรับ LVM ขนาดใหญ่ของดิสก์ (8 TB)

ฉันมีเซิร์ฟเวอร์ Linux ที่มีดิสก์ 2 TB จำนวนมากทั้งหมดนี้อยู่ใน LVM ทำให้มีพื้นที่ประมาณ 10 TB ฉันใช้พื้นที่ทั้งหมดนี้บนพาร์ติชัน ext4 และปัจจุบันมีข้อมูลประมาณ 8,8 TB

ปัญหาคือฉันมักจะได้รับข้อผิดพลาดในดิสก์ของฉันและแม้ว่าฉันจะแทนที่ (กล่าวคือฉันคัดลอกดิสก์เก่าไปยังดิสก์ใหม่ด้วย dd จากนั้นฉันใส่ดิสก์ใหม่ลงในเซิร์ฟเวอร์) พวกเขาทันทีที่เกิดข้อผิดพลาดขึ้น ฉันมักจะได้รับข้อมูลที่เสียหายประมาณ 100 MB นั่นทำให้ e2fsck บ้าไปทุกครั้งและมันมักจะใช้เวลาหนึ่งสัปดาห์เพื่อให้ระบบไฟล์ ext4 อยู่ในสถานะมีสติอีกครั้ง

ดังนั้นคำถามคือคุณจะแนะนำให้ฉันใช้เป็นระบบไฟล์ใน LVM ของฉันอย่างไร หรือคุณอยากแนะนำให้ฉันทำอะไรแทน (ฉันไม่ต้องการ LVM จริงๆ)

โปรไฟล์ของระบบไฟล์ของฉัน:

• โฟลเดอร์หลายขนาดแตกต่างกัน (บางแห่งรวม 2 TB บางแห่งรวม 100 MB)
• เกือบ 200,000 ไฟล์ที่มีขนาดแตกต่างกัน (3/4 ของไฟล์มีขนาดประมาณ 10 MB, 1/4 ระหว่าง 100 MB และ 4 GB ปัจจุบันฉันไม่สามารถรับสถิติเพิ่มเติมเกี่ยวกับไฟล์ได้เนื่องจากพาร์ติชัน ext4 ของฉันพังยับเยินไปหลายวัน)
• หลายคนอ่าน แต่เขียนไม่กี่คน
• และฉันต้องการความอดทนต่อความผิดพลาด (ฉันหยุดใช้ mdadm RAID เพราะไม่ชอบมีข้อผิดพลาดเพียงครั้งเดียวบนดิสก์ทั้งหมดและบางครั้งฉันมีดิสก์ที่ล้มเหลวฉันจะแทนที่ทันทีที่ทำได้ แต่นั่นหมายความว่าฉันสามารถรับข้อมูลที่เสียหายได้ ระบบไฟล์ของฉัน)

ปัญหาที่สำคัญคือความล้มเหลวของดิสก์ ฉันสามารถสูญเสียไฟล์บางไฟล์ได้ แต่ฉันไม่สามารถสูญเสียทุกอย่างไปพร้อมกันได้

ถ้าฉันยังคงใช้ ext4 ต่อไปฉันได้ยินมาว่าฉันควรพยายามทำระบบไฟล์ให้เล็กลงและ "รวม" มันเข้าด้วยกัน แต่ฉันก็ไม่รู้เหมือนกัน

ฉันได้ยินมาว่า btrfs จะดี แต่ฉันไม่สามารถหาเบาะแสเกี่ยวกับวิธีการสูญเสียส่วนหนึ่งของดิสก์ (หรือทั้งดิสก์) เมื่อข้อมูลไม่ถูกจำลอง ( mkfs.btrfs -d single?)

คำแนะนำใด ๆ เกี่ยวกับคำถามจะได้รับการต้อนรับขอบคุณล่วงหน้า!

ไม่ใช่ปัญหาของระบบไฟล์ แต่เป็นข้อ จำกัด ทางกายภาพของดิสก์ นี่คือข้อมูลบางส่วน:

โดยทั่วไปแล้วจะระบุไดรฟ์ SATA พร้อมกับอัตราความผิดพลาดในการอ่าน (URE) 10 ^ 14 ที่ไม่สามารถกู้คืนได้ นั่นหมายความว่า1 ไบต์ต่อ 12TB จะหายไปอย่างไม่สามารถกู้คืนได้แม้ว่าดิสก์จะทำงานได้ดีก็ตาม

ซึ่งหมายความว่าเมื่อไม่มี RAID คุณจะสูญเสียข้อมูลแม้ว่าจะไม่มีไดรฟ์ล้มเหลวก็ตาม RAID เป็นตัวเลือกเดียวของคุณ

หากคุณเลือก RAID5 (ความจุรวม n-1 โดยที่ n = จำนวนดิสก์) ก็ยังไม่เพียงพอ ด้วย 10TB RAID5 ซึ่งประกอบด้วย 6 x 2TB HDD คุณจะมีโอกาส 20% ของความล้มเหลวของไดรฟ์หนึ่งตัวต่อปีและดิสก์เดี่ยวล้มเหลวเนื่องจาก URE คุณจะมีโอกาส 50% ที่จะสร้าง RAID5 ขึ้นใหม่และกู้คืนข้อมูลได้ 100% .

โดยพื้นฐานแล้วด้วยความจุของดิสก์ที่สูงและ URE ที่ค่อนข้างสูงคุณต้องใช้ RAID6 เพื่อความปลอดภัยแม้กระทั่งดิสก์ที่ล้มเหลวอีกครั้ง

อ่านสิ่งนี้: http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

ทำสิ่งที่คุณโปรดปรานและใช้ RAID สำหรับดิสก์ของคุณหรืออาจเป็นซอฟต์แวร์ RAID ด้วย mdadm ลองคิดดูด้วยว่าเหตุใดคุณ "มักจะได้รับข้อผิดพลาดบนดิสก์ของคุณ" - สิ่งนี้ไม่ปกติยกเว้นเมื่อคุณใช้ไดรฟ์ SATA ระดับเดสก์ท็อปราคาถูกแทนที่จะเป็นดิสก์ระดับ RAID

หลังจากนั้นระบบไฟล์ก็ไม่สำคัญอีกต่อไป - ext4, xfs เป็นตัวเลือกที่ดี

ฉันโชคดีกับ ZFS คุณสามารถตรวจสอบเพื่อดูว่ามันมีให้บริการในร้าน distro ที่คุณใช้หรือไม่ คำเตือนอย่างเป็นธรรมอาจหมายถึงการสร้างระบบทั้งหมดขึ้นใหม่ แต่ให้ประสิทธิภาพที่ดีและการป้องกันความผิดพลาด

ฉันเพิ่มดิสก์ใหม่ที่มีขนาดใหญ่ขึ้นเรื่อย ๆ

เนื่องจากคุณมีความสนใจในการใช้ LVM และคุณต้องการจัดการไดรฟ์หลายตัวคำตอบง่ายๆคือเพียงใช้ฟีเจอร์ mirror ที่เป็นส่วนหนึ่งของ LVM เพียงเพิ่มปริมาณทางกายภาพทั้งหมดลงใน LVM ของคุณ เมื่อคุณสร้างปริมาณตรรกะผ่าน--mirrorsตัวเลือก สิ่งนี้จะทำซ้ำข้อมูลของคุณ

ตัวเลือกอื่นอาจเป็นการตั้งค่า RAID1 หลายคู่ จากนั้นเพิ่มโวลุ่ม RAID1 ทั้งหมดเป็น PVs ไปยัง VG ของคุณ จากนั้นเมื่อใดก็ตามที่คุณต้องการที่จะขยายพื้นที่เก็บข้อมูลของคุณเพียงแค่ซื้อดิสก์

คุณควรใช้ RAID 5, 6, 10, 50 หรือ 60 นี่คือแหล่งข้อมูลบางส่วนเพื่อให้คุณเริ่มต้น:

ข้อมูลพื้นหลังเกี่ยวกับ RAID

• http://en.wikipedia.org/wiki/RAID
• http://www.techrepublic.com/blog/datacenter/choose-a-raid-level-that-works-for-you/3237

วิธีการ & การตั้งค่า

• http://www.dedoimedo.com/computers/linux-raid.html
• http://www.linuxplanet.com/linuxplanet/tutorials/6514/1
• http://dtbaker.com.au/random-bits/ubuntu---howto-easily-setup-raid-5-with-lvm.html

ลองดูลิงค์อร่อย ๆ ของฉันเพื่อดูลิงค์ RAID เพิ่มเติม: http://delicious.com/slmingol/raid

หากคุณกังวลเกี่ยวกับความเสียหายของข้อมูลฉันจะแนะนำระบบไฟล์ที่มีการตรวจสอบเช่น zfs และ btrfs - แม้ว่าโปรดทราบว่า btrfs นั้นยังถือว่าอยู่ในระหว่างการพัฒนาและไม่พร้อมสำหรับการผลิต

ไม่มีการรับประกันว่าข้อมูลที่อ่าน (อ่านได้สำเร็จ) จากดิสก์จะถูกต้อง บล็อกมี checksums แต่เป็น checksums ง่าย ๆ ที่ไม่ได้ตรวจจับข้อผิดพลาดเสมอไป ระบบไฟล์รุ่นใหม่เช่น ZFS แนบไฟล์ตรวจสอบที่มีความสามารถมากกว่าและสามารถ (และมีรายงานว่าทำ) จับและซ่อมแซมข้อผิดพลาดข้อมูลที่ไม่ได้สังเกตเห็นโดยฮาร์ดดิสก์หรือคอนโทรลเลอร์ RAID

ในฐานะที่เป็น@ c2h5oh กล่าวว่าไม่สามารถกู้คืนได้มีความสำคัญ - หมายความว่าดิสก์ได้พยายามแล้วและล้มเหลวในการอ่านเซกเตอร์

จากประสบการณ์ของฉันเมื่อดิสก์เริ่มผลิตข้อผิดพลาดการอ่านที่ไม่สามารถกู้คืนได้ (UREs) ข้อมูลบางอย่างจะสูญหายไปตลอดกาลและความหวังเดียวของคุณคือการสำรองข้อมูลทั้งหมดทันทีโดยใช้GNU ddrescueซึ่งสามารถลองภาคที่ล้มเหลว

สมมติว่าคุณมีการสำรองข้อมูลพวกเขาอาจล้มเหลวเนื่องจาก UREs และจะมีไฟล์ที่เสียหายบางอย่างดังนั้นคุณจะต้องรวบรวมชุดข้อมูลทั้งหมดจากการสำรองข้อมูลต่างๆของระบบไฟล์เดียวกัน

คำตอบอื่น ๆ ที่แนะนำให้ใช้ ZFS นั้นควรค่าแก่การอ่านเนื่องจากคุณสมบัติการขัดข้อมูลอย่างต่อเนื่องและคุณสมบัติ RAID จะช่วยรักษาข้อมูลของคุณให้ปลอดภัยยิ่งขึ้นในอนาคต - แม้ว่าจะไม่ใช่การสำรองข้อมูลซึ่งจะป้องกันข้อผิดพลาดของผู้ใช้และผู้ดูแลระบบ

ฉันจะใช้ LVM เฉพาะเมื่อคุณไม่ต้องการสแน็ปช็อต - มันไม่ได้รวมกับ RAID ได้ดีไม่รวม data scrubbing / data checksums และคุณยังต้องสำรองข้อมูลดังนั้น ZFS น่าจะเป็นตัวเลือกที่ดีกว่า ดูคำตอบนี้สำหรับปัญหา LVM และความเสี่ยงเพิ่มเติม