ระบบไฟล์ที่มีเสถียรภาพสูงสำหรับไฟล์ขนาดใหญ่ (สำรอง) สำหรับ linux


18

ระบบไฟล์ใดจะดีที่สุดสำหรับการสำรองข้อมูล ฉันสนใจหลักเกี่ยวกับความเสถียร (โดยเฉพาะอย่างยิ่งความไม่สามารถทำลายไฟล์ในระหว่างการรีบูตเครื่อง ฯลฯ ) แต่ประสิทธิภาพในการจัดการไฟล์ขนาดใหญ่ (> 5GB) ก็มีความสำคัญเช่นกัน

นอกจากนี้ฉันควรใช้พารามิเตอร์การเมาท์แบบใด

เคอร์เนลคือ Linux> = 2.6.34

แก้ไข:ฉันไม่ต้องการวิธีการสำรองข้อมูล ฉันต้องการระบบไฟล์เพื่อจัดเก็บ


คุณสำรองข้อมูลรายวันรายสัปดาห์รายเดือนเท่าไร คุณวางแผนที่จะเก็บข้อมูลเท่าไรและนานเท่าไหร่?
Stefan Lasiewski

มันต้องเป็น Linux หรือเปล่า? คุณได้พิจารณา ZFS (เวอร์ชั่นเก่ากว่าและเสถียร 14) บน FreeBSD 8.1 แล้วหรือยัง?
Stefan Lasiewski

เป็นที่เก็บข้อมูลสำรองชั่วคราวสำหรับแล็ปท็อป - จนกว่าจะถูกส่งไปยังฮาร์ดไดรฟ์ภายนอก ในฐานะของ FreeBSD - ในขณะที่มันเป็นระบบที่ยอดเยี่ยมมันไม่เหมาะกับฉันในแอปพลิเคชันนี้
Maciej Piechotka

คำตอบ:


13

คุณสามารถใช้ext4แต่ฉันอยากจะแนะนำให้ติดตั้งด้วยjournal_dataโหมดซึ่งจะปิด dealloc (การจัดสรรล่าช้า) ซึ่งทำให้เกิดปัญหาก่อนหน้านี้ การปิดใช้งาน dealloc จะทำให้การเขียนข้อมูลใหม่ช้าลง แต่ทำการเขียนในกรณีที่ไฟฟ้าดับมีโอกาสน้อยที่จะสูญเสีย ฉันควรพูดถึงว่าคุณสามารถปิดการใช้งาน dealloc โดยไม่ใช้journal_dataซึ่งมีประโยชน์อื่น ๆ (หรืออย่างน้อยก็เป็น ext3) เช่นการอ่านที่ดีขึ้นเล็กน้อยและฉันเชื่อว่าการกู้คืนที่ดีขึ้น

Extents จะยังคงช่วยด้วยการกระจายตัว Extents ทำให้การลบไฟล์ขนาดใหญ่เร็วกว่า ext3 มากการลบข้อมูลขนาดใด ๆ (ไฟล์เดียว) ควรอยู่ใกล้กับ ext4 ทันที แต่อาจใช้เวลานานบน ext3 (FS ในระดับใดก็ได้มีข้อได้เปรียบนี้)

ext4 ยังfsckเร็วกว่า ext3 ด้วย

หนึ่งบันทึกล่าสุดมีข้อผิดพลาดใน ext4 ขึ้นไปเช่น 2.6.31? ฉันจะให้แน่ใจว่าคุณไม่ได้ใช้เคอร์เนลก่อน 2.6.32 ซึ่งเป็นเคอร์เนล LTS


หากเลือกสำหรับ "หินแข็ง" ext4มันอาจจะคุ้มค่าที่จะต้องพิจารณา mertis และความเสี่ยงที่เกี่ยวข้องกับon disk layoutความปลอดภัยของข้อมูลและด้วยเหตุนี้ในส่วนที่เหลือ (ด้าน discuded ที่นี่ )
humanityANDpeace

5

XFS นั้นแข็งแกร่งและอยู่ในเคอร์เนลมานาน ตรวจสอบเครื่องมือเช่น xfs_freeze และดูว่าเป็นสิ่งที่คุณต้องการหรือไม่ ฉันรู้ว่านี่เป็นเรื่องส่วนตัว แต่ฉันใช้ XFS สำหรับการจัดเก็บข้อมูลเป็นเวลาหลายปีโดยไม่มีเหตุการณ์


2
ตามคำตอบของฉันฉันต้องการที่จะทราบว่า XFS เป็น extents ตามและดำเนินการได้เปรียบเช่นเดียวกับ ext4 อย่างไรก็ตามฉันอยากจะพูดถึงว่ามันมีปัญหาเดียวกันกับ dealloc ที่ ext4 สามารถมีได้ซึ่งอาจทำให้ข้อมูลสูญหายในสถานการณ์แบบดึงปลั๊ก ฉันไม่ทราบว่า dealloc สามารถปิดใช้งานใน XFS ได้หรือไม่
xenoterracide

ใช่ฉันไม่แน่ใจว่าคุณสามารถปิดใช้งานคุณสมบัตินี้ได้หรือไม่ แต่ยูทิลิตี้ xfs_freeze ช่วยให้มั่นใจได้ว่าภาพดิสก์ที่เสถียร จากหน้า man: แฟล็ก -f ร้องขอระบบไฟล์ XFS ที่ระบุให้ถูกตรึงจากการแก้ไขใหม่ เมื่อเลือกตัวเลือกนี้ธุรกรรมที่กำลังดำเนินอยู่ทั้งหมดในระบบไฟล์จะได้รับอนุญาตให้ดำเนินการเสร็จสิ้นการเรียกใช้ระบบการเขียนใหม่จะหยุดลงการโทรอื่น ๆ ที่แก้ไขระบบไฟล์จะถูกหยุดและข้อมูลสกปรกเมทาดาทาและบันทึกข้อมูลทั้งหมดจะถูกเขียนลงดิสก์ กระบวนการใด ๆ ที่พยายามเขียนไปยังระบบไฟล์ที่ถูกตรึงจะบล็อกการรอระบบไฟล์ที่จะทำการแยกออก
dsp

ฉันมีความกังวลน้อยลงเกี่ยวกับความเสียหายของการเขียนไฟล์ในระดับกลาง
Maciej Piechotka

3

เพียงใช้เครื่องมือสำรองข้อมูลที่สนับสนุนการตรวจสอบ ตัวอย่างเช่นDarทำและสนับสนุนการสำรองข้อมูลเพิ่มเติม จากนั้นคุณสามารถสำรองข้อมูลไปยังระบบไฟล์แบบทึบเช่น ext3

สำหรับการสำรองข้อมูลคุณต้องการบางสิ่งที่แข็ง / มั่นคงมาก และ btrfs หรือ ZFS ก็ไม่พร้อมในวันนี้


ฉันนับว่าเป็น ext3
Maciej Piechotka

0

btrfs มีการตรวจสอบอย่างโปร่งใสของข้อมูลที่เขียนไปยังดิสก์และโหมดการสั่งการเขียนที่รวดเร็วที่เปิดอยู่เสมอ (และคุณสมบัติที่เป็นมิตรกับการสำรองข้อมูลอื่น ๆ ) ซึ่งทำให้น่าสนใจสำหรับการสำรองข้อมูล ดูhttps://btrfs.wiki.kernel.org/index.php/Main_Pageสำหรับรายละเอียดเพิ่มเติม


อืมมม ในขณะที่มันอาจเป็นคำตอบที่ดีในอนาคตฉันไม่คิดว่า btrfs หรือ zfs จะเสถียรบน Linux ในขณะนี้
Maciej Piechotka

ฉันมี btrfs แนะนำให้ฉันโดยผู้ใช้เคอร์เนล ล่าสุดฉันรู้ว่าผู้ดูแล Mercurial กำลังเรียกใช้บนเครื่องอย่างน้อยหนึ่งเครื่องเต็มเวลา ฉันใช้ ZFS ผ่าน FUSE ทุกวันและมันแข็งมากถ้าช้าเพราะ FUSE
durin42

1
btrfs ในรูปแบบดิสก์ยังไม่เสถียร ... ฉันจะไม่แนะนำจนกว่าจะมีการเปลี่ยนแปลง โปรแกรมเมอร์เคอร์เนลสามารถเรียกใช้สิ่งบ้าทุกชนิด
xenoterracide

ZFS อาจจะมีเสถียรภาพ ... แต่เนื่องจากสิ่งที่ฉันจะไม่รำคาญกับมัน
xenoterracide

1
ZFS บน FUSE เป็นแฮ็ค อาจเป็นการแฮ็คที่ดีฉันจะไม่ไว้ใจข้อมูลธุรกิจที่สำคัญของคุณ นอกจากนี้ ZFS บน FUSE ยังมีปัญหาเรื่องความเร็วและความเร็วนั้นสำคัญมากเมื่อคุณทำการสำรองข้อมูลเทราไบต์
Stefan Lasiewski

0

สิ่งที่สำคัญมากสำหรับ imho ที่ฉันไม่ได้กล่าวถึงในคำตอบอื่น ๆ คือคุณสมบัติความเสถียรของเค้าโครงดิสก์ของระบบไฟล์ (เช่นพิจารณาเอกสารของผู้สมัครที่เป็นไปได้ext4 , btrfs )

ในขณะที่ codebase และปริมาณการทดสอบไดร์เวอร์ระบบไฟล์ codebase นั้นสำคัญอย่างยิ่งที่คำตอบอื่น ๆ แสดงให้เห็นเพราะมันเป็นการป้องกันข้อมูลระหว่างการอ่านและการเขียนการจัดรูปแบบดิสก์ / ฟอร์แมตเป็นการป้องกันความเสี่ยงต่อข้อมูลของคุณ ในส่วนที่เหลือซึ่งเป็นรูปแบบของฮาร์ดแวร์ deffects เช่นภาคอ่านไม่ได้หรือเงียบเน่าบิต

ด้วยความเคารพext4ซึ่งกล่าวกันว่ามีลักษณะที่ดีเนื่องจากมีการทดสอบ codebase ที่ยาวนาน ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0 รูปแบบไฟล์ PDFแสดงให้เห็นว่ามันใช้เวลานานกว่าจะพบข้อบกพร่องในตัวมันมากกว่าในแบบที่ทันสมัยและซับซ้อนกว่าbtrfs) ฉันมีดูความต้านทาน ext4 ที่เหลือและพบข้อบกพร่องบางอย่างของระบบไฟล์ที่น่ายกย่อง

ฉันจะพิจารณามันอย่างรอบคอบ (หากเลือกext4เป็น " การสำรองข้อมูลที่มั่นคงด้วยหิน ") เพื่อปรับปรุงความสามารถในการกู้คืนได้ (แม้ว่าจะ "ทำให้แข็งแกร่งขึ้น") โดยใช้e2imageเครื่องมือที่ผู้พัฒนาext4ให้

โปรแกรม e2image จะบันทึกข้อมูลเมตาของระบบไฟล์ ext2, ext3 หรือ ext4 ที่สำคัญซึ่งอยู่ในอุปกรณ์ไปยังไฟล์ที่ระบุโดยไฟล์อิมเมจ ไฟล์รูปภาพอาจถูกตรวจสอบโดย dumpe2fs และ debugfs โดยใช้ตัวเลือก -i กับโปรแกรมเหล่านั้น สิ่งนี้สามารถช่วยผู้เชี่ยวชาญในการกู้คืนระบบไฟล์ที่เสียหายอย่างรุนแรง ในอนาคต e2fsck จะได้รับการปรับปรุงเพื่อให้สามารถใช้ไฟล์รูปภาพเพื่อช่วยกู้คืนระบบไฟล์ที่เสียหายอย่างรุนแรง

และขอแนะนำให้

เป็นความคิดที่ดีมากในการสร้างไฟล์รูปภาพสำหรับระบบไฟล์ทั้งหมดในระบบและบันทึกเลย์เอาต์ของพาร์ติชัน (ซึ่งสามารถสร้างขึ้นได้โดยใช้คำสั่ง fdisk -l) ในช่วงเวลาปกติ --- ณ เวลาบูตและ / หรือทุกสัปดาห์หรือ ดังนั้น. ไฟล์อิมเมจควรเก็บไว้ในระบบไฟล์อื่นที่ไม่ใช่ระบบไฟล์ที่มีข้อมูลอยู่เพื่อให้แน่ใจว่าข้อมูลนี้สามารถเข้าถึงได้ในกรณีที่ระบบไฟล์ได้รับความเสียหาย

พิจารณาว่าแม้ข้อมูลเมตาทั้งหมดของext4 บนเค้าโครงดิสก์จะมีความซ้ำซ้อน (เช่น superblock จะถูกจัดเก็บไว้หลายครั้งเหมือนสำเนาคัดลอกอินโดถูกจัดเก็บไว้ในที่เดียวเท่านั้น) ซึ่งext4แน่นอนbtrfsว่าจะให้ checksums อย่างน้อยสำหรับเมทาดาทาทั้งหมด + ข้อมูลเนื้อหาไฟล์เนื้อหาของแฟ้มข้อมูล

ในการต่อต้าน "ความพ่ายแพ้ " นี้ของext4และทำให้มันเป็นrock-solidสิ่งที่เพิ่มเติมในแง่มุมของเค้าโครงดิสก์มันอาจจะสมเหตุสมผลในการเสริมความซ้ำซ้อนและการกู้คืนนี้สำหรับเนื้อหาไฟล์ผ่านpar2/ parchive

แม้คำถามจะต้องการความสนใจในการแก้ปัญหาระบบแฟ้ม แต่ผมอยากให้ความสนใจว่าสิ่งที่ระบบไฟล์ส่วนใหญ่มีให้ (แคช, เจอร์นัล, การเรียกคืนพื้นที่ที่จัดสรร, การจัดสรรบล็อกเป็นต้น) ไม่จำเป็นต้องเป็นข้อมูลสำรอง มากเมื่อเป็นเพียงเขียนและอ่านเป็นกลุ่มและ rarley เพื่อที่ฉันจะพิจารณาใช้การสำรองข้อมูลparchiveเพิ่มเติมtarเป็นโซลูชันการสำรองข้อมูลที่เหมาะสมที่สุดเนื่องจาก codebase ที่ใช้ในกระบวนการลดลงและด้วยเหตุนี้จึงมีข้อบกพร่องน้อยลงหากมี "คุณสมบัติ" น้อยลง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.