ระบบไฟล์สำหรับการเก็บถาวร

10

ฉันมีข้อมูลแบบอ่านอย่างเดียวที่ซับซ้อนในระบบไฟล์ของฉัน มันมีสแน็ปช็อตนับพันของการแก้ไขบางอย่างของที่เก็บ svn และผลลัพธ์ของการทดสอบการถดถอย ไฟล์ที่เหมือนกันระหว่างสแน็ปช็อตนั้นทำซ้ำโดยใช้ฮาร์ดลิงก์ ด้วยวิธีนี้ความจุในการจัดเก็บข้อมูลไม่จำเป็นต้องมีขนาดใหญ่ แต่ก็ยังใช้งาน inodes จำนวนมากและสิ่งนี้ทำให้ fsck เจ็บปวดยาวนานสำหรับระบบไฟล์หลักของฉัน

ฉันต้องการย้ายข้อมูลเหล่านี้ไปยังระบบไฟล์อื่นเพื่อไม่ให้ส่งผลกระทบต่อระบบไฟล์หลักมากเกินไป คุณมีข้อเสนอแนะหรือไม่? Squashfs ดูเหมือนจะเป็นทางเลือกที่เป็นไปได้ แต่ฉันจะต้องตรวจสอบว่ามันสามารถจัดการกับฮาร์ดลิงก์ได้อย่างมีประสิทธิภาพหรือไม่

filesystems backup hard-link

— เหว่ยหยิน
แหล่งที่มา

1

ระบบปฏิบัติการใด? คุณยินดีที่จะตั้งค่าเซิร์ฟเวอร์ไฟล์ด้วยระบบปฏิบัติการอื่นหรือไม่?

— Kevin Cantu

5

ถ้ามันช้ามาก fsck คุณลอง ext4 ได้ไหม? พวกเขาเพิ่มคุณสมบัติบางอย่างเพื่อให้ fsck เร็วมากโดยไม่ดู inodes ที่ไม่ได้ใช้ :

Fsck เป็นการดำเนินการที่ช้ามากโดยเฉพาะขั้นตอนแรก: ตรวจสอบ inodes ทั้งหมดในระบบไฟล์ ใน Ext4 ที่ส่วนท้ายของตาราง inode ของแต่ละกลุ่มจะถูกเก็บไว้ในรายการของ inodes ที่ไม่ได้ใช้ (ด้วย checksum เพื่อความปลอดภัย) ดังนั้น fsck จะไม่ตรวจสอบ inodes เหล่านั้น ผลลัพธ์คือเวลารวมของ fsck ปรับปรุงจาก 2 เป็น 20 ครั้งขึ้นอยู่กับจำนวนของ inodes ที่ใช้ (http://kerneltrap.org/Linux/Improving_fsck_Speeds_in_Ext4) จะต้องสังเกตว่ามันเป็น fsck และไม่ใช่ Ext4 ที่จะสร้างรายการของ inodes ที่ไม่ได้ใช้ ซึ่งหมายความว่าคุณต้องรัน fsck เพื่อรับรายการของ inodes ที่ไม่ได้ใช้และการรัน fsck ครั้งต่อไปจะเร็วขึ้น (คุณต้องผ่าน fsck เพื่อแปลงระบบไฟล์ Ext3 เป็น Ext4 ต่อไป) นอกจากนี้ยังมีคุณสมบัติที่มีส่วนร่วมในความเร็ว fsck - "กลุ่มบล็อกที่ยืดหยุ่น"

— Tante
แหล่งที่มา

ดูมีแนวโน้ม ฉันจะลองดู

— Wei-Yin

ฉันเห็นคุณใช้ Ext3 ตอนนี้ คุณสามารถแปลง ext3 เป็น ext4 เล็กน้อย (มี boatloads ของ howtos ออกไปที่นั่นมันเป็นเพียงแค่การติดตั้งพาร์ติชัน ext3 ด้วยพารามิเตอร์พิเศษแล้วมัน ext4 ตลอดไป)

— tante

7

Btrfs ได้รับการสนับสนุนดั้งเดิมสำหรับสแน็ปช็อตดังนั้นคุณจึงไม่ต้องใช้ฮาร์ดลิงก์เพื่อการขจัดข้อมูลซ้ำซ้อน คุณสามารถสร้างการตั้งค่าปัจจุบันของคุณใหม่ได้โดยการสร้างระบบไฟล์ btrfs และโหลดด้วยการแก้ไขครั้งแรกที่คุณต้องการและถ่ายภาพจากนั้นทำการแก้ไขพื้นที่เก็บข้อมูลส่งต่อไปยังแต่ละจุดในเวลาที่คุณต้องการภาพรวมของและถ่ายภาพที่ ขั้นตอน สิ่งนี้ควรมีประสิทธิภาพมากกว่าลิงค์ยากและติดตั้งง่ายกว่าเช่นกัน

ฉันยังคิดว่า (แม้ว่าฉันจะไม่แน่ใจในเรื่องนี้) สควอชจะลบไฟล์ซ้ำซ้อนอย่างชัดเจนดังนั้นแม้ว่ามันจะไม่ได้จัดการลิงก์ยาก แต่คุณก็ยังเห็นประโยชน์ หากคุณไม่จำเป็นต้องเปลี่ยนข้อมูลในระบบไฟล์สควอชอาจเป็นวิธีที่จะไปเนื่องจาก fsck จะถูกแทนที่ด้วย md5sum;)

— P-แบบคงที่
แหล่งที่มา

6

ฉันต้องการXFSเนื่องจากฉันมีประสบการณ์ที่ดีมากกับระบบไฟล์นี้ แต่ฉันแนะนำจริงๆคุณทำการทดสอบกับข้อมูลของคุณและระบบไฟล์ทั้งหมดที่แนะนำ

— ddeimeke
แหล่งที่มา

1

ขอบคุณสำหรับคำแนะนำของคุณ ตอนนี้ฉันกำลังใช้ ext3 fsck เร็วกว่า XFS มากกว่า ext3 หรือไม่

— Wei-Yin

1

ใช่ fsck เร็วขึ้น แต่ตามที่ tante บอกเช่นกันคุณควรโยกย้ายมันไปยัง ext4

— ddeimeke

0

ฉันรู้จักร้านค้าหลายแห่งที่ใช้DataDomainเพื่อจุดประสงค์นั้น

สคริปต์เก็บถาวรของคุณนั้นง่ายมาก (ตัวอย่างเช่น tar หรือ rsync และ cron) และคุณไม่จำเป็นต้องกังวลเกี่ยวกับการจัดการฮาร์ดลิงก์หรือไดเรกทอรีที่ไม่สามารถเชื่อมโยงกับระบบไฟล์ส่วนใหญ่ได้ ไม่จำเป็นต้องเพิ่มสำเนายกเว้นเพื่อประหยัดแบนด์วิดท์ เวทย์มนตร์ทั้งหมดเกิดขึ้นภายใต้เลเยอร์บล็อก ไม่ใช่เรื่องผิดปกติที่จะโฮสต์ข้อมูลเสมือนจริง 15-20TB ในขณะที่ใช้พื้นที่ดิสก์จริงเพียง 1-2TB คุณยังมีเหลืออีกมากสำหรับการสำรองข้อมูลดิสก์ของคุณ

ข้อมูลจะถูกให้บริการผ่าน NFS หรือ iSCSI แต่ฉันไม่แน่ใจว่าเป็นปัญหาหรือไม่

เมื่อ FreeBSD ได้รับ ZFS v23 การขจัดความซ้ำซ้อนจะมีให้สำหรับพวกเราที่เหลือ

— Stefan Lasiewski
แหล่งที่มา

การใช้การขจัดข้อมูลซ้ำซ้อนเป็นทั้งหน่วยความจำราคาแพง (โดยมีความน่าจะเป็นของผลข้างเคียงที่ไม่ดีถ้าหน่วยความจำหมดซึ่งเกิดขึ้นบ่อยครั้งกว่าที่คุณอาจจินตนาการ) แต่ก็มีประโยชน์จริง ๆ การใช้สแน็ปช็อต ZFS จะใช้งานได้

— killermist