คำถามติดแท็ก zfs

นี่เป็นคำถามที่ยอมรับได้เกี่ยวกับระดับ RAID สิ่งที่เป็น: โดยทั่วไปแล้วระดับ RAID ที่ใช้ (รวมถึงตระกูล RAID-Z) พวกเขามักพบการปรับใช้ใน? ประโยชน์และข้อผิดพลาดของแต่ละ

181 raid  storage  hard-drive  zfs 

เรากำลังพิจารณาที่จะสร้างเซิร์ฟเวอร์จัดเก็บข้อมูลขนาด ~ 16TB ในขณะนี้เรากำลังพิจารณาทั้ง ZFS และ XFS เป็นระบบไฟล์ ข้อดีข้อเสียคืออะไร? เราต้องมองหาอะไร มีตัวเลือกที่สามที่ดีกว่าหรือไม่?

62 filesystems  storage  zfs  xfs 

ฉันมีข้อมูลส่วนบุคคลที่มีค่ามากหลาย TBs ในสวนสัตว์ซึ่งฉันไม่สามารถเข้าถึงได้เนื่องจากข้อมูลเสียหาย เดิมพูลนั้นถูกตั้งค่าไว้ในปี 2009 หรือในระบบ FreeBSD 7.2 ที่ทำงานภายในเครื่องเสมือน VMWare ที่ด้านบนของระบบ Ubuntu 8.04 FreeBSD VM ยังคงมีอยู่และทำงานได้ดีมีเพียง OS โฮสต์ที่ได้รับการเปลี่ยนเป็น Debian 6 ฮาร์ดไดรฟ์นั้นสามารถเข้าถึงได้โดย VM guest โดยอุปกรณ์ VMWare SCSI ทั่วไปรวม 12 รายการ มี 2 ​​สระว่ายน้ำ: zpool01: 2x 4x500GB zpool02: 1x 4x 160GB อันที่ทำงานว่างเปล่าอันที่พังนั้นเก็บข้อมูลสำคัญทั้งหมดไว้: [user@host~]$ uname -a FreeBSD host.domain 7.2-RELEASE FreeBSD 7.2-RELEASE #0: \ …

44 freebsd  zfs  data-recovery 

ฉันพยายามที่จะเปิดเผยลำดับชั้นของโฮมไดเร็กตอรี่ถึงจำนวนของ FreeBSD jails โฮมไดเร็กตอรี่ได้รับการกำหนดค่าให้แต่ละชุดข้อมูลเป็น ZFS ที่ไม่ซ้ำใคร คุกใช้สำหรับงานพัฒนาดังนั้นจึงสร้างและทำลายอย่างสม่ำเสมอ ความคิดแรกของฉันคือการใช้nullfsเพื่อติดตั้ง/homeในคุก แต่nullfsไม่มีวิธีใดในการเข้าถึงระบบไฟล์รอง ความคิดที่สองของฉันคือการส่งออกไดเรกทอรีผ่าน NFS แล้วเรียกใช้ automounter daemon (amd) ในแต่ละคุก สิ่งนี้จะมี Just Worked ... หากเป็นไปได้ที่จะทำการเมานต์ NFS ภายในคุก แต่มันไม่ใช่ ความคิดที่สามของฉันคือการเรียกใช้เอเอ็มดีในพื้นที่และการให้nullfsม้าเข้าไปในคุก ... แต่การสนับสนุนเอเอ็มดีสำหรับnullfsไม่อยู่ ความคิดที่สี่ของฉันคือกลับไปที่การส่งออกไดเรกทอรีโดยใช้ NFS เพราะแน่นอนว่า amd ทำงานกับ NFS ได้ใช่ไหม แต่น่าเสียดายที่แทนที่จะติดตั้งไดเรกทอรีในตำแหน่งเป้าหมายแล้วเอเอ็มดีชอบที่จะติดตั้งสิ่งต่าง ๆ ในตำแหน่งชั่วคราว ( /.amd_mnt/...) แล้วสร้าง symlink ... ซึ่งแน่นอนว่าไม่มีประโยชน์อะไรในสภาพแวดล้อมของคุก ดังนั้นบางทีคุณอาจใช้nullfsเพื่อเปิดเผยไดเรกทอรีย่อยของ/.amd_mntคุก? No! วิธีนี้จะทำให้เรากลับไปที่ความพยายามครั้งแรกของฉันในการที่เราจะพบว่ามีวิธีใดในการเข้าถึงระบบไฟล์ของผู้ใต้บังคับบัญชาใช้nullfs แล้วหัวของฉันก็ระเบิด มีวิธีแก้ปัญหาที่ดีสำหรับสิ่งที่ฉันพยายามทำหรือไม่? ไม่ดีวิธีการแก้ปัญหาที่จะเรียกใช้สคริปต์หลังจากบูตคุกที่จะสร้างหลายnullfs mountpoints …

40 freebsd  zfs  automount  jail  central-processing-unit 

เท่าที่ฉันทราบ LVM ทำให้สามารถถ่ายภาพสแน็ปช็อตของโวลุ่มได้ นอกจากนี้ยังมีระบบไฟล์จำนวนมาก (ZFS, Btrfs, reiserfs, ... ) ซึ่งรองรับสแน็ปช็อต อย่างไรก็ตามฉันไม่เคยเข้าใจความแตกต่างระหว่างสแน็ปช็อต LVM และสแน็ปช็อตระบบไฟล์ หากเป็นไปได้ที่จะถ่ายภาพด้วย LVM ทำไมบางคนถึงใช้เวลาในการปรับใช้มันในระบบไฟล์ แก้ไข: ใด ๆ ของพวกเขาที่ต้องการในบางสถานการณ์? ทำไม?

32 lvm  zfs  snapshot  btrfs 

เพื่อนกำลังพูดกับฉันเกี่ยวกับปัญหาของบิตเน่า - บิตบนไดรฟ์แบบสุ่มพลิกข้อมูลที่เสียหาย หายากอย่างไม่น่าเชื่อ แต่มีเวลาเพียงพออาจเป็นปัญหาและเป็นไปไม่ได้ที่จะตรวจจับ ไดรฟ์จะไม่ถือว่าเป็นเซกเตอร์เสียและการสำรองข้อมูลจะคิดว่าไฟล์นั้นมีการเปลี่ยนแปลง ไม่มีการตรวจสอบที่เกี่ยวข้องกับการตรวจสอบความสมบูรณ์ แม้จะอยู่ในการตั้งค่า RAID ความแตกต่างก็จะถูกตรวจจับ แต่ก็ไม่มีทางรู้ได้ว่าสำเนามิเรอร์ใดถูกต้อง นี่เป็นปัญหาจริงหรือ และถ้าเป็นเช่นนั้นสิ่งที่สามารถทำได้เกี่ยวกับมันได้หรือไม่ เพื่อนของฉันแนะนำให้ใช้ zfs เป็นวิธีแก้ปัญหา แต่ฉันนึกภาพไม่ออกว่าไฟล์เซิร์ฟเวอร์ของเราอยู่ในที่ทำงานวางโซลาริสและ zfs ไว้ให้ ..

32 raid  hard-drive  zfs 

ฉันเขียนโปรแกรมบั๊กกี้ที่สร้างไฟล์ 30M ภายใต้ / tmp โดยไม่ตั้งใจ (ข้อผิดพลาดถูกแนะนำเมื่อไม่กี่สัปดาห์ที่ผ่านมาและมันกำลังสร้างไดเรกทอรีย่อยสองสามต่อวินาที) ฉันสามารถเปลี่ยนชื่อ / tmp เป็น / tmp2 ได้และตอนนี้ฉันต้องลบไฟล์ ระบบคือ FreeBSD 10 ระบบไฟล์รูทคือ zfs ในขณะที่หนึ่งในไดรฟ์ในกระจกผิดพลาดและฉันได้แทนที่มัน ไดรฟ์มีดิสก์ 120GB SSD สองตัว นี่คือคำถาม: แทนที่ฮาร์ดไดรฟ์และ resilvering อาร์เรย์ทั้งหมดใช้เวลาน้อยกว่าหนึ่งชั่วโมง การลบไฟล์ / tmp2 เป็นอีกเรื่องหนึ่ง ฉันเขียนโปรแกรมอื่นเพื่อลบไฟล์และสามารถลบไดเรคทอรีย่อยได้ 30-70 ต่อวินาทีเท่านั้น จะใช้เวลา 2-4 วันในการลบไฟล์ทั้งหมด เป็นไปได้อย่างไรที่การคืนค่าอาร์เรย์ทั้งหมดใช้เวลาหนึ่งชั่วโมง แต่การลบจากดิสก์ใช้เวลา 4 วัน เหตุใดฉันจึงมีประสิทธิภาพที่ไม่ดี การลบ 70 ครั้ง / วินาทีดูเหมือนว่าจะทำงานได้แย่มาก ฉันสามารถลบ inode …

30 performance  freebsd  zfs 

ในทางปฏิบัติตัวอย่างการใช้งาน ZFS ที่ฉันได้เห็นทางออนไลน์ (รวมถึงคำถามหลายข้อที่นี่) สวนสัตว์ชื่อ "รถถัง" ทำไม? มีความสำคัญบางอย่างกับชื่อหรือว่าเอกสารต้นฉบับใช้ "รถถัง" เพื่อให้ทุกคนใช้เช่นกัน? หากคุณมี zpool มากกว่าหนึ่งอันบนระบบมันเป็นเรื่องปกติไหมที่จะมีหนึ่งในนั้นชื่อว่า "tank" หรือ "tank" เป็นเพียงการประชุมสำหรับระบบ single-pool?

30 zfs 

หากเกิดขึ้นมีฮาร์ดแวร์ระดับเซิร์ฟเวอร์ในการกำจัดสิ่งที่เป็นสิ่งที่แนะนำให้รัน ZFS ที่ด้านบนของ RAID1 ที่ใช้ฮาร์ดแวร์หรือบางอย่าง? ควรปิด RAID ที่อิงกับฮาร์ดแวร์และรัน ZFS บน a mirrorหรือ a raidz zpoolแทนหรือไม่? เมื่อปิดการทำงานของฮาร์ดแวร์ RAID แล้วคอนโทรลเลอร์ SATA2 และ SAS ที่ใช้ฮาร์ดแวร์ RAID มีแนวโน้มที่จะซ่อนข้อผิดพลาดในการอ่านและเขียนมากกว่าหรือน้อยกว่าคอนโทรลเลอร์ที่ไม่ใช่ฮาร์ดแวร์-RAID หรือไม่ ในแง่ของเซิร์ฟเวอร์ที่ไม่สามารถปรับแต่งได้หากมีสถานการณ์ที่คอนโทรลเลอร์ RAID ของฮาร์ดแวร์มีความเป็นกลางทางต้นทุน (หรือลดค่าใช้จ่ายของเซิร์ฟเวอร์ที่สร้างไว้ล่วงหน้าเนื่องจากสถานะของมันช่วยเพิ่มโอกาสของ บริษัท โฮสติ้งที่ให้บริการ IPMI เพิ่มเติม การเข้าถึง) ควรหลีกเลี่ยงหรือไม่ แต่มันควรจะแสวงหาหลังจาก?

30 zfs  hardware-raid  sas  sata  hardware 

เราจะมีเครื่องที่ทำงานที่ประสิทธิภาพสูงสุดควรสามารถดัน50 ("หัวเขียน") x 75GBของข้อมูลต่อชั่วโมง นั่นคือประสิทธิภาพสูงสุดของความเร็วในการเขียนที่ ~ 1100MB / s ในการรับสิ่งนั้นจากเครื่องจะต้องใช้สองบรรทัด 10GBi คำถามของฉันคือเทคโนโลยีเซิร์ฟเวอร์ + ชนิดใดที่สามารถจัดการ / จัดเก็บการไหลของข้อมูลดังกล่าวได้ ปัจจุบันพื้นที่เก็บข้อมูลเราทำงานกับ ZFS แม้ว่าความเร็วในการเขียนจะไม่เป็นปัญหา (เราไม่ได้ใกล้เคียงกับความเร็วเหล่านี้) ZFS (zfs บน linux) จะเป็นตัวเลือกหรือไม่? เราจำเป็นต้องจัดเก็บข้อมูลจำนวนมาก "คำแนะนำด้านไอที" แนะนำบางส่วนระหว่าง 50-75 TB โดยรวม ดังนั้นจึงอาจไม่สามารถเป็น SSD ทั้งหมดเว้นแต่ว่าเราต้องการเสนอลูกคนโตของเรา เพิ่มเติมบางส่วนตามคำตอบที่ยอดเยี่ยม: สูงสุดคือ 50x75GB / ชั่วโมงในระหว่างที่มีการใช้งานน้อยกว่า 24 ชม. (เป็นไปได้ <6h) เราไม่คาดหวังว่าสิ่งนี้จะเกิดขึ้นในเร็ว ๆ นี้ส่วนใหญ่เราจะเรียกใช้ 5-10x75GB / ชั่วโมง เป็นเครื่องพรีอัลฟ่า …

29 performance  storage  zfs  write 

ฉันมีพูล ZFS (FUSE) ขนาดใหญ่ (> 100TB) บน Debian ที่เสียสองไดรฟ์ ในขณะที่ไดรฟ์ล้มเหลวฉันจึงแทนที่พวกเขาด้วยอะไหล่จนกว่าฉันจะสามารถกำหนดเวลาไฟฟ้าดับและแทนที่ดิสก์ที่ไม่ดีได้ เมื่อฉันนำระบบลงและแทนที่ไดรฟ์กลุ่มเริ่ม resilvering ตามที่คาดไว้ แต่เมื่อมันมาถึงประมาณ 80% เสร็จสมบูรณ์ (โดยปกติจะใช้เวลาประมาณ 100 ชั่วโมง) รีสตาร์ทอีกครั้ง ฉันไม่แน่ใจว่าการเปลี่ยนไดรฟ์สองตัวพร้อมกันสร้างเงื่อนไขการแย่งชิงหรือเนื่องจากขนาดของพูลที่ผู้กู้ใช้เวลานานว่ากระบวนการของระบบอื่นจะขัดจังหวะและทำให้รีสตาร์ท แต่ไม่มีข้อบ่งชี้ที่ชัดเจนใน ผลลัพธ์ของ 'สถานะ zpool' หรือบันทึกระบบที่ชี้ไปที่ปัญหา ฉันได้ปรับเปลี่ยนวิธีที่ฉันวางโครงสร้างกลุ่มเหล่านี้เพื่อปรับปรุงประสิทธิภาพการกู้คืน แต่โอกาสในการขายหรือคำแนะนำใด ๆ ในการทำให้ระบบนี้กลับสู่การผลิตได้รับการชื่นชม เอาต์พุตสถานะ zpool (ข้อผิดพลาดเป็นสิ่งใหม่นับตั้งแต่ฉันตรวจสอบครั้งล่าสุด): pool: pod state: ONLINE status: One or more devices has experienced an error resulting in data corruption. …

29 debian  zfs 

ฉันกำลังมองหาการสร้าง ZFS Pool ขนาดใหญ่ (150TB +) และฉันอยากได้ยินประสบการณ์ของผู้คนเกี่ยวกับสถานการณ์การสูญเสียข้อมูลเนื่องจากฮาร์ดแวร์ที่ล้มเหลวโดยเฉพาะอย่างยิ่งการแยกแยะระหว่างอินสแตนซ์ที่ข้อมูลบางส่วนสูญหายไปกับระบบไฟล์ทั้งหมด ของหากมีความแตกต่างดังกล่าวใน ZFS) ตัวอย่างเช่นสมมติว่า vdev สูญหายเนื่องจากความล้มเหลวเช่นกล่องหุ้มไดรฟ์ภายนอกสูญเสียพลังงานหรือการ์ดคอนโทรลเลอร์ล้มเหลว จากสิ่งที่ฉันอ่านพูลควรเข้าสู่โหมดที่มีความผิดพลาด แต่ถ้า vdev ถูกส่งคืนพูลควรกู้คืนได้หรือไม่? หรือไม่? หรือถ้า vdev ได้รับความเสียหายบางส่วนหนึ่งจะสูญเสียพูลทั้งหมดบางไฟล์ ฯลฯ ? จะเกิดอะไรขึ้นหากอุปกรณ์ ZIL ล้มเหลว หรือแค่หนึ่งใน ZILs หลายอัน? เรื่องราวเล็ก ๆ น้อย ๆ หรือสถานการณ์สมมุติที่ได้รับการสนับสนุนโดยความรู้ทางเทคนิคอย่างแท้จริงจะได้รับการชื่นชม! ขอบคุณ! ปรับปรุง: เรากำลังทำสิ่งนี้ในราคาถูกเพราะเราเป็นธุรกิจขนาดเล็ก (9 คนหรือมากกว่านั้น) แต่เราสร้างข้อมูลภาพจำนวนพอสมควร ข้อมูลส่วนใหญ่เป็นไฟล์ขนาดเล็กโดยนับของฉันประมาณ 500k ไฟล์ต่อ TB ข้อมูลมีความสำคัญ แต่ไม่สำคัญมาก เราวางแผนที่จะใช้พูล ZFS เพื่อจำลองอาร์เรย์ข้อมูล "สด" 48TB …

27 backup  filesystems  storage  zfs 

ฉันกำลังพยายามทดสอบโครงการที่ต้องการที่เก็บข้อมูลที่บีบอัดด้วยการใช้ระบบไฟล์ ext4 เนื่องจากแอปพลิเคชันที่ฉันใช้นั้นใช้คุณสมบัติ ext4 มีการผลิต / โซลูชันที่เสถียรสำหรับการบีบอัดแบบโปร่งใสบน ext4 หรือไม่? สิ่งที่ฉันได้ลอง: Ext4 มากกว่าโวลุ่ม ZFSเปิดใช้การบีบอัด สิ่งนี้มีผลกระทบในทางลบ ฉันพยายามสร้างวอลุ่ม ZFS โดยเปิดใช้งานการบีบอัด lz4 และสร้างระบบไฟล์ ext4 บน / dev / zvol / ... แต่ปริมาณ zfs แสดงให้เห็นถึงการใช้งานจริงเป็นสองเท่าและการบีบอัดดูเหมือนจะไม่มีผลใด ๆ # du -hs /mnt/test **1.1T** /mnt/test # zfs list NAME USED AVAIL REFER MOUNTPOINT pool 15.2T 2.70G 290K /pool …

26 linux  filesystems  zfs  ext4  compression 

zfs pool สามารถสำรองอย่างต่อเนื่อง / เพิ่มขึ้นนอกสถานที่ได้อย่างไร ฉันรู้จักsend/receiveover ssh เป็นวิธีหนึ่ง แต่เกี่ยวข้องกับการจัดการ snapshot ด้วยตนเอง มีเครื่องมือบางอย่างที่ฉันพบ แต่ส่วนใหญ่ไม่ได้รับการสนับสนุนอีกต่อไป เครื่องมือหนึ่งที่มีแนวโน้มคือhttps://github.com/jimsalterjrs/sanoidแต่ฉันกังวลว่าเครื่องมือที่ไม่เป็นที่รู้จักกันอย่างแพร่หลายอาจทำอันตรายได้มากกว่าและดีในแง่ที่มันอาจเสียหาย / ลบข้อมูล การสำรองข้อมูล zfs อย่างต่อเนื่อง / เพิ่มจะดำเนินการอย่างไร?

25 backup  zfs  incremental-backup  zfsonlinux 

ฉันวางแผนที่จะตั้งค่าไดรฟ์ 3x 2TB 7200 รอบต่อนาทีเป็นพูล Z-RAID ที่เข้ารหัสโดย LUKS ใน Linux (สำหรับโซลูชัน NAS) ความเข้าใจของฉันเกี่ยวกับปัญหาในมือคือวิธีเดียวที่จะบรรลุเป้าหมายนี้ได้คือluksFormatอุปกรณ์ทางกายภาพทุกชิ้น ฉันมีความกังวลต่อไปนี้: จะไม่เป็นอุปสรรคต่อประสิทธิภาพการเขียนหรือไม่ ในการตั้งค่าข้อมูลที่ซ้ำซ้อนนี้ถูกเข้ารหัสหลายครั้งเนื่องจาก LUKS ไม่ได้ "รับรู้" ของ Z-RAID ในข้อมูลโซลูชัน LUKS-on-mdadm ถูกเข้ารหัสหนึ่งครั้งและเขียนลงดิสก์หลายครั้งเท่านั้น CPU ของฉันรองรับ Intel AES-NI ZFS จะตระหนักถึงความล้มเหลวของดิสก์หรือไม่เมื่อทำงานบนอุปกรณ์ -mapper LUKS container ซึ่งแตกต่างจากอุปกรณ์ฟิสิคัล? การขจัดข้อมูลซ้ำซ้อนและคุณสมบัติ ZFS อื่น ๆ

24 linux  zfs  network-attached-storage  encryption  luks