คำถามติดแท็ก zfsonlinux

zfs pool สามารถสำรองอย่างต่อเนื่อง / เพิ่มขึ้นนอกสถานที่ได้อย่างไร ฉันรู้จักsend/receiveover ssh เป็นวิธีหนึ่ง แต่เกี่ยวข้องกับการจัดการ snapshot ด้วยตนเอง มีเครื่องมือบางอย่างที่ฉันพบ แต่ส่วนใหญ่ไม่ได้รับการสนับสนุนอีกต่อไป เครื่องมือหนึ่งที่มีแนวโน้มคือhttps://github.com/jimsalterjrs/sanoidแต่ฉันกังวลว่าเครื่องมือที่ไม่เป็นที่รู้จักกันอย่างแพร่หลายอาจทำอันตรายได้มากกว่าและดีในแง่ที่มันอาจเสียหาย / ลบข้อมูล การสำรองข้อมูล zfs อย่างต่อเนื่อง / เพิ่มจะดำเนินการอย่างไร?

25 backup  zfs  incremental-backup  zfsonlinux 

ฉันเข้าใจข้อโต้แย้งเกี่ยวกับโอกาสที่เพิ่มขึ้นของไดรฟ์ขนาดใหญ่ที่จะได้รับ URE ในระหว่างการสร้างใหม่ แต่ฉันไม่แน่ใจว่าสิ่งที่เกี่ยวข้องกับสิ่งนี้คืออะไร คำตอบนี้บอกว่าการสร้างใหม่ทั้งหมดล้มเหลว แต่สิ่งนี้หมายความว่าไม่สามารถเข้าถึงข้อมูลทั้งหมดได้หรือไม่ ทำไมถึงเป็นเช่นนั้น? แน่นอนว่า URE เดียวจากเซกเตอร์เดียวในไดรฟ์จะส่งผลกระทบต่อข้อมูลที่เกี่ยวข้องกับไฟล์ไม่กี่ไฟล์เท่านั้น อาร์เรย์จะยังไม่ถูกสร้างใหม่เพียงแค่มีความเสียหายเล็กน้อยไปยังไฟล์ไม่กี่ไฟล์? (ฉันสนใจเป็นพิเศษในการติดตั้ง RAID5 ของ ZFS ที่นี่ แต่ตรรกะนั้นเหมือนกันสำหรับการติดตั้ง RAID5 ใด ๆ )

23 raid  zfs  zfsonlinux 

ฉันมีเซิร์ฟเวอร์ Linux ที่มีดิสก์ 2 TB จำนวนมากทั้งหมดนี้อยู่ใน LVM ทำให้มีพื้นที่ประมาณ 10 TB ฉันใช้พื้นที่ทั้งหมดนี้บนพาร์ติชัน ext4 และปัจจุบันมีข้อมูลประมาณ 8,8 TB ปัญหาคือฉันมักจะได้รับข้อผิดพลาดในดิสก์ของฉันและแม้ว่าฉันจะแทนที่ (กล่าวคือฉันคัดลอกดิสก์เก่าไปยังดิสก์ใหม่ด้วย dd จากนั้นฉันใส่ดิสก์ใหม่ลงในเซิร์ฟเวอร์) พวกเขาทันทีที่เกิดข้อผิดพลาดขึ้น ฉันมักจะได้รับข้อมูลที่เสียหายประมาณ 100 MB นั่นทำให้ e2fsck บ้าไปทุกครั้งและมันมักจะใช้เวลาหนึ่งสัปดาห์เพื่อให้ระบบไฟล์ ext4 อยู่ในสถานะมีสติอีกครั้ง ดังนั้นคำถามคือคุณจะแนะนำให้ฉันใช้เป็นระบบไฟล์ใน LVM ของฉันอย่างไร หรือคุณอยากแนะนำให้ฉันทำอะไรแทน (ฉันไม่ต้องการ LVM จริงๆ) โปรไฟล์ของระบบไฟล์ของฉัน: โฟลเดอร์หลายขนาดแตกต่างกัน (บางแห่งรวม 2 TB บางแห่งรวม 100 MB) เกือบ 200,000 ไฟล์ที่มีขนาดแตกต่างกัน (3/4 ของไฟล์มีขนาดประมาณ 10 MB, …

21 filesystems  lvm  ext4  btrfs  zfsonlinux 

ฉันขัดสระในวันนี้และหลังจากขัดเสร็จฉันสังเกตเห็นว่ามีข้อผิดพลาดที่ไฟล์เสียหาย ฉันไม่สนใจเกี่ยวกับไฟล์ดังนั้นฉันจึงลบมัน น่าเสียดายที่ข้อผิดพลาดยังคงอยู่ (ตอนนี้ถูกอ้างอิงโดยเลขฐานสิบหกและไม่ใช่ชื่อไฟล์) และฉันไม่รู้วิธีล้างมัน ฉันควรจะกังวลไหม ฉันยังไม่เป็นอิสระจากข้อผิดพลาดนี้หรือยัง ฉันสามารถแก้ไขข้อผิดพลาดได้หรือไม่? หากไฟล์หายไปฉันไม่ต้องการเห็นข้อผิดพลาดนี้อีกในอนาคต สำหรับการอ้างอิงต่อไปนี้เป็นคำสั่งที่ฉันใช้และเอาต์พุตที่มีหมายเหตุประกอบ: กำลังตรวจสอบสถานะ kevin@atlas:~$ sudo zpool status -v pool: zstorage state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool …

20 zfs  zfsonlinux 

ฉันใช้ ZoL 0.6.2 จากPPAบน Ubuntu 12.04 อยู่ในโฮสต์ที่มีหน่วยความจำ 16GB ที่ต้องการเรียกใช้ VMs โดยใช้ KVM / Libvirt หลังจากเวลาที่ ZoL ใช้หน่วยความจำจำนวนบ้าถึง 98% ของการใช้ RAM กับ VM บางทำงาน นี่เป็นผลให้กระบวนการใหม่ปฏิเสธที่จะเริ่มต้น "ไม่สามารถจัดสรรหน่วยความจำ" ฉันไม่สามารถเริ่มต้น VMs ทั้งหมดของฉันได้อีกต่อไปซึ่งก่อนที่จะใช้ ZFS นั้นใช้ RAM ประมาณ 40-50% เท่าที่ฉันเข้าใจโดยไม่ต้องปรับแต่ง ZoL ควรปล่อยหน่วยความจำทันทีที่ระบบมีหน่วยความจำสั้น ก็ไม่เป็นไร ฉันจึงตัดสินใจตั้งarc_maxค่าเป็น 1GB # echo 1073741824 >> /sys/module/zfs/parameters/zfs_arc_max แต่ถึงกระนั้นมันก็ไม่ได้ปล่อยหน่วยความจำใด ๆ ดังที่คุณเห็นได้จากสถิติ ARC ด้านล่างแสดงว่าใช้หน่วยความจำมากกว่าที่กำหนดไว้ (เปรียบเทียบc= …

20 zfsonlinux 

ZFS บน Linux รองรับการเข้ารหัสอยู่แล้วหรือไม่ ถ้าไม่มันมีการวางแผนหรือไม่? ฉันพบข้อมูลมากมายสำหรับ ZFS + LUKS แต่นั่นไม่น่าสนใจอย่างแน่นอน: ฉันต้องการการเข้ารหัส ZFS เพื่อให้ฉันสามารถทำการจำลองแบบโดยใช้ zfs ส่งไปยังเซิร์ฟเวอร์สำรองข้อมูล "ที่ไม่น่าเชื่อถือ" เช่น, zfs ส่งชิ้นส่วนควรได้รับการเข้ารหัส หาก ZoL ไม่รองรับการเข้ารหัสมีวิธีอื่นที่สวยงามกว่าการสร้าง zVols และใช้ LUKS + EXT ที่ด้านบนของมัน (สูญเสียข้อดีของ ZFS ไปมาก)?

13 zfs  encryption  zfsonlinux 

ฉันเพิ่งโอนย้ายพูลหน่วยเก็บข้อมูลขนาดใหญ่ (ZFS บน Linux 0.6.2, Debian Wheezy) จากการกำหนดค่าอุปกรณ์ vdev ไปยังการกำหนดค่ามิเรอร์ vdev แบบสองทาง การกำหนดค่าพูลก่อนหน้านี้คือ: NAME STATE READ WRITE CKSUM akita ONLINE 0 0 0 ST4000NM0033-Z1Z1A0LQ ONLINE 0 0 0 ทุกอย่างเรียบร้อยหลังจากผู้กู้เสร็จสิ้น (ฉันเริ่มต้นการขัดหลังจากผู้กู้เสร็จสิ้นเพียงเพื่อให้ระบบกลับไปใช้ทุกอย่างอีกครั้งและตรวจสอบให้แน่ใจว่าทุกอย่างดี): pool: akita state: ONLINE scan: scrub repaired 0 in 6h26m with 0 errors on Sat May 17 06:16:06 2014 config: …

13 linux  zfs  mirror  udev  zfsonlinux 

ฉันเพิ่งเปลี่ยนchecksumคุณสมบัติในหนึ่งในระบบไฟล์ zfs ที่ไม่ซ้ำกันของฉันเป็นsha256จากon(fletcher4) เพื่อรองรับการส่งไอน้ำจำลองแบบที่ซ้ำกันได้ดีขึ้นเช่นเดียวกับในคำสั่งzfs send -DR -I _starting-snaphot_ _ending-snapshot_นี้ อย่างไรก็ตาม zfs manpage มีสิ่งนี้จะพูดเกี่ยวกับsend -D: แฟล็กนี้สามารถใช้งานได้โดยไม่คำนึงถึงคุณสมบัติการขจัดความซ้ำซ้อนของชุดข้อมูล แต่ประสิทธิภาพจะดีกว่ามากหากระบบไฟล์ใช้การตรวจสอบความสามารถในการขจัดความซ้ำซ้อน (เช่น sha256) zfs manpage ระบุสิ่งนี้เกี่ยวกับchecksumคุณสมบัติ: การเปลี่ยนแปลงคุณสมบัตินี้มีผลกับข้อมูลที่เพิ่งเขียนใหม่เท่านั้น ฉันไม่มีความปรารถนาที่จะเชื่อใจ fletcher4 ข้อเสียคือแตกต่างจาก SHA256, fletcher4 ไม่ใช่ฟังก์ชันแฮชหลอกแบบสุ่มดังนั้นจึงไม่สามารถเชื่อถือได้ว่าจะไม่ชนกัน ดังนั้นจึงเหมาะสำหรับการลดความซ้ำซ้อนเมื่อรวมกับตัวเลือก 'ตรวจสอบ' ซึ่งตรวจจับและแก้ไขการชนกันของแฮช ฉันจะอัปเดต checksums ของระบบไฟล์ได้อย่างไรโดยเฉพาะอย่างยิ่งโดยไม่ต้องตัดระบบ

13 zfs  zfsonlinux 

ฉันได้ติดตั้ง ZFS (0.6.5) ใน Centos 7 ของฉันแล้วและฉันได้สร้าง zpool ทุกอย่างทำงานได้ดีนอกเหนือจากความจริงที่ว่าชุดข้อมูลของฉันหายไปเมื่อรีบูต ฉันพยายามแก้ไขปัญหานี้ด้วยความช่วยเหลือของแหล่งข้อมูลออนไลน์และบล็อกต่างๆ แต่ไม่สามารถรับผลลัพธ์ที่ต้องการได้ หลังจากรีบูตเมื่อฉันออกzfs listคำสั่งฉันได้รับ"ไม่มีชุดข้อมูล"และzpool listให้"ไม่มีกลุ่มที่มี" หลังจากทำการวิจัยออนไลน์จำนวนมากฉันสามารถทำให้มันทำงานได้โดยการนำเข้าไฟล์แคชด้วยตนเองโดยใช้zpool import -c cachefileแต่ ฉันยังคงต้องใช้งานzpool set cachefile = / etc / zfs / zpool.cache Poolก่อนที่จะทำการรีบูทเพื่อที่จะนำเข้ามันในภายหลังหลังจากรีบูต นี่คืออะไรsystemctl status zfs-import-cache ดูเหมือนกับ, zfs-import-cache.service - Import ZFS pools by cache file Loaded: loaded (/usr/lib/systemd/system/zfs-import-cache.service; static) Active: inactive (dead) cat /etc/sysconfig/zfs …

13 linux  zfs  centos7  zfsonlinux 

ฉันใหม่สำหรับ ZFS อย่างสมบูรณ์ดังนั้นเริ่มต้นด้วยฉันคิดว่าฉันจะทำมาตรฐานง่ายๆเพื่อให้ได้รับความรู้สึกว่ามันทำงานอย่างไร ฉันต้องการผลักดันขีด จำกัด ของประสิทธิภาพดังนั้นฉันจึงเตรียมi2.8xlargeอินสแตนซ์Amazon EC2 (เกือบ $ 7 / ชม. เวลาจริง ๆ แล้วเป็นเงิน!) อินสแตนซ์นี้มี 8 800GB SSD ฉันfioทำการทดสอบ SSD ด้วยตนเองและได้รับผลลัพธ์ต่อไปนี้ (ตัดแต่ง): $ sudo fio --name randwrite --ioengine=libaio --iodepth=2 --rw=randwrite --bs=4k --size=400G --numjobs=8 --runtime=300 --group_reporting --direct=1 --filename=/dev/xvdb [trimmed] write: io=67178MB, bw=229299KB/s, iops=57324, runt=300004msec [trimmed] 57K IOPS สำหรับการเขียนแบบสุ่ม 4K น่านับถือ …

12 amazon-web-services  zfs  zfsonlinux 

ปัญหา ฉันเพิ่งติดตั้งดิสก์ใหม่และสร้าง zpool ไว้ใน: /# zpool create morez /dev/sdb หลังจากใช้ไปซักพักฉันสังเกตว่ามันค่อนข้างช้า: /morez# fio --name rw --rw rw --size 10G read: IOPS=19.6k, BW=76.6MiB/s (80.3MB/s)(5120MiB/66834msec) write: IOPS=19.6k, BW=76.6MiB/s (80.3MB/s)(5120MiB/66834msec) การทดสอบนี้ค่อนข้างคล้ายกับกรณีการใช้งานจริงของฉัน ฉันกำลังอ่านภาพในระดับปานกลาง (~ 10k) ของภาพ (ประมาณ 2 MiB) จากดิสก์ พวกเขาเขียนทั้งหมดในครั้งเดียวเมื่อดิสก์ว่างเปล่าเป็นส่วนใหญ่ดังนั้นฉันไม่คาดหวังให้แยกส่วน สำหรับการเปรียบเทียบฉันทดสอบ ext4: /# gdisk /dev/sdb ... /# mkfs.ext4 -f /dev/sdb1 && mount /dev/sdb1 /mnt …

11 performance  hard-drive  zfs  zfsonlinux 

ฉันมีเซิร์ฟเวอร์ ZFS ที่มี 8 zpool แต่ละพูลมีดิสก์ 6 6TB ในการกำหนดค่า 10 + 2 RAIDZ ดังนั้นแต่ละพูลมีพื้นที่เก็บข้อมูลดิบ 12 * 6 = 72 TB และพื้นที่ใช้งาน 10 * 6 = 60 TB อย่างไรก็ตามฉันเห็นผลลัพธ์ที่แตกต่างกันเมื่อฉันค้นหาโดยใช้zfs listและใช้zpool listเป็นด้านล่าง: # zfs list NAME USED AVAIL REFER MOUNTPOINT intp1 631K 48.0T 219K /intp1 intp2 631K 48.0T 219K /intp2 intp3 631K …

11 zfs  zfsonlinux 

ฉันมี ZFS zpool บน linux ภายใต้เคอร์เนล 2.6.32-431.11.2.el6.x86_64 ซึ่งมี vdev เดียว vdev เป็นอุปกรณ์ SAN ฉันขยายขนาดของ SAN และแม้ว่า zpool จะautoexpandตั้งค่าไว้onแม้หลังจากรีบูตเครื่องส่งออก / นำเข้าพูลและการใช้zpool online -eงานฉันก็ไม่สามารถทำให้พูลขยายได้ ฉันแน่ใจว่า vdev นั้นใหญ่กว่าเพราะfdiskมันเพิ่มขึ้นจาก 215GiB เป็น 250 GiB นี่คือตัวอย่างของสิ่งที่ฉันทำ: [root@timestandstill ~]# zpool list NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT dfbackup 214G 207G 7.49G 96% 1.00x ONLINE - …

10 linux  zfs  zfsonlinux 

ฉันใช้พูล ZFS ขนาดใหญ่ที่สร้างขึ้นสำหรับ 256K + ตามลำดับขนาดการอ่านและการเขียนผ่าน iSCSI (สำหรับการสำรองข้อมูล) บน Ubuntu 18.04 เมื่อพิจารณาถึงความจำเป็นในการรับส่งข้อมูลและประสิทธิภาพพื้นที่ที่สูงและความต้องการบล็อกขนาดเล็กแบบสุ่มน้อยลงฉันจึงไปตรวจค้นลายทาง raidz2 บนกระจกลายทาง อย่างไรก็ตามประสิทธิภาพการอ่านตามลำดับ 256K นั้นต่ำกว่าที่ฉันคาดไว้มาก (100 - 200MBps สูงสุดถึง 600MBps) เมื่อ zvols กดปุ่ม ~ 99% iowait ใน iostat อุปกรณ์สำรองมักจะทำงานระหว่าง 10 และ 40% iowait ซึ่งแนะนำให้ฉันเห็นคอขวดเป็นสิ่งที่ฉันขาดการตั้งค่าเนื่องจากไม่ควรเป็น backplane หรือซีพียูใน ระบบนี้และปริมาณงานต่อเนื่องไม่ควรทำงานหนักเกินไป ฉันเล่นค่อนข้างน้อยด้วยพารามิเตอร์โมดูล (การตั้งค่าปัจจุบันด้านล่าง) อ่านบทความหลายร้อยเรื่องเกี่ยวกับ OpenZFS github ฯลฯ การปรับค่า prefetch และการรวมกันทำให้ฉันอยู่ในระดับประสิทธิภาพนี้ - โดยค่าเริ่มต้นฉันทำงานที่ประมาณ …

9 performance  storage  zfs  iscsi  zfsonlinux 

ฉันค่อนข้างใหม่สำหรับ ZFS และฉันมีการตั้งค่าพูลหน่วยเก็บข้อมูลแบบมิร์เรอร์อย่างง่ายพร้อมไดรฟ์ 8 ตัว หลังจากใช้งานไปไม่กี่สัปดาห์ไดรฟ์หนึ่งตัวดูเหมือนจะสร้างข้อผิดพลาดได้มากมายดังนั้นฉันจึงทำการแทนที่ อีกไม่กี่สัปดาห์ข้างหน้าและตอนนี้ฉันเห็นข้อผิดพลาดเล็ก ๆ เกิดขึ้นรอบ ๆ สระ (ดูzpool statusผลลัพธ์ด้านล่าง) ฉันควรจะต้องกังวลเกี่ยวกับเรื่องนี้? ฉันจะทราบได้อย่างไรว่าข้อผิดพลาดระบุว่าจำเป็นต้องเปลี่ยนไดรฟ์หรือไม่ # zpool status pool: storage state: ONLINE status: One or more devices has experienced an unrecoverable error. An attempt was made to correct the error. Applications are unaffected. action: Determine if the device needs to …

9 hard-drive  zfs  zfsonlinux