คำถามติดแท็ก zfs

ขณะนี้ฉันกำลังจัดทำ NAS ที่ใช้ ZFS ของฉันทั้งรายวันและรายสัปดาห์ซึ่งเป็นกระบวนการที่ช่วยชีวิตฉันไว้สองสามครั้ง อย่างไรก็ตามในขณะที่การสร้างสแน็ปช็อตเป็นไปโดยอัตโนมัติ (จาก cron) การลบสแน็ปช็อตเก่ายังคงเป็นงานที่ทำด้วยมือ เห็นได้ชัดว่ามีความเสี่ยงที่ถ้าฉันโดนรถบัสหรืองานที่ทำด้วยมือไม่ได้ดำเนินการ NAS จะหมดพื้นที่ดิสก์ ทุกคนมีวิธี / สคริปต์ที่ดีที่พวกเขาใช้เพื่อจัดการจำนวนสแนปชอตที่เก็บไว้ในระบบ ZFS หรือไม่? โดยอุดมคติแล้วฉันต้องการสคริปต์ที่วนซ้ำสแน็ปช็อตทั้งหมดสำหรับระบบไฟล์ ZFS ที่กำหนดและลบทั้งหมดยกเว้นสแนปชอตnสุดท้ายสำหรับระบบไฟล์นั้น เช่นฉันมีสอง filesystems หนึ่งเรียกว่าและอีกที่เรียกว่าtank sastankสแนปชอตถูกตั้งชื่อตามวันที่ที่สร้าง: sastank@AutoD-2011-12-13ดังนั้นsortคำสั่งง่ายๆควรแสดงรายการตามลำดับ ฉันต้องการเก็บสแนปชอตรายวันของ 2 สัปดาห์ที่ผ่านมาtankแต่เก็บสแน็ปช็อตในสองวันสุดท้ายsastankเท่านั้น

24 solaris  zfs  snapshot 

คำถามนี้ถูกโยกย้ายจาก Super User เพราะสามารถตอบได้ใน Server Fault อพยพ 7 ปีที่ผ่านมา ฉันยังใหม่กับ ZFS ฉันใช้ Nexenta แต่ฉันคิดว่าจะเปลี่ยนเป็น OpenIndiana หรือ Solaris 11 Express ตอนนี้ฉันอยู่ในจุดที่จะพิจารณาการทำเวอร์ชวลเซิร์ฟเวอร์ ZFS ในฐานะแขกใน ESXi, Hyper-V หรือ XenServer (ฉันยังไม่ได้ตัดสินใจว่าจะใช้อันไหน - ฉันกำลังมุ่งสู่ ESXi สำหรับ VMDirectPath และ FreeBSD) เหตุผลหลักที่ดูเหมือนว่าฉันมีทรัพยากรเพียงพอที่จะไปรอบ ๆ ได้อย่างง่ายดายซึ่งอาจทำให้มี VM อื่น ๆ จำนวน 1-3 เครื่องทำงานพร้อมกัน เซิร์ฟเวอร์ Windows ส่วนใหญ่ อาจเป็น Linux / BSD …

23 virtualization  hardware  storage  zfs  nexenta 

ฉันเข้าใจข้อโต้แย้งเกี่ยวกับโอกาสที่เพิ่มขึ้นของไดรฟ์ขนาดใหญ่ที่จะได้รับ URE ในระหว่างการสร้างใหม่ แต่ฉันไม่แน่ใจว่าสิ่งที่เกี่ยวข้องกับสิ่งนี้คืออะไร คำตอบนี้บอกว่าการสร้างใหม่ทั้งหมดล้มเหลว แต่สิ่งนี้หมายความว่าไม่สามารถเข้าถึงข้อมูลทั้งหมดได้หรือไม่ ทำไมถึงเป็นเช่นนั้น? แน่นอนว่า URE เดียวจากเซกเตอร์เดียวในไดรฟ์จะส่งผลกระทบต่อข้อมูลที่เกี่ยวข้องกับไฟล์ไม่กี่ไฟล์เท่านั้น อาร์เรย์จะยังไม่ถูกสร้างใหม่เพียงแค่มีความเสียหายเล็กน้อยไปยังไฟล์ไม่กี่ไฟล์? (ฉันสนใจเป็นพิเศษในการติดตั้ง RAID5 ของ ZFS ที่นี่ แต่ตรรกะนั้นเหมือนกันสำหรับการติดตั้ง RAID5 ใด ๆ )

23 raid  zfs  zfsonlinux 

คำถามนี้ถูกโยกย้ายจาก Super User เพราะสามารถตอบได้ใน Server Fault อพยพ 7 ปีที่ผ่านมา อ้างอิงหลัก ZFS L2ARC (Brendan Gregg) (2008-07-22) และZFS และ Hybrid Storage Concept (บล็อกของ Anatol Studler) (2008-11-11) รวมแผนภาพต่อไปนี้: คำถาม ฉันควรตีความเส้นสีขาวแนวตั้ง - ที่เลเยอร์ SSD หรือไม่หากต้องการใช้SSD แยกกัน - ตั้งค่าเพื่อไม่ผสม L2ARC และ ZIL ในดิสก์เดียวหรือไม่ พื้นหลัง (ตอบสนองต่อความคิดเห็น) โดยส่วนตัวแล้วที่บ้านฉันไม่น่าจะใช้ L2ARC หรือ ZIL กับคอมพิวเตอร์เครื่องใดก็ได้ที่ฉันสามารถใช้ได้ (คอมพิวเตอร์ประจำวันของฉันคือ MacBookPro5,2 ที่มีหน่วยความจำ 8 GB …

22 ssd  cache  zfs 

ฉันใช้คอมพิวเตอร์มา 40 ปีแล้ว แต่ฉันไม่เคยสร้างเซิร์ฟเวอร์แบบนี้เลยดังนั้นนี่อาจเป็นคำถามที่ n00b ฉันมีไคลเอนต์ที่จะนำเสนอไฟล์เพลง def สูงพิเศษสำหรับการดาวน์โหลด ในกรณีนี้หมายถึงการบีบอัด FLAC 24 / 192Khz = ~ 10GB / อัลบั้ม (ไม่ฉันไม่ต้องการแยกความปรารถนาของผลิตภัณฑ์เพียงแค่การกำหนดค่าเซิร์ฟเวอร์) แคตตาล็อกจะมีประมาณ 3,000 อัลบั้มโดยมีทั้งเวอร์ชั่นที่สูงและต่ำ def (สำหรับ iPods ของพวกเขาฉันเดา) ข้อมูลหลัก 35-40TB หรือมากกว่านั้น เนื่องจากนี่เป็นผลิตภัณฑ์ที่พิเศษมากขนาดของตลาดจึงค่อนข้างเล็ก (คิดว่า: ผู้ที่ใช้จ่าย $ 20,000 + กับระบบเสียงของพวกเขา) ซึ่งหมายถึงเวลาส่วนใหญ่ที่เซิร์ฟเวอร์ใช้งานว่าง 100% (หรือใกล้เคียง) ฉันมีสิ่งที่ดูเหมือนข้อเสนอ colocation ที่ดีจาก ColocationAmerica ด้วยการเชื่อมต่อ 1Gbps และแบนด์วิดท์ที่ประมาณ $ 20 / TB …

21 zfs  software-raid  sas 

ฉันได้อ่านข้อมูลจำนวนมากเกี่ยวกับการวางแผนข้อกำหนด RAM สำหรับการลดความซ้ำซ้อนของ ZFS ฉันเพิ่งอัปเกรด RAM ของเซิร์ฟเวอร์ไฟล์ของฉันเพื่อรองรับการ จำกัด การซ้ำซ้อนบางอย่างบน ZFS zvols ซึ่งฉันไม่สามารถใช้สแน็ปช็อตและการโคลนนิ่งบน ฉันต้องการตรวจสอบให้แน่ใจว่า RAM ใหม่ที่ฉันเพิ่มจะรองรับการขจัดข้อมูลซ้ำซ้อนแบบ จำกัด ที่ฉันตั้งใจจะทำ ในการวางแผนหมายเลขของฉันดูดี แต่ผมต้องการที่จะแน่ใจว่า ฉันจะบอกขนาดปัจจุบันของตาราง ZD dedupe (DDTs) บนระบบถ่ายทอดสดของฉันได้อย่างไร ฉันอ่านชุดข้อความของรายชื่อผู้รับจดหมายแต่ฉันไม่ชัดเจนว่าพวกเขาเข้าถึงหมายเลขเหล่านั้นได้อย่างไร (ฉันสามารถโพสต์ผลลัพธ์ได้zdb tankหากจำเป็น แต่ฉันกำลังมองหาคำตอบทั่วไปที่สามารถช่วยเหลือผู้อื่นได้)

21 linux  solaris  zfs  memory-usage  deduplication 

ฉันมีเซิร์ฟเวอร์ OpenSolaris ที่มี zpool backupzประกอบด้วยไดรฟ์ SCSI สี่ตัว: -bash-3.2# zpool status backupz pool: backupz state: ONLINE scrub: none requested config: NAME STATE READ WRITE CKSUM backupz ONLINE 0 0 0 raidz1 ONLINE 0 0 0 c7t0d0 ONLINE 0 0 0 c7t1d0 ONLINE 0 0 0 c7t2d0 ONLINE 0 0 0 c7t3d0 …

21 solaris  zfs  raidz 

ฉันกำลังพิจารณาว่าจะใช้ระบบปฏิบัติการและระบบไฟล์ใดบนเซิร์ฟเวอร์ใหม่บางตัวที่ฉันมีอยู่และกำลังพิจารณา BSD ฟรีด้วย ZFS หรือ Linux ที่มี BTRFS โปรแกรมที่ฉันรันทั้งสองระบบดังนั้นปัญหาเดียวคือความน่าเชื่อถือของระบบไฟล์และประสิทธิภาพ ฯลฯ

21 zfs  btrfs 

ฉันขัดสระในวันนี้และหลังจากขัดเสร็จฉันสังเกตเห็นว่ามีข้อผิดพลาดที่ไฟล์เสียหาย ฉันไม่สนใจเกี่ยวกับไฟล์ดังนั้นฉันจึงลบมัน น่าเสียดายที่ข้อผิดพลาดยังคงอยู่ (ตอนนี้ถูกอ้างอิงโดยเลขฐานสิบหกและไม่ใช่ชื่อไฟล์) และฉันไม่รู้วิธีล้างมัน ฉันควรจะกังวลไหม ฉันยังไม่เป็นอิสระจากข้อผิดพลาดนี้หรือยัง ฉันสามารถแก้ไขข้อผิดพลาดได้หรือไม่? หากไฟล์หายไปฉันไม่ต้องการเห็นข้อผิดพลาดนี้อีกในอนาคต สำหรับการอ้างอิงต่อไปนี้เป็นคำสั่งที่ฉันใช้และเอาต์พุตที่มีหมายเหตุประกอบ: กำลังตรวจสอบสถานะ kevin@atlas:~$ sudo zpool status -v pool: zstorage state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool …

20 zfs  zfsonlinux 

ฉันมีเซิร์ฟเวอร์ NAS ที่มีไดรฟ์ WD RE4-GP 4x2TB ในการกำหนดค่า RAID10 (ใช้งานได้ 4TB) ฉันไม่มีที่ว่างเหลือเหลืออีก <1TB ฉันมี $ 0 เพื่อใช้กับไดรฟ์ / กล่องหุ้มที่ใหญ่ขึ้น / มากขึ้น ฉันชอบสิ่งที่ฉันได้อ่านเกี่ยวกับคุณสมบัติความสมบูรณ์ของข้อมูลของ ZFS ซึ่ง - ด้วยตัวเอง - ก็เพียงพอแล้วสำหรับฉันที่จะเปลี่ยนจาก XFS (ซอฟต์แวร์) RAID10 ที่มีอยู่ของฉัน จากนั้นฉันก็อ่านเกี่ยวกับการใช้งาน RAID5 ที่เหนือกว่าของ ZFS ดังนั้นฉันคิดว่าฉันอาจเพิ่มพื้นที่ใช้งานได้มากขึ้น 2TB ในการต่อรองราคาโดยใช้ RAIDZ-1 แต่ผมให้อ่านมากขึ้นและมากขึ้น โพสต์บอกว่าสวยมากเพียงแค่ไม่เคยใช้ RAIDZ-1 RAIDZ-2 + เท่านั้นที่เชื่อถือได้เพียงพอที่จะจัดการกับความล้มเหลวของไดรฟ์ "โลกแห่งความจริง" แน่นอนในกรณีของฉัน RAIDZ-2 ไม่มีเหตุผลอะไรเลย มันจะดีกว่ามากถ้าใช้ …

18 zfs  freenas  raidz 

กลุ่มของฉันในปัจจุบันมีเซิร์ฟเวอร์จัดเก็บข้อมูลขนาดใหญ่สองเซิร์ฟเวอร์ทั้ง NAS ที่ใช้ debian linux สิ่งแรกคือเซิร์ฟเวอร์ 24-all-in-one (SATA) all-in-one ที่มีอายุหลายปี เรามีฮาร์ดแวร์ RAIDS สองชุดที่ติดตั้งด้วย LVM เหนืออุปกรณ์เหล่านั้น เซิร์ฟเวอร์ตัวที่สองคือดิสก์ 64 ตัวที่แบ่งออกเป็น 4 ส่วนแต่ละตัวเป็นฮาร์ดแวร์ RAID 6 เชื่อมต่อผ่าน SAS ภายนอก เราใช้ XFS กับ LVM เพื่อสร้างพื้นที่เก็บข้อมูลที่ใช้งานได้ 100TB ทั้งหมดนี้ใช้งานได้ดี แต่เรากำลังพัฒนาระบบเหล่านี้ให้สูงขึ้น มีการสร้างเซิร์ฟเวอร์สองเครื่องดังกล่าวและยังคงเติบโตเราต้องการสร้างสิ่งที่ช่วยให้เรามีความยืดหยุ่นมากขึ้นในแง่ของการเติบโตในอนาคตตัวเลือกการสำรองข้อมูลที่ทำงานได้ดีขึ้นภายใต้ความล้มเหลวของดิสก์ (การตรวจสอบระบบไฟล์ ในสภาพแวดล้อมที่พร้อมกันอย่างมาก (คิดว่าคลัสเตอร์คอมพิวเตอร์ขนาดเล็ก) เราไม่มีการสนับสนุนการบริหารระบบ ดังนั้นสิ่งที่เรามองหาคือโซลูชั่นการจัดเก็บข้อมูลประสิทธิภาพต่ำที่ยอมรับได้ซึ่งจะช่วยให้เกิดการเติบโตในอนาคตและการกำหนดค่าที่ยืดหยุ่น (คิดว่า ZFS ที่มีพูลต่างกัน เราอาจอยู่นอกขอบเขตของ NAS เดียว เราคิดเกี่ยวกับการรวมกันของ ZFS (บน openindiana เป็นต้น) …

18 storage  storage-area-network  zfs  glusterfs 

เห็นได้ชัดว่าถ้าไดรฟ์ทั้งหมดตายจากนั้น RAID-Z บนดิสก์เดียวจะไม่ช่วย แต่ข้อผิดพลาดประเภทอื่น ๆ ล่ะ? จากประสบการณ์ของฉันบางครั้งฉันมีไฟล์ที่ฉันไม่สามารถอ่านได้ ใน Mac OS X ระบบจะหยุดทำงานชั่วระยะเวลาหนึ่งแล้วกลับมาพร้อมกับข้อผิดพลาด ฉันย้ายไฟล์ไปที่ไหนสักแห่งและฉันคิดว่าไฟล์นั้นมีเซกเตอร์เสียหรือบล็อกที่ไม่ดีหรืออาจเป็นแทร็กที่ไม่ดีทั้งหมด ฉันย้อนกลับไปที่วันที่ฟลอปปี้ดิสก์ที่การจัดการดิสก์ของคุณล้มเหลวด้วยมือเป็นเพียงกิจกรรมทั่วไป แน่นอนว่าคุณจะแทนที่แผ่นฟลอปปี้เสียโดยเร็วที่สุด แต่บางครั้งคุณไม่สามารถทำได้ทันทีดังนั้นวิธีปฏิบัติคือการค้นหาพื้นที่ที่ไม่ดีจัดสรรให้เป็นไฟล์จากนั้นไม่ต้องลบไฟล์นั้น คำถามแรกคือฮาร์ดไดรฟ์เสียอย่างไร สมมติฐานของฉันข้างต้นถูกต้องหรือไม่ เป็นเรื่องจริงหรือเปล่าที่บล็อกเสียมีข้อผิดพลาด แต่ไดรฟ์ทั้งหมดยังสามารถใช้งานได้เป็นส่วนใหญ่ หากเป็นเช่นนั้นดูเหมือนว่า RAID-Z สามารถซ่อมแซมบล็อกที่ไม่ดีหรือพื้นที่ที่ไม่ดีของดิสก์โดยใช้พาริตีของบล็อกอื่น ๆ (พื้นที่) กรณีการใช้งานสำหรับการสำรองข้อมูล ถ้าฉันผลักข้อมูลออกไปที่ไดรฟ์ 8 TB สัปดาห์ละครั้งมันจะสมเหตุสมผลไหมที่จะพิจารณาว่าเป็นไดรฟ์ข้อมูล 7 TB บวกกับความเท่าเทียมกัน 1 TB ด้วยความหวังว่าความเท่าเทียมกันพิเศษจะช่วยให้ฉันฟื้นตัวจากบิตเน่า ความล้มเหลวของไดรฟ์ภาษาท้องถิ่นอื่น ๆ ? หากทฤษฎีไม่ได้มีข้อบกพร่องทางเทคนิคแล้ว ZFS สามารถกำหนดค่าให้ทำเช่นนี้ได้หรือไม่? แก้ไข: ฉันเห็นคำถามอื่นก่อนที่จะโพสต์คำถามนี้ แบ่งออกเป็นพาร์ติชันแยกต่างหากซึ่งแต่ละพาร์ติชันถูกจัดกลุ่มเข้าด้วยกันเป็นหนึ่งตัวเลือก แต่ในแนวความคิดมันเป็นไปได้ที่จะมีแผนที่บล็อกสำหรับพาร์ติชัน N ที่เชื่อมต่อกันเพื่อให้มีแถบหนึ่งในขณะที่ทางตรรกะจะข้ามพาร์ติชัน N ก็จะอยู่ใกล้กันมาก …

18 zfs  raidz 

permanent errorsวันนี้มีหลายคนรายงานที่สวนสัตว์ของฉัน pool: seagate3tb state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://zfsonlinux.org/msg/ZFS-8000-8A scan: none requested config: NAME STATE READ WRITE CKSUM seagate3tb …

18 zfs 

ฉันใช้ zfs กับFreeBSD 9.0 x64ของฉันและค่อนข้างพอใจกับมัน แต่ฉันพบว่ามันยากที่จะนับไดเรกทอรีจริงไม่ใช่บีบอัดขนาด แน่นอนฉันสามารถเดินข้ามไดเรกทอรีและนับทุกขนาดไฟล์ด้วย ls แต่ฉันคาดว่าจะมีคีย์พิเศษสำหรับ du เพื่อจุดประสงค์นั้น ดังนั้นฉันจะบอกขนาดไดเรกทอรีสำหรับ dir ที่วางอยู่บน zfs ด้วยการบีบอัดได้อย่างไร Thamk คุณล่วงหน้าสำหรับคำแนะนำฉันง่ายไม่สามารถจำไม่มีวิธี 'ง่าย' เช่นโดยไม่ต้อง 'ค้นหา. / - ประเภท d -exec ls -l' {} '\; | อ๋อ ... '!

18 freebsd  zfs  find  ls  du 

ฉันกำลังขยายเซิร์ฟเวอร์ Solaris 10 U8 ด้วยพูลหน่วยเก็บข้อมูลเพิ่มเติมนอกเหนือจากรูทพูล วิธีที่มีประสิทธิภาพ / ง่าย / น่าเชื่อถือที่สุดในการย้ายระบบไฟล์ ZFS เฉพาะจาก rpool ไปยังพูลหน่วยเก็บข้อมูลใหม่นี้คืออะไร? สามารถทำออนไลน์ได้หรือฉันควรปิดบริการโดยใช้พูลเหล่านี้ก่อน

18 solaris  zfs