คำถามติดแท็ก filesystems

ฉันใช้ OpenSolaris กับ ZFS สำหรับไฟล์เซิร์ฟเวอร์หลักของฉัน ตอนแรกฉันไปกับ ZFS เพราะฉันได้ยินสิ่งที่ยอดเยี่ยมมากมายเกี่ยวกับเรื่องนี้: ดิสก์ทอดอัตโนมัติ (zpools) ซอฟต์แวร์ RAID (RAID-Z) การปรับขนาดพูลอัตโนมัติโดยแทนที่ดิสก์ RAIDZ การตรวจสอบระดับบล็อก ไม่มีข้อ จำกัด ด้านปริมาณเดี่ยว การขจัดข้อมูลซ้ำซ้อน "เร็ว ๆ นี้" หลังจากแหย่ที่ OpenSolaris ซักพักมันก็ทำให้ฉันรำคาญจริงๆ ฉันรู้จัก Fedora / CentOS และ Debian / Ubuntu ได้ดีกว่าและฉันก็คุ้นเคยกับวิธีการทำ Linux กับรุ่น Solaris / BSD ฉันต้องการเปลี่ยนเป็น Linux แต่ฉันไม่รู้ว่าจะใช้อะไรกับ FS ของฉัน ฉันไม่เต็มใจที่จะใช้ FUSE หรือเคอร์เนลก่อนเบต้าเพื่อรับ ZFS Btrfs …

12 linux  filesystems  zfs 

ในสภาพแวดล้อมยูนิกซ์ทั่วไปที่ทันสมัย ​​(เช่น GNU / Linux, GNU / Solaris หรือ Mac OS X) มีวิธีที่ดีในการตรวจสอบว่าจุดเมานท์และระบบไฟล์ประเภทใดที่พา ธ ของไฟล์แน่นอนอยู่ ฉันคิดว่าฉันสามารถรันmountคำสั่งและแยกวิเคราะห์ผลลัพธ์ด้วยตนเองและเปรียบเทียบสตริงกับพา ธ ไฟล์ของฉัน แต่ก่อนที่ฉันจะทำฉันสงสัยว่ามีวิธีที่สวยงามกว่านี้หรือไม่ ฉันกำลังพัฒนาสคริปต์ BASH ที่ใช้ประโยชน์จากคุณสมบัติเพิ่มเติมและต้องการทำให้สิ่งที่ถูกต้อง (เท่าที่เป็นไปได้) สำหรับระบบไฟล์และสภาพแวดล้อมโฮสต์ที่หลากหลาย

12 unix  bash  files  filesystems  unix-shell 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ปิดให้บริการใน6 ปีที่ผ่านมา ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ ฉันเข้าใจว่ามีหลายทางเลือกในการใช้ / เข้าถึง ext2 / ext3 ใน Windows เช่นที่อธิบายไว้ในบทความ HOWTO Forgeและบทความอื่นจากปีที่แล้ว อย่างไรก็ตามไม่มีรายการใดในรายการที่ให้การเข้าถึงแบบอ่าน - เขียนอย่างเต็มที่กับ ext3 ที่นำไปใช้อย่างสมบูรณ์ นั่นคือตัวเลือกการอ่าน - เขียนสองตัวเลือกดูเหมือนจะไม่สนับสนุนวารสาร ext3 (ext2fsd จะเล่นซ้ำเจอร์นัลที่ไม่ว่างเปล่า แต่ไม่เช่นนั้นมันก็ใช้ไม่ได้ดูเหมือนว่า ext2fs.sys ดูเหมือนจะไม่ใช้เจอร์นัลเลย) มีใครรู้บ้างเกี่ยวกับไดรเวอร์ที่ฉันสามารถติดตั้งใน Windows เพื่อให้การเข้าถึงแบบอ่าน - เขียนพาร์ติชั่น ext3 อย่างเต็มรูปแบบรวมถึงเจอร์นัลสิทธิผู้ใช้คุณลักษณะ selinux (ถ้าเป็นไปได้ มีผู้ใดบ้างในคุณใช้หนึ่งในไดรเวอร์เหล่านี้หรือไม่ ปัจจุบันฉันแบ่งปันข้อมูลระหว่าง OS บนระบบดูอัลบูตผ่านพาร์ติชัน FAT32 ฉันรู้ว่าฉันสามารถใช้ NTFS …

12 windows  filesystems  ext3 

ฉันกำลังดูการตั้งค่านี้: Windows Server 2012 ไดรฟ์ NTFS 1 TB คลัสเตอร์ 4 KB เต็ม ~ 90% ~ 10M ไฟล์ที่เก็บไว้ใน 10,000 โฟลเดอร์ = ~ 1,000 ไฟล์ / โฟลเดอร์ ไฟล์ส่วนใหญ่ค่อนข้างเล็ก <50 KB ไดรฟ์เสมือนโฮสต์บนดิสก์อาร์เรย์ เมื่อแอปพลิเคชันเข้าถึงไฟล์ที่จัดเก็บในโฟลเดอร์สุ่มจะใช้เวลา 60-100 ms ในการอ่านแต่ละไฟล์ ด้วยเครื่องมือทดสอบดูเหมือนว่าความล่าช้าเกิดขึ้นเมื่อเปิดไฟล์ การอ่านข้อมูลจะใช้เวลาเพียงเล็กน้อยเท่านั้น โดยสรุปนี่หมายความว่าการอ่าน 50 ไฟล์สามารถใช้เวลา 3-4 วินาทีซึ่งมากกว่าที่คาดไว้ เขียนเสร็จในแบทช์ดังนั้นประสิทธิภาพจึงไม่มีปัญหาที่นี่ ฉันได้ทำตามคำแนะนำเกี่ยวกับ SO และ SF แล้วเพื่อให้ได้ตัวเลขเหล่านี้ การใช้โฟลเดอร์เพื่อลดจำนวนไฟล์ต่อโฟลเดอร์ (การจัดเก็บหนึ่งล้านภาพในระบบไฟล์ ) เรียกใช้contigเพื่อจัดเรียงข้อมูลโฟลเดอร์และไฟล์ …

12 windows  performance  filesystems  ntfs 

มีเครื่องมือ Linux / Unix ใดบ้างที่ค้นหาไฟล์ทั้งหมดในไดเรกทอรีเดียวที่ไม่มีอยู่ในอีกไดเรกทอรีหนึ่ง? โดยทั่วไปฉันกำลังมองหา diff ซึ่งทำงานกับผลลัพธ์ของ ls สคริปต์สั้นและหวานก็ชื่นชม

12 linux  command-line-interface  filesystems 

ฉันต้องการลบไดเรกทอรีแคช nginx ซึ่งฉันลบออกอย่างรวดเร็วโดย: mv cache cache.bak mkdir cache service nginx restart ตอนนี้ฉันมีcache.bakโฟลเดอร์ที่มี 2 ล้านไฟล์ ฉันต้องการลบโดยไม่รบกวนเซิร์ฟเวอร์ ง่าย ๆrm -rf cache.bakในการทำให้เซิร์ฟเวอร์เสียหายแม้แต่การตอบสนอง HTTP ที่ง่ายที่สุดใช้เวลา 16 วินาทีในขณะที่ rm กำลังทำงานดังนั้นฉันจึงไม่สามารถทำได้ ฉันพยายามionice -c3 rm -rf cache.bakแล้ว แต่ก็ไม่ได้ช่วยอะไร เซิร์ฟเวอร์มี HDD ไม่ใช่ SSD อาจอยู่บน SSD สิ่งเหล่านี้อาจไม่มีปัญหา ฉันเชื่อว่าทางออกที่ดีที่สุดคือการควบคุมปริมาณบางอย่างเช่นวิธีที่ตัวจัดการแคชของ nginx ทำ คุณจะแก้ปัญหานี้อย่างไร มีเครื่องมือใดที่สามารถทำสิ่งนี้ได้อย่างแน่นอน? ext4 บน Ubuntu 16.04

11 linux  ubuntu  filesystems  ext4 

ฉันมีกลุ่มของเครื่องที่ใช้คาร์บอนและกราไฟต์ที่ฉันต้องปรับขนาดสำหรับการจัดเก็บข้อมูลเพิ่มเติม แต่ฉันไม่แน่ใจว่าฉันจำเป็นต้องเพิ่มหรือลดขนาด คลัสเตอร์ปัจจุบันประกอบด้วย: 1 รีเลย์โหนด: รับเมตริกทั้งหมดและส่งต่อไปยังโหนดหน่วยเก็บข้อมูลที่เกี่ยวข้อง 6 โหนที่เก็บข้อมูล: เก็บไฟล์ Whisper DB ทั้งหมด ปัญหาคือว่าดูเหมือนว่าเมื่อดิสก์ได้รับในการใช้งาน 80% ประสิทธิภาพการทำงานลดลงจากหน้าผา กลุ่มการเขียน IOPS ลดลงจาก 13k ใกล้คงเป็นค่าเฉลี่ยที่วุ่นวายมากขึ้นประมาณ 7k และ IOwait เวลาเฉลี่ย 54% ฉันได้ดูผ่าน repo การตั้งค่าของเราและไม่มีการเปลี่ยนแปลงตั้งแต่ต้นเดือนเมษายนดังนั้นนี่ไม่ใช่ผลลัพธ์ของการเปลี่ยนแปลงการกำหนดค่า คำถาม: การเพิ่มขนาดดิสก์จะทำให้ประสิทธิภาพของ IO กลับมาอยู่ภายใต้การควบคุมหรือฉันต้องเพิ่มโหนดหน่วยเก็บข้อมูลเพิ่มเติมหรือไม่ หมายเหตุ:ไม่มี SSD ที่นี่มีแกนหมุนเยอะมาก กราฟที่เกี่ยวข้อง: สถิติและสิ่งต่าง ๆ : e2freefrag: [root@graphite-storage-01 ~]# e2freefrag /dev/vda3 Device: /dev/vda3 Blocksize: 4096 bytes Total …

11 linux  filesystems  ext4  graphite 

ฉันมีระบบไฟล์ ext4 ใน luks มากกว่าซอฟต์แวร์ raid5 ระบบไฟล์ทำงานได้ "ดี" มาหลายปีแล้วเมื่อฉันเริ่มหมดพื้นที่ ฉันมีปริมาณ 9T ในไดรฟ์ 6x2T ฉันเริ่มอัพเกรดเป็นไดรฟ์ 3T โดยการทำ mdadm ที่ล้มเหลวลบเพิ่มสร้างใหม่ทำซ้ำกระบวนการจนกว่าฉันจะมีอาร์เรย์ที่ใหญ่กว่า จากนั้นฉันก็เพิ่มตู้เก็บของลุคและเมื่อฉันเลิกเมานท์และพยายามปรับขนาด 2fs ฉันได้รับข้อความว่าระบบไฟล์สกปรกและต้องการ e2fsck โดยไม่คิดว่าฉันเพิ่งทำ e2fsck -y / dev / mapper / candybox และเริ่มพ่นไอโหนดทุกชนิดที่ถูกลบข้อความประเภท (จำไม่ได้แน่นอน) ฉันฆ่า e2fsck และพยายามติดตั้งระบบไฟล์เพื่อสำรองข้อมูลที่ฉันกังวล เมื่อพยายามที่จะติดตั้งที่จุดนี้ฉันได้รับ: # mount /dev/mapper/candybox /candybox mount: wrong fs type, bad option, bad superblock on …

11 linux  filesystems  ext4  data-recovery 

อุปกรณ์ลินุกซ์ในตัวของฉันใช้การ์ด SD สำหรับบันทึกข้อมูลการวินิจฉัยบางอย่างมากเกินไปสำหรับแฟลชภายใน ปัญหาคือหากอุปกรณ์ถูกปิดโดยไม่คาดคิดระบบไฟล์ (FAT32) บนการ์ดเสียหาย ไม่มีวิธีการป้องกันไฟฟ้าดับที่ไม่คาดคิดหรือผู้ใช้ปิดเช่นนั้นและอุปกรณ์ควรจะค่อนข้างบำรุงรักษาฟรี ที่แย่กว่านั้นคือข้อมูลจะถูกเขียนอย่างต่อเนื่องดังนั้นความเสียหายจึงเกิดขึ้นบ่อยมากและ Linux เมื่อตรวจพบ FS ที่ผิดพลาดจะทำให้มันอ่านซ้ำอย่างเงียบ ๆ คุณจะแนะนำวิธีการใดในการลดปัญหานี้? จะเรียกใช้ fsck.vfat โดยอัตโนมัติเมื่อเริ่มต้นเพียงพอหรือไม่ ข้อมูลเพิ่มเติมบางส่วน: ผู้ใช้ไม่สามารถถอดการ์ดได้ มันเป็นดิสก์ภายใน ข้อมูลใด ๆ ที่เก็บไว้ในนั้นจะสามารถเข้าถึงได้สำหรับการดาวน์โหลดผ่านเครือข่ายหรือไปยังไดรฟ์ usb และระบบจะกำจัดรายการที่เก่าที่สุดโดยอัตโนมัติ นั่นหมายความว่าคุณไม่จำเป็นต้องอ่านบนพีซีโดยเฉลี่ยของคุณ ปัจจุบันระบบรองรับ FAT, yaffs และ jffs2 การเพิ่มระบบไฟล์อื่น ๆ ในเคอร์เนลเป็นไปได้ แต่ถ้ามีลู่ทางอื่นอยู่เราต้องการให้มันเป็นอันดับแรก การเขียนสามารถหยุดได้ตามความต้องการแม้จะเป็นเวลาหลายนาทีโดยที่ข้อมูลไม่สูญหาย การสูญเสียข้อมูลบางส่วนหรือความเสียหายเล็กน้อยเป็นที่ยอมรับ การหยุดการบันทึกที่สมบูรณ์นั้นไม่ใช่ เหตุการณ์ poweroff นั้นคาดเดาไม่ได้เกือบทั้งหมด ระบบกำลังทำงานบน ARM9, 200MHZ, RAM 64MB, แฟลชภายใน 32MB และใช้พลังงาน CPU …

11 linux  filesystems  corruption  embedded  sd-card 

สมมติว่าคุณกำลังเผชิญหน้ากับไฟล์บันทึกที่ไม่มีการบีบอัดขนาด 25 TB และคุณมีกล่องสินค้าจำนวน 20 กล่องที่มีพื้นที่จัดเก็บรวมฟรีจำนวน 25 TB คุณจะเก็บสิ่งเหล่านี้ได้อย่างไร. ก) ระบบไฟล์แบบกระจายที่จะใช้? b) รูปแบบการบีบอัด / คลาย / อัลกอริทึมใด? c) ขนาดไฟล์บันทึกคือ 1MB สูงสุด 7MB ข้อความทั้งหมดและพื้นที่ว่างจำนวนมาก d) การใช้งานคือ) คนต้องการไฟล์บันทึกล่าสุดมากกว่าก่อนหน้าดังนั้นระบบแคชที่จะใช้ข) ผู้คนจะอ่านไฟล์บันทึกเท่านั้นไม่ลบพวกเขาค) คนต้องการรายชื่อไฟล์บันทึกกับช่วงวันที่ e) ระบบปฏิบัติการที่ทำงานบนกล่องสินค้าคือ Linux f) สำหรับการสำรองข้อมูลเรามีอาเรย์การจัดเก็บที่ดูแล ดังนั้นความสามารถในการกู้คืนข้อมูลจากอาร์เรย์จึงมีอยู่ ฉันไม่ต้องการให้พวกเขาเข้าถึงระบบไฟล์โดยตรง ฉันควรทำอย่างไรดี ? ฉันจะรับ API ที่ใช้ REST ได้อย่างไร โปรดสำรองไว้ 2 เซนต์และคุณจะทำอย่างไร Ankur

11 filesystems  storage  log-files  compression 

ฉันคิดถึงมานานเกี่ยวกับระบบไฟล์เวอร์ชัน นี่เป็นคุณสมบัตินักฆ่าและฉันได้ดู Wayback, ext3cow, zfs, ฟิวส์โซลูชั่นหรือเพียงแค่วางซ้อน cvs / svn / git ฉันพิจารณารุ่นของ ext3cow สำหรับความต้องการของฉัน โปร่งใสมีประสิทธิภาพ แต่ฉันสามารถทำได้โดยไม่มีls abc@timestampคุณสมบัติพิเศษ ตราบใดที่ฉันได้รับไฟล์เวอร์ชันของฉันแบบอัตโนมัติและโปร่งใส มันอาจจะเกิดขึ้นทันทีหรืออาจเป็นไปตามสแนปชอตในช่วงเวลา 10s, 30s, 1m, 5m, 15m เป็นต้นสิ่งที่จะจัดการกับไฟล์หลายพันไฟล์ในไดเรกทอรีที่กำหนดให้มีขนาดเล็กที่สุด แต่บางอันก็มีประสิทธิภาพ สูงกว่า 100m ถึง 1gb ZFS ไม่ใช่ตัวเลือกจริงๆเพราะฉันใช้ linux (และไม่ต้องการใช้มันผ่านฟิวส์เพราะฉันมีการตั้งค่า ext3 แล้วฉันต้องการรุ่นไม่ใช่สิ่งใหม่) ทางออกอะไรที่นั่น?

11 git  ext3  filesystems  versioning 

ในหนึ่งในเซิร์ฟเวอร์ของเราเรามีไฟล์ที่ถูกลบอย่างลึกลับ สิ่งที่ฉันต้องการจะทำคือให้โปรแกรมดูไฟล์นี้และแจ้งให้ฉันทราบว่าจะถูกลบเมื่อใด / อย่างไร / โดยใคร เรามีไฟล์สำรองข้อมูลที่เป็นปัญหาดังนั้นจึงไม่ใช่ปัญหาที่จะนำกลับมาใช้อีกต่อไป แต่จะส่งผลให้เว็บไซต์ของเราหยุดทำงาน มีซอฟต์แวร์ที่ทำสิ่งนี้หรือไม่? ฟรีหรือเปล่า ระบบปฏิบัติการคือ Windows Server 2003 SP2 32 บิต

11 windows-server-2003  filesystems  audit  trace 

ฉันตามรายการของไฟล์ที่ใหญ่ที่สุดในกล่อง windows คือไม่เพียง แต่ในโฟลเดอร์เดียว แต่ที่ใดก็ได้บนดิสก์ มีวิธีง่าย ๆ ในการรับสิ่งนี้หรือไม่?

11 windows  filesystems 

คำถามที่เทียบเท่ากับ linux ทำให้ฉันนึกถึงประสิทธิภาพที่แย่ของ MacBookPro ฉันไม่แน่ใจด้วยซ้ำว่า FS เริ่มต้นในปัจจุบันคืออะไร ฉันอ่านบางแห่งว่ามีงาน cron ที่ทำงานในวันศุกร์หรือวันเสาร์ซึ่งทำสิ่งนั้น ดังนั้นฉันจำเป็นต้องจัดเรียงข้อมูลบนดิสก์ของฉันหรือไม่ และถ้าฉันจะทำอย่างไร

11 filesystems  hard-drive  mac-osx 

ฉันมีพูล ZFS - มิเรอร์ที่มี 2 vdevs - ทำงานบนเซิร์ฟเวอร์ FreeBSD ตอนนี้ฉันมีดิสก์แผ่นเดียวจากมิเรอร์และฉันพยายามกู้คืนไฟล์จากมัน ข้อมูล ZFS อยู่ในพาร์ติชัน GPT บนดิสก์ เมื่อฉันพยายามนำเข้าพูลไม่มีวี่แววว่ามีอยู่จริง ฉันลองหลายวิธีแล้ว แต่ไม่มีอะไรเกิดขึ้น ฉันทำงานzdb -luบนพาร์ติชันแล้วและดูเหมือนว่าจะพบป้ายกำกับได้ดี # zpool import # zpool import -D # zpool status no pools available # zpool import -f ztmp cannot import 'ztmp': no such pool available # zpool import 16827460747202824739 cannot …

11 filesystems  freebsd  zfs