คำถามติดแท็ก filesystems

ฉันกำลังมองหาการสร้าง ZFS Pool ขนาดใหญ่ (150TB +) และฉันอยากได้ยินประสบการณ์ของผู้คนเกี่ยวกับสถานการณ์การสูญเสียข้อมูลเนื่องจากฮาร์ดแวร์ที่ล้มเหลวโดยเฉพาะอย่างยิ่งการแยกแยะระหว่างอินสแตนซ์ที่ข้อมูลบางส่วนสูญหายไปกับระบบไฟล์ทั้งหมด ของหากมีความแตกต่างดังกล่าวใน ZFS) ตัวอย่างเช่นสมมติว่า vdev สูญหายเนื่องจากความล้มเหลวเช่นกล่องหุ้มไดรฟ์ภายนอกสูญเสียพลังงานหรือการ์ดคอนโทรลเลอร์ล้มเหลว จากสิ่งที่ฉันอ่านพูลควรเข้าสู่โหมดที่มีความผิดพลาด แต่ถ้า vdev ถูกส่งคืนพูลควรกู้คืนได้หรือไม่? หรือไม่? หรือถ้า vdev ได้รับความเสียหายบางส่วนหนึ่งจะสูญเสียพูลทั้งหมดบางไฟล์ ฯลฯ ? จะเกิดอะไรขึ้นหากอุปกรณ์ ZIL ล้มเหลว หรือแค่หนึ่งใน ZILs หลายอัน? เรื่องราวเล็ก ๆ น้อย ๆ หรือสถานการณ์สมมุติที่ได้รับการสนับสนุนโดยความรู้ทางเทคนิคอย่างแท้จริงจะได้รับการชื่นชม! ขอบคุณ! ปรับปรุง: เรากำลังทำสิ่งนี้ในราคาถูกเพราะเราเป็นธุรกิจขนาดเล็ก (9 คนหรือมากกว่านั้น) แต่เราสร้างข้อมูลภาพจำนวนพอสมควร ข้อมูลส่วนใหญ่เป็นไฟล์ขนาดเล็กโดยนับของฉันประมาณ 500k ไฟล์ต่อ TB ข้อมูลมีความสำคัญ แต่ไม่สำคัญมาก เราวางแผนที่จะใช้พูล ZFS เพื่อจำลองอาร์เรย์ข้อมูล "สด" 48TB …

27 backup  filesystems  storage  zfs 

ฉันกำลังตั้งค่าชุดจำลอง mongoDB และสิ่งแรกที่ฉันควรทำคือปิด atime บนระบบไฟล์ หลังจากค้นคว้าข้อมูลเพียงเล็กน้อยนี้ฉันไม่ได้คัดค้านการทำเช่นนี้ แต่ฉันต้องถามว่า atime ใช้อะไร? ฉันได้ค้นหา interwebs และพบว่ามีน้อยมากในเรื่องของ "applciaiton นี้หรือกระบวนการนี้ใช้ atime และคุณจะงี่เง่าถ้าคุณปิดมัน" คำเตือนต่าง ๆ แต่เป็นคนหวาดระแวงโดยธรรมชาติฉันต้องสงสัย ดังนั้นสิ่งที่ใช้เวลาและถ้าฉันปิดมันสิ่งที่จะทำลาย?

27 linux  unix  filesystems  mongodb 

ฉันกำลังพยายามทดสอบโครงการที่ต้องการที่เก็บข้อมูลที่บีบอัดด้วยการใช้ระบบไฟล์ ext4 เนื่องจากแอปพลิเคชันที่ฉันใช้นั้นใช้คุณสมบัติ ext4 มีการผลิต / โซลูชันที่เสถียรสำหรับการบีบอัดแบบโปร่งใสบน ext4 หรือไม่? สิ่งที่ฉันได้ลอง: Ext4 มากกว่าโวลุ่ม ZFSเปิดใช้การบีบอัด สิ่งนี้มีผลกระทบในทางลบ ฉันพยายามสร้างวอลุ่ม ZFS โดยเปิดใช้งานการบีบอัด lz4 และสร้างระบบไฟล์ ext4 บน / dev / zvol / ... แต่ปริมาณ zfs แสดงให้เห็นถึงการใช้งานจริงเป็นสองเท่าและการบีบอัดดูเหมือนจะไม่มีผลใด ๆ # du -hs /mnt/test **1.1T** /mnt/test # zfs list NAME USED AVAIL REFER MOUNTPOINT pool 15.2T 2.70G 290K /pool …

26 linux  filesystems  zfs  ext4  compression 

ฉันมีเซิร์ฟเวอร์ Linux และทำดิสก์ io มากมาย มีกระบวนการหนึ่งที่ทำดิสก์ส่วนใหญ่เขียนอยู่ ฉันพบสิ่งนี้ด้วยiotopซึ่งแสดงกระบวนการที่กำลังทำดิสก์ I / O มีโปรแกรม equivant (ในที่เก็บ debian lenny apt) หรือไม่ซึ่งจะแสดงให้ฉันเห็นว่าไฟล์ใดที่ถูกเขียนลงไป? อินเทอร์เฟซที่ชอบ 'ด้านบน' จะดีหรือไม่? เป็นไปได้ไหม

25 linux  debian  filesystems  performance 

คำถามนี้ถูกโยกย้ายจาก Stack Overflow เพราะสามารถตอบได้ใน Server Fault อพยพ 8 ปีที่ผ่านมา ฉันเรียกใช้เว็บไซต์ที่มีไฟล์ประมาณ 10 ล้านไฟล์ (ปกหนังสือ) ในไดเรกทอรีย่อย 3 ระดับตั้งแต่ [0-f]: 0/0/0/ 0/0/1/ ... f/f/f/ สิ่งนี้นำไปสู่ไฟล์ประมาณ 2400 ไฟล์ต่อไดเรกทอรีซึ่งเร็วมากเมื่อเราต้องการดึงไฟล์หนึ่งไฟล์ นอกจากนี้ยังเป็นการฝึกฝนที่แนะนำโดยคำถามมากมาย อย่างไรก็ตามเมื่อฉันต้องการสำรองไฟล์เหล่านี้มันใช้เวลาหลายวันเพียงแค่เรียกดูไดเรกทอรี 4k ที่มีไฟล์ขนาด 10 เมตร ดังนั้นฉันสงสัยว่าฉันสามารถจัดเก็บไฟล์เหล่านี้ในภาชนะ (หรือในภาชนะ 4k) ซึ่งแต่ละคนจะทำหน้าที่เหมือนกับระบบแฟ้ม ฉันเดาว่านี่จะมีประสิทธิภาพเกือบเท่ากับการเข้าถึงไฟล์โดยตรงในระบบไฟล์และนี่จะเป็นข้อได้เปรียบที่ยอดเยี่ยมในการคัดลอกไปยังเซิร์ฟเวอร์อื่นอย่างมีประสิทธิภาพ ข้อเสนอแนะใด ๆ เกี่ยวกับวิธีการทำสิ่งนี้ให้ดีที่สุด? หรือทางเลือกที่ทำงานได้ (noSQL, ... )?

25 linux  filesystems  storage  ext3  ext4 

คำถามนี้ถูกโยกย้ายจาก Stack Overflow เพราะสามารถตอบได้ใน Server Fault อพยพ 9 ปีที่ผ่านมา ฉันมีแอปพลิเคชันที่เขียนไปยังไดเรกทอรี ext3 ซึ่งเมื่อเวลาผ่านไปได้ขยายไฟล์เป็นสามล้านไฟล์ จำเป็นต้องพูดการอ่านรายชื่อไฟล์ของไดเรกทอรีนี้ช้าเหลือทน ฉันไม่ตำหนิ ext3 วิธีการแก้ปัญหาที่เหมาะสมจะได้รับที่จะให้รหัสโปรแกรมการเขียนไปยังไดเรกทอรีย่อยเช่นแทนที่จะใช้เท่านั้น./a/b/c/abc.ext./abc.ext ฉันกำลังเปลี่ยนโครงสร้างของไดเรกทอรีย่อยและคำถามของฉันก็คือ: ฉันควรคาดหวังว่าจะมีไฟล์กี่ไฟล์ที่จัดเก็บในไดเรกทอรี ext3 หนึ่งในขณะที่ยังได้รับประสิทธิภาพที่ยอมรับได้? ประสบการณ์ของคุณคืออะไร หรือในคำอื่น ๆ สมมติว่าฉันต้องการเก็บไฟล์สามล้านไฟล์ไว้ในโครงสร้างควรมี./a/b/c/abc.extโครงสร้างในระดับใด? เห็นได้ชัดว่านี่เป็นคำถามที่ไม่สามารถตอบได้อย่างแน่นอน แต่ฉันกำลังมองหาการประเมินสวนบอล

25 linux  filesystems  ext3  capacity-planning  linux-kernel 

คุณสามารถสร้างผู้ใช้ที่มีสิทธิพิเศษเหมือนและไดเรกทอรีบ้านจะตกอยู่ภายใต้root /home/usernameทำไมถึงrootมีโฟลเดอร์เป็นของตนเองที่ระดับสูงสุดของระบบไฟล์ นี่เป็นเพียงการประชุมข้อกังวลด้านความปลอดภัยหรือมีเหตุผลที่เกี่ยวข้องกับประสิทธิภาพหรือไม่

24 linux  filesystems  partition  hard-drive 

ฉันรู้ว่าระบบไฟล์ Windows มีความไวต่อการแตกแฟรกเมนต์และ Unix เช่น UFS, ZFS, ext3 หรือ ext4 นั้นไม่ละเอียดอ่อน แต่มีเหตุผลใดที่จะจัดเรียงข้อมูลระบบไฟล์เหล่านี้หรือไม่? ถ้าเป็นเช่นนั้นมีเครื่องมืออะไรให้ใช้บ้าง?

24 filesystems  defrag 

ฉันต้องการตรวจสอบเนื้อหาของ Docker container (อ่านอย่างเดียว) วิธีที่ยอดเยี่ยมในการทำเช่นนี้คือการติดตั้งเนื้อหาของคอนเทนเนอร์ในไดเรกทอรี ฉันกำลังพูดถึงการติดตั้งเนื้อหาของคอนเทนเนอร์บนโฮสต์ไม่ใช่เกี่ยวกับการติดตั้งโฟลเดอร์บนโฮสต์ภายในคอนเทนเนอร์ ฉันเห็นได้ว่ามีไดรเวอร์เก็บข้อมูลสองตัวใน Docker ในขณะนี้: aufs และ btrfs การติดตั้ง Docker ของฉันใช้ btrfs และการเรียกดู / var / lib / docker / btrfs / subvolumes แสดงไดเรกทอรีหนึ่งไดเรกทอรีต่อคอนเทนเนอร์ Docker บนระบบ อย่างไรก็ตามนี่เป็นรายละเอียดการใช้งานของ Docker และรู้สึกผิดที่จะเมานต์ - ผูกไดเร็กทอรีเหล่านี้ที่อื่น มีวิธีที่เหมาะสมในการทำเช่นนี้หรือฉันจะต้องแก้ไข Docker เพื่อรองรับการติดตั้งแบบนี้หรือไม่?

24 linux  filesystems  lxc  docker 

ใครบ้างมีเครื่องมือหรือสคริปต์ที่จะแก้ไขสิทธิ์ไฟล์ในไดเรกทอรีซ้ำ? บนเครื่อง Ubuntu Linux ไฟล์จำนวนมากถูกคัดลอกไปยังดิสก์ USB ที่มีสิทธิ์ 777 อย่างเต็มรูปแบบ (ผู้ใช้กลุ่มอื่น ๆ - อ่านเขียนดำเนินการ) โดยมีข้อผิดพลาด ฉันต้องการนำกลับไปไว้ในไดเรกทอรีของผู้ใช้ที่ถูกต้อง ไดเรกทอรีควรเป็น 775 และไฟล์อื่น ๆ ทั้งหมดอาจเป็น 664 ไฟล์ทั้งหมดเป็นรูปภาพเอกสารหรือ MP3 ดังนั้นจึงไม่จำเป็นต้องเรียกใช้ หากตั้งค่าไดเรกทอรีบิตแล้วมันต้องมีการดำเนินการอื่น ๆ ที่ชาญฉลาดก็แค่ต้องการผู้ใช้และกลุ่มอ่านและเขียน ฉันคิดว่ามันคุ้มค่าที่จะตรวจสอบว่ามียูทิลิตี้อยู่ก่อนที่จะแฮ็กเชลล์สคริปต์ด้วยกันไหม :)

24 linux  ubuntu  permissions  shell  filesystems 

ฉันต้องติดตั้งระบบจัดเก็บข้อมูลในหน่วยความจำสำหรับข้อมูลประมาณ 10 GB ซึ่งประกอบด้วยไฟล์เดียว (ภาพ) 100 kb จำนวนมาก จะมีการอ่านจำนวนมากและมีการเขียนเป็นระยะ ๆ (การเพิ่มไฟล์ใหม่การลบไฟล์เก่า) ตอนนี้ฉันรู้ว่าtmpfsทำงานเหมือนระบบไฟล์ปกติที่คุณสามารถทำได้เช่นตรวจสอบพื้นที่ว่าง / ใช้แล้วด้วยdfซึ่งเป็นคุณสมบัติที่ดีที่มี อย่างไรก็ตามฉันสนใจว่าramfsจะให้ประโยชน์บางอย่างเกี่ยวกับความเร็วของการปฏิบัติการ IO ฉันรู้ว่าฉันไม่สามารถควบคุมขนาดของหน่วยความจำที่ใช้ไปแล้วเมื่อใช้ramfsและระบบของฉันสามารถหยุดทำงานได้หากใช้ RAM ฟรีอย่างสมบูรณ์ แต่นั่นจะไม่เป็นปัญหาในสถานการณ์นี้ เพื่อสรุปมันฉันสนใจ: - ประสิทธิภาพฉลาดซึ่งเร็วกว่า: ramfsหรือtmpfs (และอาจเป็นสาเหตุ) - tmpfsใช้พื้นที่สว็อปเมื่อใด มันย้ายข้อมูลที่บันทึกไว้ไปแล้วเพื่อสลับ (เพื่อเพิ่ม RAM สำหรับโปรแกรมอื่นที่กำลังรันอยู่) หรือเฉพาะข้อมูลใหม่ถ้าในขณะนั้นไม่มี RAM ว่างเหลืออยู่หรือไม่

23 linux  performance  filesystems  ramdisk  tmpfs 

ฉันตระหนักถึงการใช้ lsof สำหรับการตรวจสอบไฟล์ที่เข้าถึงในปัจจุบันโดยกระบวนการ มีวิธีดูไฟล์ทั้งหมดที่แอปพลิเคชันเปิดอยู่หรือไม่?

23 linux  filesystems  lsof 

ฉันมีต้นไม้ไฟล์ที่มีสิทธิ์ที่ถูกต้อง จากนั้นฉันมีต้นไม้ที่เหมือนกัน (filewise) เหมือนกัน (มีเนื้อหาไฟล์ต่างกันยาก) โดยมีการอนุญาตที่ไม่ถูกต้อง ฉันจะถ่ายโอนเค้าโครงสิทธิ์จากต้นหนึ่งไปอีกต้นได้อย่างไร

22 permissions  filesystems  copy  file-permissions 

ฉันมีเซิร์ฟเวอร์ Linux ที่มีดิสก์ 2 TB จำนวนมากทั้งหมดนี้อยู่ใน LVM ทำให้มีพื้นที่ประมาณ 10 TB ฉันใช้พื้นที่ทั้งหมดนี้บนพาร์ติชัน ext4 และปัจจุบันมีข้อมูลประมาณ 8,8 TB ปัญหาคือฉันมักจะได้รับข้อผิดพลาดในดิสก์ของฉันและแม้ว่าฉันจะแทนที่ (กล่าวคือฉันคัดลอกดิสก์เก่าไปยังดิสก์ใหม่ด้วย dd จากนั้นฉันใส่ดิสก์ใหม่ลงในเซิร์ฟเวอร์) พวกเขาทันทีที่เกิดข้อผิดพลาดขึ้น ฉันมักจะได้รับข้อมูลที่เสียหายประมาณ 100 MB นั่นทำให้ e2fsck บ้าไปทุกครั้งและมันมักจะใช้เวลาหนึ่งสัปดาห์เพื่อให้ระบบไฟล์ ext4 อยู่ในสถานะมีสติอีกครั้ง ดังนั้นคำถามคือคุณจะแนะนำให้ฉันใช้เป็นระบบไฟล์ใน LVM ของฉันอย่างไร หรือคุณอยากแนะนำให้ฉันทำอะไรแทน (ฉันไม่ต้องการ LVM จริงๆ) โปรไฟล์ของระบบไฟล์ของฉัน: โฟลเดอร์หลายขนาดแตกต่างกัน (บางแห่งรวม 2 TB บางแห่งรวม 100 MB) เกือบ 200,000 ไฟล์ที่มีขนาดแตกต่างกัน (3/4 ของไฟล์มีขนาดประมาณ 10 MB, …

21 filesystems  lvm  ext4  btrfs  zfsonlinux 

ในขณะที่การติดตั้งสแนปชอตที่แตกต่างกันนั้นใช้งานได้ดูเหมือนว่ามันจะช้าอย่างน่ากลัวในหลายกรณี มีฟังก์ชั่นเฉพาะของ btrfs ในการกระจายสแนปชอตหรือไม่? (ฉันไม่พบสิ่งใดในเอกสาร)

21 filesystems  diff  btrfs