คำถามติดแท็ก filesystems

ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ คุณคิดอย่างไรเกี่ยวกับระบบไฟล์ ext4 ในสภาพแวดล้อมการผลิต เราใกล้เคียงกับการเปิดตัวโครงการของเราที่จะใช้หลายสิบล้านครั้งในการปรับปรุงไฟล์ไม่ใหญ่มากและเราจำเป็นต้องตัดสินใจว่าจะใช้ FS แบบใด ในขณะที่การพิจารณาของเราเกี่ยวกับ linux FS อื่น ๆ คือ: Ext3 นั้นมีความเสถียรมาก แต่ไม่เหมาะสำหรับการจัดการไฟล์ขนาดเล็กนับล้าน XFS ดูดีมากเราอาจจะใช้มัน ReiserFS ... อืม ... อนาคตที่คลุมเครือใครจะเป็นผู้แก้ไขข้อบกพร่อง?

10 linux  filesystems  ext4 

เซิร์ฟเวอร์ไฟล์เป็นความจริงของชีวิตในด้านไอทีและฉันอยากรู้ว่ามีวิธีปฏิบัติใดที่ยอมรับกันโดยทั่วไป (ฉันลังเลที่จะใช้คำว่า "ดีที่สุด" ที่นี่) สำหรับวิธีที่คุณสร้างกลุ่มและใช้สิทธิ์ในการจัดการการเข้าถึงไคลเอนต์ ไฟล์เซิร์ฟเวอร์ ที่งานปัจจุบันของฉันฉันได้รับมรดกความยุ่งเหยิงของวิธีการทำสิ่งต่าง ๆ มากมายตั้งแต่กลุ่มหลายสิบกลุ่มใน ACL ไปจนถึงเพียงแค่นำผู้ใช้แต่ละคนเข้าสู่ระบบไฟล์โดยตรง งานของฉันคือทำความสะอาดความยุ่งเหยิงและหาวิธีที่เป็นมาตรฐานในการเข้าถึงสิ่งนี้ทั่วทั้ง บริษัท (สภาพแวดล้อมขนาดใหญ่บุคลากร 150k คอมพิวเตอร์ไคลเอนต์ 90k และไฟล์เซิร์ฟเวอร์ 100 แห่ง) จากความเข้าใจของฉันเกี่ยวกับปัญหาดูเหมือนว่าคุณต้องการกลุ่มอย่างน้อยหนึ่งกลุ่มต่อระดับการเข้าถึงที่ต้องการต่อทรัพยากรที่ปลอดภัย รุ่นนี้ดูเหมือนจะให้ความยืดหยุ่นสูงสุดในการที่คุณไม่จำเป็นต้องสัมผัสสิทธิ์ระบบไฟล์อีกครั้งเว้นแต่คุณจะต้องสนับสนุนระดับการเข้าถึงที่แตกต่างกัน ข้อเสียคือคุณจะสร้างกลุ่มมากกว่าการใช้กลุ่มเดียวกันซ้ำในหลาย ๆ แหล่งข้อมูลที่ใช้ร่วมกัน นี่คือตัวอย่างที่แสดงสิ่งที่ฉันหมายถึง: มีการแชร์ที่เรียกว่า "ผลการทดสอบ" บนเซิร์ฟเวอร์ไฟล์ชื่อ FILE01 และคุณมีผู้ที่ต้องการการเข้าถึงแบบอ่านอย่างเดียวการเข้าถึงเพื่ออ่าน - เขียนและการควบคุมอย่างสมบูรณ์ 1 ทรัพยากรที่ปลอดภัย * 3 ระดับการเข้าถึง = 3 กลุ่มความปลอดภัย ในสภาพแวดล้อมโฆษณาของเราเราสร้างกลุ่มเหล่านี้เป็นกลุ่มสากลเพื่อให้เราสามารถเพิ่มผู้ใช้ / กลุ่มจากโดเมนใด ๆ ในฟอเรสต์ได้อย่างง่ายดาย เนื่องจากแต่ละกลุ่มอ้างอิงถึงโฟลเดอร์ที่ใช้ร่วมกันและระดับการเข้าถึงที่ไม่ซ้ำกันชื่อกลุ่มจึงรวมส่วนข้อมูล "คีย์" เหล่านั้นไว้และการอนุญาตจึงเป็นดังนี้: "FILE01-Test …

10 active-directory  filesystems  ntfs  access-control-list 

เกือบทั้งหมดภายนอก USB ฮาร์ดดิสก์และหน่วยความจำ USB สื่อ / ไม้มาวันนี้ preformatted กับFAT32 เท่าที่ฉันรู้ข้อได้เปรียบเพียงอย่างเดียวของระบบไฟล์คือความเข้ากันได้ระหว่างระบบปฏิบัติการและอุปกรณ์ มันเป็นเหตุผลที่จะฟอร์แมตexFATหรือแม้แต่NTFS ? สิ่งนี้จะส่งผลกระทบต่อประสิทธิภาพและความปลอดภัยอย่างไร

10 security  performance  filesystems  usb 

เรามีสภาพแวดล้อมของผู้ใช้ไม่กี่พันคนที่ใช้งานแอพพลิเคชั่นบนเครือข่ายประมาณ 40 กลุ่มตั้งแต่ขนาด 20 โหนดไปจนถึง 98,000 โหนด ผู้ใช้ในระบบเหล่านี้สร้างไฟล์ขนาดใหญ่ (บางครั้ง> 1PB) ควบคุมโดยสิทธิ์ unix แบบดั้งเดิม (โดยทั่วไปจะไม่สามารถใช้งานหรือใช้งานได้จริงเนื่องจากลักษณะเฉพาะของระบบไฟล์) ขณะนี้เรามีโปรแกรมที่เรียกว่า "ให้" ซึ่งเป็นโปรแกรม suid-root ที่อนุญาตให้ผู้ใช้ "มอบ" ไฟล์ให้กับผู้ใช้รายอื่นเมื่อสิทธิ์กลุ่มไม่เพียงพอ ดังนั้นผู้ใช้จะพิมพ์สิ่งต่อไปนี้เพื่อให้ไฟล์แก่ผู้ใช้รายอื่น: > give username-to-give-to filename-to-give ... ผู้ใช้ที่ได้รับจากนั้นสามารถใช้คำสั่งที่เรียกว่า "ใช้" (ส่วนหนึ่งของโปรแกรมให้) เพื่อรับไฟล์: > take filename-to-receive สิทธิ์ของไฟล์จะถูกถ่ายโอนไปยังผู้ใช้ที่ได้รับอย่างมีประสิทธิภาพ โปรแกรมนี้มีมานานหลายปีและเราต้องการที่จะทบทวนสิ่งต่าง ๆ จากมุมมองด้านความปลอดภัยและการใช้งาน แผนปฏิบัติการปัจจุบันของเราคือการลบบิตเน่าในการดำเนินการ "ให้" ปัจจุบันของเราและบรรจุมันเป็นแอพโอเพนซอร์ซก่อนที่เราจะนำมันไปใช้ในการผลิตอีกครั้ง ใครบ้างมีวิธีอื่นที่พวกเขาใช้ในการถ่ายโอนไฟล์ที่มีขนาดใหญ่มากระหว่างผู้ใช้เมื่อมีสิทธิ์ unix แบบดั้งเดิมเท่านั้นที่สามารถใช้ได้?

10 linux  filesystems  hpc 

มีใครทำการทดสอบประสิทธิภาพ / การเปรียบเทียบสำหรับระบบไฟล์ลูปแบ็คลินุกซ์บ้างไหม? ประสบการณ์ของคุณเคยผ่านอะไรมาบ้าง ประสิทธิภาพการทำงานลดลงอย่างรุนแรงหรือไม่? ความแข็งแกร่งนั้นเป็นอย่างไร? http://freshmeat.net/articles/virtual-filesystem-building-a-linux-filesystem-from-an-ordinary-file

10 filesystems 

นี่อาจเป็นเรื่องเล็กน้อยที่จะตรวจสอบการใช้ cfdisk ในรูปแบบ UDF ในรูปแบบซีดี / ดีวีดี / บลูเรย์ แต่ฉันก็ไม่ได้อยู่ในมือ ฉันได้สร้างพาร์ติชันที่จัดรูปแบบ UDF บนฮาร์ดไดรฟ์ USB เพื่อแชร์ข้อมูลระหว่างคอมพิวเตอร์ Linux และ Windows (FAT ไม่จัดการไฟล์ขนาด 4GB การสนับสนุนสิทธิ์การเข้าถึง NTFS นั้นไม่เสถียรภายใต้ Linux) ฉันมีปัญหาเดียวเท่านั้นตอนนี้ Windows ปฏิเสธที่จะเมานต์พาร์ติชันเนื่องจาก id ของระบบไฟล์ถูกตั้งค่าเป็น '83' ('Linux') ฉันดูค่อนข้างครอบคลุมและไม่สามารถหาจำนวนที่ฉันควรใส่ที่นั่น? (การติดตาม: " ฉันควรฟอร์แมตฮาร์ดไดรฟ์เป็น UDF ด้วยเครื่องมืออะไร ")

10 windows  filesystems  linux 

ฉันมีสคริปต์ทุบตีบางตัวที่ใช้ตรวจสอบระบบ ตัวเลือกการกำหนดค่าซอร์สสคริปต์เหล่านี้จากไฟล์ / etc / healthchecks / config นอกเหนือจากไฟล์ปรับแต่งฉันมีไฟล์ฟังก์ชั่นที่ใช้ร่วมกัน สคริปต์ควรสามารถแหล่งไฟล์นั้นและเรียกใช้ฟังก์ชันในนั้น ตามลำดับชั้นของระบบไฟล์ฉันควรใส่ไฟล์ฟังก์ชั่นที่ใช้ร่วมกันไว้ที่ไหน มันไม่ใช่การกำหนดค่าดังนั้นจึงดูเหมือนไม่ได้อยู่ใน / etc แต่ก็ไม่ได้ถูกดำเนินการดังนั้น / usr / bin ดูเหมือนไม่ถูกต้อง อาจจะ / usr / lib?

9 linux  filesystems 

Ubuntu 12.04 ระบบไฟล์เข้าสู่โหมดอ่านอย่างเดียวบ่อยครั้ง ก่อนอื่นฉันได้อ่านคำถามนี้แล้วระบบไฟล์จะเข้าสู่โหมดอ่านอย่างเดียวบ่อยๆแล้ว dying hard driveแต่ก็ต้องรู้ว่าถ้ามันไม่ได้เกิดจากสิ่งอื่นมากกว่า นี่คือเซิร์ฟเวอร์ที่ลูกค้าของฉันจัดทำขึ้นและฉันกำลังเรียกใช้งานnode.js workers+1 node.js serverและฉันกำลังใช้งานmongodbอยู่ ในบางครั้งระบบ (ทุก ๆ 20-50 ชม.) ทำให้ระบบไฟล์อ่านอย่างเดียวกระบวนการ mongodb ล้มเหลว (เนื่องจากอ่านอย่างเดียว fs) และโหนดพนักงาน / เซิร์ฟเวอร์ของฉัน (ซึ่งเริ่มต้นด้วยforever) เพิ่งถูกฆ่า นี่คือบันทึกจาก dmesg - ฉันเห็นข้อผิดพลาดและข้อความที่ FS กำลังอ่านอย่างเดียวและยังมีข้อผิดพลาดของ JOURNAL อยู่ด้วย แต่ฉันต้องการค้นหาสาเหตุของข้อผิดพลาดเหล่านั้น .. http://speedy.sh/Ux2VV/dmesg.log.txt แก้ไข smartctl -t long /dev/sda smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.5.0-23-generic] (local build) Copyright …

9 linux  ubuntu  filesystems  ubuntu-12.04  read-only 

มีคำถามที่คล้ายกันอยู่แต่การแก้ปัญหา (โดยใช้mv) นั้นแย่มากเพราะในกรณีนี้มันทำงานเป็น "คัดลอกแล้วลบ" แทนที่จะย้าย "บริสุทธิ์" ดังนั้นฉันสร้างสระว่ายน้ำ: zpool create tank /dev/loop0 และ rsynced /tankข้อมูลของฉันจากการจัดเก็บอีกในนั้นโดยตรงเพื่อให้ข้อมูลของฉันในตอนนี้คือ zfs list NAME USED AVAIL REFER MOUNTPOINT tank 591G 2.10T 591G /tank ตอนนี้ฉันรู้แล้วว่าฉันต้องการให้ข้อมูลของฉันอยู่ในระบบไฟล์ลูกไม่ใช่ใน/tankระบบไฟล์โดยตรง ดังนั้นฉันจะย้ายหรือเปลี่ยนชื่อระบบไฟล์รูทที่มีอยู่เพื่อให้กลายเป็นลูกในกลุ่มได้อย่างไร การเปลี่ยนชื่อแบบง่ายจะไม่ทำงาน: zfs rename tank tank/mydata cannot rename to 'tank/mydata': datasets must be within same pool (Btw ทำไมมันถึงบ่นว่าชุดข้อมูลไม่ได้อยู่ในกลุ่มเดียวกันเมื่อข้อเท็จจริงที่ว่าฉันมีเพียงหนึ่งกลุ่มเท่านั้น) ฉันรู้ว่ามีวิธีแก้ปัญหาที่เกี่ยวข้องกับการคัดลอกข้อมูลทั้งหมด ( mvหรือส่งชุดข้อมูลทั้งหมดไปยังอุปกรณ์อื่นและย้อนกลับ) แต่ไม่ควรมีวิธีที่เรียบง่ายสง่างาม? เพิ่งสังเกตว่าฉันไม่สนใจสแนปชอตในขั้นตอนนี้ …

9 filesystems  zfs  rename 

ฉันสังเกตเห็นeคุณลักษณะในหลาย ๆ ไฟล์ / ไดเรกทอรีบนเครื่อง Linux ที่ติดตั้งบนระบบไฟล์ ext4 [kelly@p2820887.pubip.serverbeach.com ~]$ lsattr -d /bin -------------e- /bin ตามchattr(1): คุณลักษณะ 'e' ระบุว่าไฟล์กำลังใช้ extents สำหรับการแมปบล็อกบนดิสก์ มันอาจไม่ถูกลบออกโดยใช้ chattr (1) รายละเอียดนี้มีความแตกต่างกันอย่างไรและที่สำคัญกว่ารายละเอียดนี้สำคัญอย่างไร - โดยเฉพาะเหตุใดรายละเอียดนี้จึงสำคัญพอที่จะรายงานเป็นแอตทริบิวต์ไฟล์ ฉันควรเปลี่ยนพฤติกรรมของฉันโดยใช้ความรู้ที่ว่าไฟล์นี้ "ใช้ extents สำหรับการแมปบล็อกบนดิสก์" ภายใต้สถานการณ์ใดบ้าง สมมุติว่านี่เป็นสิ่งที่ฉันต้องรู้มิฉะนั้นมันจะไม่ปรากฏชัดใช่มั้ย

9 linux  filesystems  ext4  attributes 

ฉันสร้างภาพของไดรฟ์ที่ล้มเหลวด้วย: dd if=/dev/sde of=/mnt/image001.dd ไดรฟ์มีสองพาร์ติชันเท่านั้น: Device Boot Start End Blocks Id System /dev/sde1 * 1 13 102400 7 HPFS/NTFS /dev/sde2 13 60802 488282112 7 HPFS/NTFS ฉันจะแบ่งรูปภาพ (image001.dd) เป็นสองหรือสามไฟล์ได้อย่างไร (1: MBR; 2: Partition 1; 3: Partition 2) เพื่อให้ฉันสามารถเมานระบบไฟล์ในนั้นได้ วิธีแก้ปัญหาที่ฉันพบว่าไม่ได้ผลสำหรับฉันคือใช้splitเพื่อสร้างไฟล์ 512K จำนวนมากจากนั้นไฟล์catเหล่านั้นกลับมารวมกันเป็นสามไฟล์ (1: 512K, 2: 105M, 3: ส่วนที่เหลือ) แต่ฉันไม่มี พื้นที่ดิสก์สำหรับสิ่งนั้น ประวัติความเป็นมา: ฉันได้คัดลอกภาพทั้งหมดไปยังไดรฟ์ใหม่และมันเริ่มระบบและใช้งานได้เป็นส่วนใหญ่ …

9 linux  filesystems  hard-drive  ntfs  dd 

ฉันต้องการที่จะสามารถทำได้เมื่อมีการเรียกใช้โปรแกรมเช่นโปรแกรมติดตั้งติดตามรายการการแก้ไขที่ทำกับระบบไฟล์ของฉันเพื่อที่ฉันจะสามารถย้อนกลับได้ในภายหลัง แก้ไข:ความกังวลนี้ไม่ใช่บรรจุโปรแกรม ฉันใช้ apt-get เท่าที่จะทำได้ โดยหลักการแล้วฉันต้องการทำสิ่งต่อไปนี้: (sudo) catch-modifs some-installer.bin > fsmodifs.patch แล้ว: (sudo) revert-modifs fsmodifs.patch มีวิธีที่สะดวกในการทำเช่นนั้นหรือไม่?

9 linux  unix  installation  filesystems  rollback 

ฉันต้องการติดตั้งระบบไฟล์ใหม่พร้อมตัวเลือกที่ได้รับการปรับแต่ง (noatime, nobarrier, etc.) ใน SLES11 ผมก็จะทำมันด้วยการอัพเดทครั้งแรกแล้วทำสิ่งที่ชอบ/etc/fstab mount -o remount /srv/shareปัญหาคือมีรูปภาพของเครื่องเสมือนที่ใช้งานอยู่หลายเครื่องในระบบไฟล์นี้ที่ส่งออกผ่าน NFS และฉันคิดว่าremountสามารถทำได้โดยไม่ต้องปิดเครื่อง ดังนั้นremountการดำเนินงานก่อกวน? มีใครเคยลองแบบนี้มาก่อนบ้างไหม? ผลลัพธ์คืออะไร?

9 linux  filesystems  mount 

ฉันมีเว็บไซต์ที่จะเก็บภาพโปรไฟล์ผู้ใช้ แต่ละภาพจะถูกเก็บไว้ในไดเรกทอรี (Linux) เฉพาะสำหรับผู้ใช้ ขณะนี้ฉันมีฐานลูกค้า 30+ ซึ่งหมายความว่าฉันจะมี 30+ โฟลเดอร์ แต่กล่อง Linux ปัจจุบันของฉัน (ext2 / ext3) ไม่รองรับการสร้างไดเรกทอรีมากกว่า 32000 รายการ ฉันจะผ่านสิ่งนี้ได้อย่างไร แม้แต่พวก YouTube ก็มีปัญหาเดียวกันกับภาพขนาดย่อของวิดีโอ แต่พวกเขาแก้ไขมันโดยย้ายไปที่ ReiserFS เรามีทางออกที่ดีกว่าไม่ได้เหรอ? อัปเดต: เมื่อถูกถามใน IRC ผู้คนถูกถามเกี่ยวกับการอัปเกรดเป็น ext4 ซึ่งมีขีด จำกัด 64k และแน่นอนว่าคุณสามารถผ่านมาได้เช่นกัน หรือเคอร์เนลแฮ็คเพื่อเปลี่ยนขีด จำกัด อัปเดต: วิธีแยกฐานผู้ใช้ออกเป็นโฟลเดอร์ตามช่วงหมายเลขผู้ใช้ ความหมาย 1-1000 ในหนึ่งโฟลเดอร์ 1,000-2000 ในอีกอันหนึ่ง ดูเหมือนจะง่าย คุณพูดว่าอะไรนะ ตรงไปตรงมาไม่มีทางอื่นอีกแล้วเหรอ?

9 linux  filesystems  directory  scalability 

มีไดเรกทอรีอยู่ใต้ homedir ของฉันชื่อ ".gvfs" ในฐานะบัญชีผู้ใช้ทั่วไปของฉันฉันสามารถอ่านได้: ~ $ ls -lart ~raldi/.gvfs total 4 dr-x------ 2 raldi raldi 0 2009-05-25 22:17 . drwxr-xr-x 60 raldi raldi 4096 2009-05-25 23:08 .. ~ $ ls -d ~raldi/.gvfs dr-x------ 2 raldi raldi 0 2009-05-25 22:17 /home/raldi/.gvfs อย่างไรก็ตามในฐานะที่เป็น root ฉันไม่สามารถ "ls" หรือแม้แต่ "ls -d" ได้: # …

9 linux  security  unix  permissions  filesystems