คำถามติดแท็ก filesystems

ฉันมีไดรฟ์ที่ฟอร์แมต EXT3 บนเซิร์ฟเวอร์ Linux CentOS นี่คือไดรฟ์ข้อมูลแอปบนเว็บและมีไดเรกทอรีสำหรับบัญชีผู้ใช้ทุกบัญชี (มีผู้ใช้ 25,000 คน) แต่ละโฟลเดอร์มีไฟล์ที่ผู้ใช้อัปโหลด โดยรวมแล้วไดรฟ์นี้มีข้อมูลประมาณ 250GB การจัดโครงสร้างไดรฟ์กับไดเรกทอรีทั้งหมดเหล่านี้ส่งผลต่อประสิทธิภาพการอ่าน / เขียนของไดรฟ์หรือไม่? มันส่งผลกระทบด้านประสิทธิภาพอื่น ๆ ที่ฉันไม่ทราบหรือไม่ มีอะไรผิดปกติหรือไม่ดีกับโครงสร้างสิ่งนี้หรือไม่? บางทีอาจเป็นทางเลือกที่ผิดของระบบไฟล์? ฉันเพิ่งลองผสานสองไดรฟ์ข้อมูลและรับรู้ว่า EXT3 ถูก จำกัด ไว้ที่ 32,000 ไดเรกทอรีย่อย นี่ทำให้ฉันสงสัยว่าทำไม ดูเหมือนว่าโง่ที่ฉันสร้างขึ้นด้วยวิธีนี้โดยพิจารณาว่าแต่ละไฟล์มี id ที่ไม่ซ้ำกันซึ่งสอดคล้องกับ id ในฐานข้อมูล อนิจจา ...

11 linux  performance  filesystems  ext3  ext4 

ฉันไม่เคยสนใจขนาดบล็อกมาก แต่เห็นได้ชัดว่ามีประโยชน์ในการเลือกสิ่งอื่นนอกเหนือจากค่าเริ่มต้น ฉันกำลังมองหากระดาษ "แนวปฏิบัติที่ดีที่สุด" ที่ดีเกี่ยวกับการเลือกขนาดบล็อก นอกจากนี้เมื่อใช้กับด้านบนของ LVM มันคือการลดประสิทธิภาพหรือความสำคัญเมื่อตะกี้ในทางใด? TIA

11 filesystems  ext3  performance 

ฉันสร้างเว็บแอปพลิเคชันที่ทำงานบนเซิร์ฟเวอร์เสมือนสำหรับลูกค้าของฉัน มันมีระบบอำนวยความสะดวกสำหรับพวกเขาในการอัปโหลดไฟล์ แต่ตอนนี้พวกเขาต้องการจัดเก็บไฟล์เหล่านั้นบนเซิร์ฟเวอร์ในสำนักงานของพวกเขา วิธีที่ง่ายที่สุดในการทำเช่นนี้คือติดตั้งระบบไฟล์ผ่านทางอินเทอร์เน็ตโดยตรงไปยังเซิร์ฟเวอร์เสมือน ฉันมีประสบการณ์ในการติดตั้ง NFS บนเครือข่ายภายใน แต่ฉันไม่ชัดเจนว่าจะสามารถใช้งานได้ในสถานการณ์นี้หรือไม่ ความคิดใด ๆ ฉันสามารถเขียนซอฟต์แวร์ใหม่เพื่อถ่ายโอนไฟล์ได้ตลอดเวลา แต่นี่เป็นการแก้ไขที่ง่าย! หมายเหตุ: เซิร์ฟเวอร์ในสำนักงานคือเซิร์ฟเวอร์ Ubuntu 12 ที่ทำงานบนเซิร์ฟเวอร์เสมือนในสภาพแวดล้อม windows hyper-v VPS พร้อมแอพพลิเคชั่นเว็บคือ Ubuntu 11.04

11 linux  filesystems  internet  nfs 

mount -t ext3 /dev/sda3 /fooฉันมีพาร์ทิชันที่ติดตั้งอยู่ด้วย ทุกครั้งที่ฉันเริ่มระบบใหม่ฉันต้องติดตั้งใหม่ ฉันจะเก็บสิ่งนี้ไว้ได้หลังจากรีบูตทุกครั้งหรือไม่

11 linux  filesystems  partition 

ฉันไม่สามารถทราบได้ว่า AWS ตั้งค่า 'สระว่ายน้ำแบบบาง' ของ Docker บน ElasticBeanstalk อย่างไรและมันจะถูกเติมเต็มอย่างไร พูลที่บางของนักเทียบท่าของฉันกำลังเติมเต็มอย่างใดและทำให้แอปของฉันพังเมื่อพวกเขาพยายามเขียนลงดิสก์ นี่คือจากภายในคอนเทนเนอร์: >df -h > /dev/xvda1 25G 1.4G 24G 6% ในความเป็นจริงแล้ว EBS นั้นมีดิสก์ขนาด 25GB ที่จัดสรรให้กับมัน 1.6 gb คือdu -sh /ผลตอบแทน ข้างนอกใน EC2 มันเริ่มต้นอย่างไร้เดียงสาเพียงพอ ... (ผ่านlvs) LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert docker-pool docker twi-aot--- 11.86g …

10 amazon-web-services  filesystems  docker  lvs 

ฉันมีดิสก์ 4 x 4TB ในฮาร์ดแวร์ RAID1 (อาจเป็น LSI MegaRaid) ใน Debian Wheezy ขนาดบล็อกทางกายภาพคือ 4kB ฉันจะเก็บไฟล์ขนาดเล็ก 150-200 ล้านไฟล์ (ระหว่าง 3 ถึง 10kB) ฉันไม่ได้ขอประสิทธิภาพ แต่เพื่อระบบไฟล์และขนาดบล็อกที่ดีที่สุดเพื่อประหยัดพื้นที่จัดเก็บ ฉันได้คัดลอกไฟล์ขนาด 8200 ไบต์ไปยัง ext4 ด้วยขนาดบล็อก 4kB นี่ใช้ดิสก์ขนาด 32kB! กำลังบันทึกเหตุผลสำหรับสิ่งนั้นหรือไม่ ดังนั้นมีตัวเลือกอะไรบ้างในการบันทึกพื้นที่เก็บข้อมูลส่วนใหญ่สำหรับไฟล์ขนาดเล็กเช่นนี้?

10 linux  raid  filesystems  storage  block 

ทำไมทั้งสองคำสั่งจึงให้ผลลัพธ์ที่ต่างกัน? lsmod | wc -l 100 ls /sys/module | wc -l 138

10 linux  filesystems  kernel 

ฉันสร้างโคลนของระบบไฟล์ zfs ที่มีสแน็ปช็อตจำนวนมาก ฉันยังมีสำเนาของระบบไฟล์หลายสำเนา ฉันจะค้นหาระบบไฟล์ / สแน็ปช็อตที่แนบกับโคลนได้อย่างไร (ดูเหมือนว่ามีบางอย่างที่ควรอยู่ในเอกสาร / googlable แต่ฉันไม่พบอะไรเลย)

10 filesystems  zfs 

ฉันมีอุปกรณ์ฝังตัวเล็ก ๆ ที่มี RAM เพียง 128MB เชื่อมต่อกับอุปกรณ์นี้เป็นฮาร์ดดิสก์ 2TB USB2 ฉันมีความสุขมากกับประสิทธิภาพของอุปกรณ์จนถึงเมื่อเร็ว ๆ นี้เมื่อจำนวนไฟล์ข้ามขีด จำกัด ของความจุของดิสก์มีขีด จำกัด (ฉันไม่แน่ใจว่าอันไหน) บนดิสก์มีไฟล์ขนาดเล็กจำนวนมากเนื่องจากลักษณะของไฟล์แอปพลิเคชั่นการเขียนที่ได้รับการจัดระเบียบอย่างสมดุล - ไม่มีไดเร็กทอรี leaf node มีมากกว่า 200 ไฟล์และมีเพียง 800,000 ไฟล์ ฉันหวังว่าจะเป็นผู้นำในการตรวจสอบ ประสิทธิภาพการทำงานของดิสก์ลดลงอย่างมีนัยสำคัญอุปกรณ์ได้รับการซิปได้เป็นอย่างดีจากนั้นประสิทธิภาพในทันทีก็ลดลงราวกับก้อนหิน ข้อสันนิษฐานของฉันคือโครงสร้างองค์กรที่ฉันเลือกบนดิสก์สำหรับไฟล์ของฉันได้ทำลายความสามารถในการแคชของ inode เพื่อรักษาความเป็น zippy เป็นการทดลองฉันยกเลิกการต่อดิสก์ (ล้างแคชยืนยันด้วยฟรี) จากพรอมต์คำสั่งฉันสำรวจลึกเข้าไปในโครงสร้างไดเรกทอรี ทั้งหมดบอกไดเรกทอรีนี้ (และลูก ๆ ) มีเพียงประมาณ 3200 ไฟล์ที่อยู่ด้านล่างและ ณ จุดนี้ 'ฟรี' แสดงให้เห็น> หน่วยความจำว่าง 117MB ณ จุดนี้ฉันพิมพ์คำสั่ง …

10 linux  filesystems  ext4 

ฉันมีแอพพลิเคชั่น linux ที่เขียนข้อมูลการบันทึกลงในไฟล์บันทึกอย่างต่อเนื่องเช่น /var/log/application.log. เนื่องจากแอปพลิเคชันไม่หมุนไฟล์โดยอัตโนมัติไฟล์บันทึกนี้สามารถมีขนาดถึงกิกะไบต์ในบางสัปดาห์ดังนั้นฉันจึงต้องการหมุนไฟล์นี้อย่างถูกต้อง ข้อกังวลหลักของฉันคือการหมุนไฟล์ที่แอปพลิเคชันเปิดอยู่ตลอดเวลาฉันอาจต้อง: ย้ายไฟล์ไปยังแบบฟอร์มที่หมุน /var/log/application.log -> /var/log/application.log.2013-01-28 /var/log/application.logสร้างที่ว่างเปล่า Obs:ณ จุดนี้กระบวนการของแอปพลิเคชันยังคงเขียนอยู่/var/log/application.log.2013-01-28 เปลี่ยน file descriptor ของกระบวนการแอ็พพลิเคชันให้ชี้กลับไปเป็น /var/log/application.log ดังนั้นฉันถูกไหม ถ้าเป็นเช่นนั้นฉันจะทำสิ่งนี้ได้อย่างไร (ส่วนใหญ่เป็นการเปลี่ยนส่วนของตัวอธิบายไฟล์) ถ้าฉันไม่ใช่วิธีที่ถูกต้องคืออะไรและทำอย่างไร?

10 linux  filesystems  log-files  process  rotation 

ฉันเคยทำงานกับ Ubuntu 10.04 แม่แบบบนเซิร์ฟเวอร์จำนวนมาก ตั้งแต่เปลี่ยนเป็น 12.04 ฉันมีปัญหาที่ตอนนี้ฉันโดดเดี่ยว อุปกรณ์ / dev / urandom นั้นสามารถเข้าถึงได้โดยรูทเท่านั้น สิ่งนี้ทำให้เอ็นจิน SSL อย่างน้อยเป็น PHP เช่น file_get_contents (https: // ... ล้มเหลว นอกจากนี้ยังทำลาย redmine หลังจาก chmod 644 มันใช้งานได้ดี แต่นั่นก็ไม่ได้อยู่ในการรีบูต ดังนั้นคำถามของฉัน ทำไมนี้ ฉันไม่เห็นความเสี่ยงด้านความปลอดภัยเพราะ ... ฉันหมายถึง .. อยากขโมยข้อมูลแบบสุ่มบ้างไหม? ฉันจะ "แก้ไข" มันได้อย่างไร? เซิร์ฟเวอร์ถูกแยกและใช้งานโดยแอปพลิเคชันเดียวเท่านั้นนั่นคือเหตุผลที่ฉันใช้ openvz ฉันคิดถึงบางอย่างเช่นสคริปต์ระดับ runlevel หรือ ... แต่ฉันจะทำอย่างมีประสิทธิภาพได้อย่างไร Maby กับ dpkg …

10 linux  ubuntu  security  permissions  filesystems 

คำถามนี้มีคำตอบอยู่ที่นี่แล้ว : Linux: มีกี่ดิสก์ I / O ที่ใช้ในการอ่านไฟล์ จะลดได้อย่างไร? (5 คำตอบ) ปิด5 เดือนที่ผ่านมา ตามบทความนี้ใน Haystack ของ Facebook: " เนื่องจากวิธีที่เครื่องใช้ NAS จัดการเมตาดาต้าของไดเรกทอรีการวางไฟล์หลายพันไฟล์ในไดเรกทอรีนั้นไม่มีประสิทธิภาพอย่างมากเนื่องจากบล็อกไดเร็กตอรี่ของไดเรกทอรีนั้นใหญ่เกินไปที่จะถูกแคชได้อย่างมีประสิทธิภาพโดยอุปกรณ์ดังนั้นจึงเป็นเรื่องปกติ อิมเมจเดียวหลังจากลดขนาดไดเร็กทอรีไปเป็นร้อยอิมเมจต่อไดเร็กทอรีโดยทั่วไประบบผลลัพธ์จะยังคงต้องใช้การดำเนินการดิสก์ 3 ครั้งเพื่อดึงข้อมูลอิมเมจ: หนึ่งเพื่ออ่านเมตาดาต้าของไดเรกทอรีไปยังหน่วยความจำ เพื่ออ่านเนื้อหา " ฉันสันนิษฐานว่าเมตาดาต้าไดเรกทอรีระบบแฟ้ม & inode จะถูกแคชใน RAM โดยระบบปฏิบัติการและการอ่านไฟล์มักจะต้องใช้เพียง 1 ดิสก์ IO นี่เป็นปัญหา "หลายดิสก์ของ IO เพื่ออ่านไฟล์เดียว" ซึ่งระบุไว้ในกระดาษเฉพาะของเครื่องใช้ NAS หรือ Linux มีปัญหาเดียวกันหรือไม่ ฉันวางแผนที่จะเรียกใช้เซิร์ฟเวอร์ Linux สำหรับแสดงรูปภาพ วิธีใดที่ฉันสามารถลดจำนวนดิสก์ IO …

10 linux  filesystems 

คำสั่ง remount จะทำหรือไม่ถ้าฉันเพิ่มตัวเลือกใน / etc / fstab? นี่เป็นความคิดที่ดีหรือไม่?

10 linux  filesystems  fstab 

นี่เป็นคำถามที่คลุมเครือฉันรู้ ฉันพยายามทำการทดสอบประสิทธิภาพของดิสก์บางตัวในกล่อง Linux ฉันได้รับผลลัพธ์ที่ไม่คงที่โดยรันการทดสอบเดียวกันบนดิสก์เดียวกัน ฉันรู้ว่าดิสก์มีประสิทธิภาพแตกต่างกันขึ้นอยู่กับว่าส่วนใดของดิสก์ที่กำลังถูกเข้าถึง โดยเฉพาะอย่างยิ่งการอ่านและเขียนไปที่ด้านนอกของดิสก์จะมีปริมาณงานสูงกว่าการอ่านและเขียนไปยังส่วนด้านในของดิสก์เนื่องจากความหนาแน่นของข้อมูลใกล้เคียงคงที่และความเร็วในการหมุนคงที่ ฉันต้องการดูว่าความไม่สอดคล้องของฉันสามารถนำมาประกอบกับความแปรปรวนที่เกิดจากรูปทรงเรขาคณิตนี้ในปริมาณงานหรือไม่ เป็นไปได้หรือไม่ที่ใช้เครื่องมือที่มีอยู่เพื่อค้นหาตำแหน่งที่วางไฟล์ ถ้าไม่ใช่ฉันคิดว่าฉันสามารถเขียนบางสิ่งเพื่อค้นหาอ่านและเขียนไปยังไฟล์อุปกรณ์โดยตรงโดยการข้าม (และทำลาย) ระบบไฟล์ แต่ฉันหวังว่าจะหลีกเลี่ยงสิ่งนั้น ปัจจุบันฉันใช้ ext4 กับเคอร์เนล 3.0 (Arch Linux ถ้าเป็นเรื่องสำคัญ) แต่ฉันสนใจเทคนิคต่าง ๆ สำหรับระบบไฟล์อื่นเช่นกัน

10 linux  performance  filesystems  debugging 

ฉันกำลังรวมกล่อง Linux ไว้ซึ่งจะทำหน้าที่เป็นเซิร์ฟเวอร์รวมการสร้างอย่างต่อเนื่อง เราจะสร้างสิ่ง Java เป็นส่วนใหญ่ แต่ฉันคิดว่าคำถามนี้ใช้กับภาษาที่รวบรวม ฉันควรใช้การตั้งค่าระบบไฟล์และการกำหนดค่าใด (ตัวอย่างเช่นฉันรู้ว่าฉันไม่ต้องการ atime สำหรับเรื่องนี้!) เซิร์ฟเวอร์ build จะใช้เวลาอ่านและเขียนไฟล์ขนาดเล็กเป็นจำนวนมากและสแกนไดเรกทอรีเพื่อดูว่าไฟล์ใดได้รับการแก้ไข UPDATE: ความถูกต้องของข้อมูลมีความสำคัญต่ำในกรณีนี้ มันเป็นเพียงเครื่องจักรสร้าง ... สิ่งประดิษฐ์ขั้นสุดท้ายจะถูกซิปขึ้นและเก็บถาวรที่อื่น หากระบบไฟล์ในเครื่องบิลด์เสียหายและสูญเสียข้อมูลทั้งหมดเราก็สามารถลบและสร้างภาพใหม่ได้ งานสร้างจะยังคงทำงานเหมือนเดิม

10 performance  filesystems  continuous-integration  build-server