ไฟล์ในไดเรกทอรีมีไฟล์มากเกินไป? (กำลังดาวน์โหลดข้อมูลจากเน็ต)

ทักทาย,

ฉันกำลังเขียนสคริปต์เพื่อประมวลผลภาพจากเว็บไซต์ภาพถ่ายต่างๆ ตอนนี้ฉันกำลังจัดเก็บข้อมูลทั้งหมดนี้ในไฟล์ข้อความแต่ละไฟล์ในไดเรกทอรีเดียวกัน

ไดเรกทอรีนี้สามารถเข้าถึงได้ทางเว็บ ผู้ใช้ปลายทางทำการโทรไปยังบริการเว็บซึ่งจะส่งคืนพา ธ ไปยังไฟล์ที่ผู้ใช้ต้องการ

ฉันสงสัยว่าขั้นตอนใดที่ฉันจะเห็นผลกระทบต่อประสิทธิภาพโดยการมีไฟล์เหล่านี้ทั้งหมดในไดเรกทอรีเดียวกัน (ถ้ามี)

ประสิทธิภาพการทำงานแตกต่างกันไปตามระบบไฟล์ที่คุณใช้

• FAT: ลืมมัน :) (โอเคฉันคิดว่าขีด จำกัด คือ 512 ไฟล์ต่อไดเรกทอรี)
• NTFS: แม้ว่ามันจะสามารถเก็บไฟล์ได้ 4 พันล้านไฟล์ต่อโฟลเดอร์ แต่ก็ลดระดับลงอย่างรวดเร็ว - ประมาณหนึ่งพันคุณจะเริ่มสังเกตเห็นปัญหาด้านประสิทธิภาพหลายพันคนและคุณจะเห็นว่า explorer ดูเหมือนจะหยุดอยู่พักหนึ่ง

• EXT3: ขีด จำกัด ทางกายภาพคือ 32,000 ไฟล์ แต่ไฟล์ก็มีหลายพันไฟล์เช่นกัน

• EXT4: ไม่ จำกัด ตามหลักวิชา

• ReiserFS, XFS, JFS, BTRFS: สิ่งเหล่านี้เป็นไฟล์ที่ดีสำหรับไฟล์จำนวนมากเนื่องจากมีความทันสมัยและได้รับการออกแบบมาให้รองรับไฟล์จำนวนมาก . ประสิทธิภาพดีขึ้นมากสำหรับไฟล์จำนวนมาก (พร้อมกับ ext4) เนื่องจากทั้งคู่ใช้อัลกอริธึมชนิดการค้นหาแบบไบนารี่สำหรับการรับไฟล์ที่คุณต้องการ

ฉันจัดเก็บภาพเพื่อแสดงโดยเว็บเซิร์ฟเวอร์และฉันมีภาพมากกว่า 300,000 ภาพในไดเรกทอรีเดียวบน EXT3 ฉันไม่เห็นปัญหาด้านประสิทธิภาพ ก่อนทำการตั้งค่านี้ฉันทำการทดสอบด้วยภาพ 500k ในไดเรกทอรีและเข้าถึงไฟล์แบบสุ่มโดยใช้ชื่อและไม่มีการชะลอตัวที่สำคัญเมื่อ 500k มากกว่า 10k ภาพในไดเรกทอรี

ข้อเสียเพียงอย่างเดียวที่ฉันเห็นคือเพื่อที่จะซิงค์ไฟล์ใหม่ที่มีไฟล์สำรองที่สองฉันต้องเรียกใช้rsyncไดเรกทอรีทั้งหมดและไม่สามารถบอกให้ซิงค์ไดเรกทอรีย่อยที่ประกอบด้วยพันล่าสุดได้

ปริมาณของไฟล์ในโฟลเดอร์ในทางทฤษฎีอาจไม่มีขีด จำกัด อย่างไรก็ตามทุกครั้งที่ระบบปฏิบัติการจะเข้าถึงโฟลเดอร์เฉพาะเพื่อค้นหาไฟล์มันจะต้องประมวลผลไฟล์ทั้งหมดในโฟลเดอร์ ด้วยไฟล์น้อยกว่า 500 ไฟล์คุณอาจไม่สังเกตเห็นความล่าช้า แต่เมื่อคุณมีไฟล์หลายหมื่นไฟล์ในโฟลเดอร์เดียวคำสั่งรายการโฟลเดอร์อย่างง่าย (ls หรือ dir) อาจใช้เวลานานเกินไป เมื่อโฟลเดอร์เหล่านี้สามารถเข้าถึงได้ผ่านทาง FTP มันจะช้าเกินไป ...

ปัญหาด้านประสิทธิภาพจะไม่ขึ้นอยู่กับระบบปฏิบัติการของคุณ แต่ขึ้นอยู่กับความเร็วของโปรเซสเซอร์ระบบความจุดิสก์และหน่วยความจำ หากคุณมีไฟล์จำนวนมากคุณอาจต้องการรวมไฟล์เหล่านั้นลงในไฟล์เก็บถาวรเดียวและใช้ระบบเก็บถาวรที่ปรับให้เหมาะสมเพื่อเก็บข้อมูลจำนวนมาก นี่อาจเป็นไฟล์ ZIP แต่ยังดีกว่าเก็บไว้เป็น blobs ในฐานข้อมูลด้วยชื่อไฟล์เป็นคีย์หลัก

กฎง่ายๆของฉันคือการแยกโฟลเดอร์หากมีมากกว่า 1,000 ไฟล์และโฟลเดอร์จะถูกเรียกดู (เช่นผ่านอินเทอร์เน็ตหรือ Explorer) หรือไฟล์ 5000

@skaffman ชี้ให้เห็นข้อ จำกัด ขึ้นอยู่กับระบบปฏิบัติการ คุณอาจได้รับผลกระทบจากข้อ จำกัด ของระบบปฏิบัติการรุ่นเก่า ฉันจำได้ว่า Solaris รุ่นเก่า จำกัด อยู่ที่ 32768 ไฟล์ต่อไดเรกทอรี

วิธีแก้ไขปัญหาปกติคือใช้ hashing บางประเภทเช่น Cyrus imap server แยกผู้ใช้โดยแฮชตัวอักษร:

/var/spool/imap/a/user/anna/
/var/spool/imap/a/user/albert/
/var/spool/imap/d/user/dan/
/var/spool/imap/e/user/ewan/

หากคุณเข้าถึงไฟล์โดยตรงจำนวนไฟล์ในไดเรกทอรีจะไม่มีปัญหาเรื่องความเร็ว

จำนวนไฟล์ที่คุณสามารถสร้างในไดเรกทอรีเดียวนั้นขึ้นอยู่กับระบบไฟล์ที่คุณใช้ หากคุณกำลังแสดงรายการไฟล์ทั้งหมดในไดเรกทอรีหรือการค้นหาการเรียงลำดับ ฯลฯ การมีไฟล์จำนวนมากจะทำให้การดำเนินการเหล่านั้นช้าลง

gbjbaanb ตอบผิดเกี่ยวกับขนาดไฟล์สูงสุดของ ext3 โดยทั่วไป ext จำกัด จำนวนไฟล์ในแผ่นดิสก์ของคุณโดยทั่วไป คุณไม่สามารถสร้างไฟล์เพิ่มเติมแล้วคุณมี inodes ในตาราง inode ของคุณ เขาถูกต้องในการแนะนำ reiserfs สำหรับประสิทธิภาพที่มากขึ้นด้วยไฟล์จำนวนมาก

โฟลเดอร์ที่ตรวจสอบพร้อมไฟล์ 10K ใน NTFS (Windows 7, 64 บิต) โฟลเดอร์ที่มีภาพ 10K ในทุกมุมมอง (รายการไอคอนและอื่น ๆ ) สามารถใช้งานและเลื่อนได้โดยไม่เกิดความล่าช้า