ฉันเพิ่งเพิ่มคุณสมบัติการค้นหาแบบคาดการณ์ (ดูตัวอย่างด้านล่าง) ในเว็บไซต์ของฉันที่ทำงานบนเซิร์ฟเวอร์ Ubuntu สิ่งนี้รันโดยตรงจากฐานข้อมูล ฉันต้องการแคชผลลัพธ์สำหรับการค้นหาแต่ละครั้งและใช้หากมีอยู่ให้สร้างขึ้นใหม่
จะมีปัญหาใด ๆ กับฉันหรือไม่ที่จะบันทึกผลการใช้งาน 10 ล้าน cira ในไฟล์แยกกันในไดเรกทอรีเดียว หรือแนะนำให้แบ่งไฟล์ออกเป็นโฟลเดอร์หรือไม่?
ตัวอย่าง:
5
มันจะเป็นการดีกว่าที่จะแยก คำสั่งใด ๆ ที่พยายามที่จะแสดงรายการเนื้อหาของไดเรกทอรีนั้นมีแนวโน้มที่จะตัดสินใจยิงตัวเอง
—
muru
ดังนั้นถ้าคุณมีฐานข้อมูลอยู่แล้วทำไมไม่ลองใช้มันล่ะ ฉันแน่ใจว่า DBMS จะสามารถจัดการบันทึกได้มากกว่าล้านรายการกับระบบไฟล์ หากคุณตายโดยใช้ระบบไฟล์คุณจะต้องใช้รูปแบบการแยกโดยใช้แฮชบางประเภท ณ จุดนี้ IMHO ดูเหมือนว่าการใช้ DB จะทำงานได้น้อยลง
—
roadmr
ตัวเลือกอื่นสำหรับการแคชที่เหมาะกับแบบจำลองของคุณดีกว่าอาจเป็น memcached หรือ redis พวกเขาเป็นร้านค้าที่มีค่าคีย์ (ดังนั้นพวกเขาจึงทำหน้าที่เหมือนไดเรกทอรีเดียวและคุณเข้าถึงรายการโดยใช้ชื่อ) Redis เป็นแบบถาวร (จะไม่สูญเสียข้อมูลเมื่อมีการรีสตาร์ท) โดยที่ memcached ใช้สำหรับรายการชั่วคราวเพิ่มเติม
—
Stephen Ostermiller
มีปัญหาไก่และไข่ที่นี่ นักพัฒนาเครื่องมือไม่จัดการไดเรกทอรีที่มีไฟล์จำนวนมากเพราะคนไม่ทำเช่นนั้น และผู้คนไม่สร้างไดเรกทอรีที่มีไฟล์จำนวนมากเพราะเครื่องมือไม่รองรับอย่างดี เช่นฉันเข้าใจในครั้งเดียว (และฉันเชื่อว่าสิ่งนี้ยังคงเป็นจริง) การร้องขอคุณสมบัติเพื่อสร้างตัวสร้างเวอร์ชันของ
os.listdirในไพ ธ อนถูกปฏิเสธอย่างไม่ราบรื่นด้วยเหตุผลนี้
จากประสบการณ์ของฉันเองฉันเคยเห็นความเสียหายเมื่อไปเกิน 32k ไฟล์ในไดเรกทอรีเดียวบน Linux 2.6 เป็นไปได้ที่จะปรับแต่งนอกเหนือจากจุดนี้แน่นอน แต่ฉันไม่อยากจะแนะนำ เพียงแค่แบ่งออกเป็นไม่กี่เลเยอร์ของไดเรกทอรีย่อยและมันจะดีขึ้นมาก โดยส่วนตัวฉันจะ จำกัด ไว้ที่ประมาณ 10,000 ต่อไดเรกทอรีซึ่งจะให้คุณ 2 เลเยอร์
—
Wolph
