การจัดเก็บและสำรองไฟล์ 10 ล้านไฟล์บน Linux
คำถามนี้ถูกโยกย้ายจาก Stack Overflow เพราะสามารถตอบได้ใน Server Fault อพยพ 8 ปีที่ผ่านมา ฉันเรียกใช้เว็บไซต์ที่มีไฟล์ประมาณ 10 ล้านไฟล์ (ปกหนังสือ) ในไดเรกทอรีย่อย 3 ระดับตั้งแต่ [0-f]: 0/0/0/ 0/0/1/ ... f/f/f/ สิ่งนี้นำไปสู่ไฟล์ประมาณ 2400 ไฟล์ต่อไดเรกทอรีซึ่งเร็วมากเมื่อเราต้องการดึงไฟล์หนึ่งไฟล์ นอกจากนี้ยังเป็นการฝึกฝนที่แนะนำโดยคำถามมากมาย อย่างไรก็ตามเมื่อฉันต้องการสำรองไฟล์เหล่านี้มันใช้เวลาหลายวันเพียงแค่เรียกดูไดเรกทอรี 4k ที่มีไฟล์ขนาด 10 เมตร ดังนั้นฉันสงสัยว่าฉันสามารถจัดเก็บไฟล์เหล่านี้ในภาชนะ (หรือในภาชนะ 4k) ซึ่งแต่ละคนจะทำหน้าที่เหมือนกับระบบแฟ้ม ฉันเดาว่านี่จะมีประสิทธิภาพเกือบเท่ากับการเข้าถึงไฟล์โดยตรงในระบบไฟล์และนี่จะเป็นข้อได้เปรียบที่ยอดเยี่ยมในการคัดลอกไปยังเซิร์ฟเวอร์อื่นอย่างมีประสิทธิภาพ ข้อเสนอแนะใด ๆ เกี่ยวกับวิธีการทำสิ่งนี้ให้ดีที่สุด? หรือทางเลือกที่ทำงานได้ (noSQL, ... )?