วิธีการแก้ปัญหาการจัดเก็บข้อมูลแบบอัตโนมัติโดยใช้ Linux? (หน่วยความจำ -> SSD -> HDD -> ที่เก็บข้อมูลระยะไกล)

เกี่ยวข้องกับคำถามนี้เกี่ยวกับการใช้ SSD สำหรับระบบและ HDD สำหรับข้อมูลยกเว้นฉันต้องการให้ระบบของฉันทำสิ่งนี้โดยอัตโนมัติ ...

เป็นไปได้หรือไม่ที่จะมีที่เก็บข้อมูลหลายชั้นและผลักรายการระหว่างกันโดยอัตโนมัติโดยใช้ซอฟต์แวร์โอเพนซอร์ซฟรีที่ดีกว่า

ฉันรู้ว่าโซลูชันระดับองค์กรที่มีราคาแพงอย่างมหาศาลเช่น EMC SAN-> การเก็บถาวรอัตโนมัติของEMC Centeraแต่ฉันสงสัยว่าการจัดเก็บข้อมูลประเภทนี้เป็นไปได้ที่จะทำโดยอัตโนมัติหรือไม่

มันจะดีถ้ามีหลายเลเยอร์ในเรื่องนี้: หน่วยความจำ -> SSD-> HDD-> HDD หรือเทปที่ช้ากว่าหรือโซลูชันเก็บถาวรอื่น ๆ

มีระบบไฟล์ใดบ้างที่สามารถทำได้โดยอัตโนมัติ? (ZFS, Btrfs, HAMMER หรือไม่)

ตัวแปรUnixใด ๆก็ใช้ได้เพราะฉันสนใจในการทำงานและไม่ว่ามันจะพกพาไปยัง Linux หรือรสชาติอื่น ๆ (BSD ฯลฯ )

ZFS ใช้เลเยอร์หน่วยเก็บข้อมูลที่เรียกว่าHybrid Storage Pool (HSP) :

1. Layer: หน่วยความจำ
2. เลเยอร์: การอ่านแคชที่ใช้ SSD (L2ARC) และแคชการเขียน (บันทึกเจตนาแยกต่างหาก aka slog)
3. Layer: (ถูก) harddisks

ด้วย HSP มันง่ายที่จะได้รับประโยชน์จากข้อดีของ SSD โดยอัตโนมัติเมื่อเปรียบเทียบกับโซลูชัน harddisk เท่านั้น ระบบที่ใช้ HSP นั้นสามารถทำได้เร็วกว่าและถูกกว่าระบบหลัง ดูลิงค์นี้สำหรับตัวอย่างที่ดีและรายละเอียดเพิ่มเติม

ฉันคิดว่ามีแผนการเกี่ยวกับการจัดการพื้นที่เก็บข้อมูลแบบลำดับชั้น (HSM)สำหรับ ZFS (ดูตัวอย่างโครงการ OpenSolaris การโยกย้ายข้อมูลอัตโนมัติ (ADM) OpenSolaris) แต่ฉันไม่ทราบสถานะปัจจุบัน

ลองดูโซลูชัน "lvmts" (LVM Tiered Storage) จาก LVM ซึ่งเป็นวิธีที่ผู้ชายคนนี้กำลังทำอยู่:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

สวยเท่ห์

TIER ดูเหมือนจะตอบสนองความต้องการของคุณมันเป็นโมดูลเคอร์เนล linux ที่สามารถสร้างที่เก็บข้อมูลแบบทำเป็นชั้นได้ ดูเหมือนว่าจะเรียนรู้ด้วยตนเองถึงรูปแบบและเพิ่มประสิทธิภาพการจัดวางลงในที่เก็บข้อมูล

http://www.lessfs.com/wordpress/?p=776

ตอบคำถามของฉันด้วยสิ่งที่ฉันเพิ่งพบ:

ฉันเพิ่งอัปเดตเคอร์เนลและดูสิ่งใหม่ ๆ ที่เพิ่มเข้ามาและ ตอนนี้มีตัวเลือก 'CACHEFILES'ซึ่งช่วยให้ระบบไฟล์แคช (โดยปกติระยะไกล) เป็นระบบไฟล์ในระบบ ฉันเดาว่าฉันสามารถใช้สิ่งนี้เพื่อแคชกลไกการเก็บข้อมูลที่ช้ากว่า (HDD) ไปยังหนึ่งที่เร็วกว่า (SSD) อย่างน้อยก็สำหรับลำดับชั้นในระดับหนึ่ง

ลิงก์ที่เกี่ยวข้องบางรายการ YMMV

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) เป็นความพยายามครั้งแรกสำหรับผู้จัดการเก็บข้อมูลโอเพ่นซอร์สระดับองค์กรซึ่งจะย้ายข้อมูลระหว่างที่เก็บข้อมูลต้นทุนต่ำและต้นทุนต่ำโดยอัตโนมัติ สื่อ. "

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI ภายใต้ Linux

http://jfs.sourceforge.net/ - JFS + DMAPI ภายใต้ Linux

คอนโทรลเลอร์ RAID เสนอคุณสมบัติบางอย่างเหล่านี้

"ใช้ SSD ที่ด้านหน้าของโวลุ่ม HDD เพื่อสร้างแคชพูลคอนโทรลเลอร์ประสิทธิภาพสูง"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

ภาพรวมของ LVM2 คำนึงถึง ... แต่คุณไม่สามารถทำได้มากกว่าเพียงภาพเดียว

SAM-QFSเป็นผลิตภัณฑ์ที่มีอยู่ของซันและเปิดตัวเมื่อปีที่แล้ว มันคือ CDDL ดังนั้นคุณสามารถโอนไปยัง * BSD โดยตรงเท่านั้น