เราจะมีเครื่องที่ทำงานที่ประสิทธิภาพสูงสุดควรสามารถดัน50 ("หัวเขียน") x 75GBของข้อมูลต่อชั่วโมง นั่นคือประสิทธิภาพสูงสุดของความเร็วในการเขียนที่ ~ 1100MB / s ในการรับสิ่งนั้นจากเครื่องจะต้องใช้สองบรรทัด 10GBi คำถามของฉันคือเทคโนโลยีเซิร์ฟเวอร์ + ชนิดใดที่สามารถจัดการ / จัดเก็บการไหลของข้อมูลดังกล่าวได้
ปัจจุบันพื้นที่เก็บข้อมูลเราทำงานกับ ZFS แม้ว่าความเร็วในการเขียนจะไม่เป็นปัญหา (เราไม่ได้ใกล้เคียงกับความเร็วเหล่านี้) ZFS (zfs บน linux) จะเป็นตัวเลือกหรือไม่? เราจำเป็นต้องจัดเก็บข้อมูลจำนวนมาก "คำแนะนำด้านไอที" แนะนำบางส่วนระหว่าง 50-75 TB โดยรวม ดังนั้นจึงอาจไม่สามารถเป็น SSD ทั้งหมดเว้นแต่ว่าเราต้องการเสนอลูกคนโตของเรา
เพิ่มเติมบางส่วนตามคำตอบที่ยอดเยี่ยม:
- สูงสุดคือ 50x75GB / ชั่วโมงในระหว่างที่มีการใช้งานน้อยกว่า 24 ชม. (เป็นไปได้ <6h)
- เราไม่คาดหวังว่าสิ่งนี้จะเกิดขึ้นในเร็ว ๆ นี้ส่วนใหญ่เราจะเรียกใช้ 5-10x75GB / ชั่วโมง
- เป็นเครื่องพรีอัลฟ่า แต่ควรเป็นไปตามข้อกำหนด (แม้ว่าจะมีเครื่องหมายคำถามจำนวนมากกำลังเล่นอยู่)
- เราจะใช้NFSเป็นการเชื่อมต่อจากเครื่องไปยังเซิร์ฟเวอร์
- เลย์เอาต์: สร้างเครื่อง -> ที่เก็บข้อมูล (อันนี้) -> (การโจมตีอย่างปลอดภัย 6) -> การคำนวณคลัสเตอร์
- เพื่อให้ความเร็วในการอ่านไม่จำเป็นแต่มันจะดีที่จะใช้งานได้จากคอมพิวเตอร์คลัสเตอร์ ( แต่นี้เป็นตัวเลือกที่สมบูรณ์)
- เป็นไปได้มากว่ามันจะเป็นไฟล์ข้อมูลขนาดใหญ่ (ไม่เล็กมาก)