คำแนะนำสำหรับฮาร์ดแวร์ Elastic Search [ปิด]

มีคำแนะนำที่ดีเกี่ยวกับระดับฮาร์ดแวร์เพื่อสนับสนุน ElasticSearch หรือไม่ คำแนะนำสำหรับ Lucene หรือ Solr เป็นจุดเริ่มต้นที่ดีหรือไม่ เรากำลังดูการเริ่มต้นใช้งานด้วย

• 27 ล้านเอกสาร, 8TB ของข้อมูล
• เพิ่มเอกสาร 300k ต่อวัน

จากนั้นปรับขนาดขึ้นประมาณ 10 เท่าเป็น

• เอกสาร 270 ล้านเอกสาร 80TB ของข้อมูล
• เพิ่ม 3 ล้านเอกสาร / วัน

นี่เป็นกรณีการใช้งานที่แปลกซึ่งการสืบค้นจะอยู่ในหลักพัน / วัน แต่เวลาตอบสนองต้องอยู่ในระดับต่ำพอสำหรับประสบการณ์ที่ดีกับเว็บแอป Ajaxy

มีหลายปัจจัยที่สามารถเข้ามาเล่นได้ดังนั้นฉันไม่คิดว่ามีแนวทางทั่วไปมากมาย

คุณควรทำการประเมินผลขนาดเล็กลงโดยอาจใช้ 1 / 5th ชุดข้อมูลเริ่มต้นเพื่อดูว่าสิ่งต่าง ๆ ทำงานอย่างไรเมื่อคุณสร้างดัชนีที่คาดหวังและค้นหาโหลดที่การตั้งค่า สิ่งนี้จะช่วยให้แน่ใจว่าคุณเข้าใจว่าข้อมูลของคุณจะใช้พื้นที่ในเครื่องมือค้นหามากเพียงใด สำหรับ elasticsearch ขึ้นอยู่กับว่าคุณกำลังเก็บ json ของแหล่งที่มาและวิธีการวิเคราะห์เขตข้อมูลและถ้าพวกเขาจะถูกเก็บไว้

EC2 สามารถเป็นวิธีที่เหมาะสมในการประเมินการเปลี่ยนแปลงของปริมาณน้ำยางโดยไม่ต้องเสียค่าใช้จ่ายจำนวนมาก

สำหรับซอฟต์แวร์ที่ใช้คลัสเตอร์เช่น elasticsearch จะมีการแลกเปลี่ยนกันระหว่างการทำให้คลัสเตอร์เล็กลงและใหญ่ขึ้น คลัสเตอร์ขนาดใหญ่นั้นดีเพราะเมื่อคุณทำเซิร์ฟเวอร์หายจำเป็นต้องจัดสรรข้อมูลให้น้อยลง คลัสเตอร์ขนาดเล็กใช้พลังงานน้อยลงและบำรุงรักษาง่ายขึ้น

เราเรียกใช้คลัสเตอร์ที่มีเอกสาร 35 ล้านฉบับที่มีขนาดดัชนีทั้งหมดประมาณ 300GB x 2 เนื่องจากดัชนีทั้งหมดจะถูกจำลองแบบ เพื่อรองรับสิ่งนี้และการค้นหาจำนวนมากเรามี 4 โหนดแต่ละแห่งมี 24 คอร์ RAM 48GB และที่เก็บ 1TB พร้อมดิสก์ 10K ใน raid10 เมื่อเร็ว ๆ นี้เราได้เพิ่มขนาดของดิสก์เพื่อให้แน่ใจว่าเรามีพื้นที่เพิ่ม

สำหรับกรณีของคุณฉันขอแนะนำ RAM และดิสก์เพิ่มเติม คุณอาจประหยัดเงินใน CPU ด้วยปริมาณการค้นหานั้น

ปริมาณการค้นหาต่ำจริง ๆ แล้วเจ็บประสิทธิภาพเนื่องจากแคช (ทั้งภายในกับ s / w ที่ใช้และดิสก์ระบบปฏิบัติการ) จะไม่อบอุ่น

หวังว่านี่จะช่วยได้พอล