การสร้างคลัสเตอร์บ้าน - การวิเคราะห์ฮาร์ดแวร์และต้นทุน [ปิด]

ไม่มีใครรู้ลิงค์ / หนังสือ / อะไรที่คุณคิดว่าจะอธิบายกระบวนการสร้างคลัสเตอร์บ้านเล็ก ๆ (เมื่อฉันบอกว่าบ้านมันไม่ได้หมายความว่าจะต้องอยู่บ้าน แต่หมายถึงมันค่อนข้างถูกและเล็ก) เพื่อการทดลองโดยเน้นเป็นพิเศษในวันนี้ว่าฮาร์ดแวร์ใดจะเพียงพอและการวิเคราะห์ต้นทุนบางประเภท

แม้ว่าถ้ามีใครบางคนที่นี่ก็ทำฉันขอขอบคุณประสบการณ์ทั้งหมดที่คุณสามารถแบ่งปัน

เฮลเมอร์เข้ามาในใจ :)

มีกลุ่มของ Ikea สองกลุ่มที่แนะนำใน Hack A Day:

• 24 แกน
• เฮลเมอ

ลองอ่านหนังสือ Beowulf Cluster Computing โดย Thomas Sterling (หนึ่งสำหรับ Linux และอีกหนึ่งสำหรับ Windows) พวกเขาบอกคุณทั้งหมดที่คุณต้องรู้เกี่ยวกับการใช้ MPI เพื่อให้โหนดของคุณพูดคุยกับคนอื่น

เพื่อน & ฉันสร้างกลุ่ม 8 กล่องโดยใช้ฮาร์ดแวร์เส็งเคร็งจริง ๆ และใช้ Windows XP กับพวกเขา กล่องเหล่านี้เหมือนกับกล่อง Pentium I - 90 MHz ต่ำกว่าข้อกำหนดที่จำเป็นสำหรับ Windows แต่ก็ทำงานได้ดี นอกจากนี้เรายังใช้ SQL Server 2000 กับพวกเขา (ต่ำกว่าข้อกำหนดที่แนะนำ) และทำแบบจำลอง black-scholes ของการกำหนดราคาหุ้นออปชัน

เป็นการยากที่จะแนะนำว่าฮาร์ดแวร์ชนิดใดจะเพียงพอโดยไม่ทราบว่าคุณต้องการทำอะไรกับคลัสเตอร์ของคุณ แต่บรรทัดล่างคือคุณสามารถสร้างกลุ่มของอะไรก็ได้

ทางเลือกอื่นสำหรับการมีโหนดฟิสิคัลคลัสเตอร์จำนวนมากคือการสร้างเครื่องเสมือน คุณจะมีเครื่องจริงเพียงหนึ่งหรือสองเครื่องเท่านั้น แต่สามารถจำลองได้ว่ามีหลายโหนด สิ่งนี้จะทำงานได้ดีสำหรับการสร้างการเรียนรู้และใช้ทรัพยากรให้น้อยลง (พื้นที่พลังงานและ $$$)

สิ่งนี้จะไม่ให้การวิเคราะห์ต้นทุนมากนัก แต่จะช่วยให้คุณเริ่มต้นได้ ประเภทของการตั้งค่าคลัสเตอร์จะขึ้นอยู่กับประเภทของงานที่คุณต้องการสร้าง คุณสามารถโหนดขนาดเล็กจำนวนมากหรือมีเพียงไม่กี่โหนดที่มีประสิทธิภาพ มีสภาพแวดล้อมหน่วยความจำแบบแบ่งใช้และแบบไม่แบ่งใช้เพื่อพิจารณา คุณต้องการสร้างโปรแกรมคู่ขนานประเภทใด ยิ่งคุณมีโหนดแบบฟิสิคัลมากเท่าไหร่ก็จะยิ่งมีพื้นที่มากขึ้นพลังงานความเย็นและการเชื่อมต่อระหว่างเครือข่ายที่คุณต้องพิจารณา บางครั้งคอมพิวเตอร์ขนาดใหญ่เพียงเครื่องเดียวก็เป็นหนทางไป (และสภาพแวดล้อมหน่วยความจำแบบแบ่งใช้นั้นง่ายกว่าสำหรับโปรแกรม IMHO)

ฉันเพิ่งเริ่มเล่นกับกลุ่มสร้างกล่อง P4 สุ่มอูบุนตูและ LAM-MPI มันเป็นประสบการณ์การเรียนรู้อย่างแน่นอน

จริงๆแล้วมันเป็นแล็ปท็อป p4 คู่หนึ่งและหอคอยก็ซ้อนกันในโรงรถ มันเป็นสลัม แต่ฉันแค่อยากจะเรียนรู้ ฉันเพิ่งใช้เครือข่ายอีเธอร์เน็ต 100 Mbps ฉันเลือกอูบุนตูเพราะฉันไม่ต้องการจัดการกับการกำหนดค่าฮาร์ดแวร์มากของกล่อง Ubuntu มีไดรเวอร์จำนวนมากที่ฉันต้องการ ฉันต้องการสภาพแวดล้อมของ linux เนื่องจากแอพพลิเคชั่นที่ฉันเขียนนั้นเป็นแอพที่ทำงานด้วย C พร้อมอินเตอร์เฟส MPI ฉันพยายามทำซ้ำสิ่งที่ฉันเคยใช้มาก่อน มันผิดทั้งหมด ฮาร์ดแวร์ไม่มีอะไรมาตรฐาน คลัสเตอร์ส่วนใหญ่มีฮาร์ดแวร์ที่แน่นอนดังนั้นคุณสามารถเพิ่มและลบโหนดได้ในพริบตา

พิจารณาพัฒนาระบบของคุณบนคลัสเตอร์ของเครื่องเสมือนทั้งนี้ขึ้นอยู่กับสิ่งที่คุณพยายามทำ การใช้โซลูชันการจำลองเสมือนของระบบปฏิบัติการเช่น OpenVZ หรือ Virtuozzo หรือ Solaris Containers ของ Parallel จะช่วยให้คุณเพิ่มความหนาแน่นได้อย่างมากเมื่อเทียบกับการจำลองเสมือนระบบเต็มรูปแบบ (เช่น VirtualBox / VirtualPC / Xen / VMWare) จากนั้นเมื่อคุณต้องการปรับใช้ระบบสำหรับประสิทธิภาพการทำงานบางอย่างเรียกมันว่า "ในคลาวด์" บน EC2 ของ Amazon หรือที่คล้ายกัน

ฉันจะเริ่มต้นด้วยการดู LittleFE ( http://littlefe.net/ ) หรือ Bootable Cluster CD ( http://bccd.net/ ) โครงการด้วยตัวเอง ดูโครงการ Ubuntu Cloud ( http://www.ubuntu.com/cloud )

ฮาร์ดแวร์ใด ๆ ที่มากหรือน้อยควรทำงานได้ ฉันอยากจะดูรูปแบบของการจัดการระยะใกล้หรือเครื่องจักรที่เลิกเช่าเพื่อหยิบฮาร์ดแวร์ราคาถูก

ดูที่Rocksซึ่งเป็นการกระจายแบบคลัสเตอร์ซึ่งทำให้การสร้างคลัสเตอร์เป็นเรื่องง่าย มันยังขยายโหนด houndred อย่างน้อยสองสามโหนด