การสร้างคลัสเตอร์ในคลาวด์ราคาถูกกว่าการสร้างคลัสเตอร์ในห้องทดลองสำหรับการจำลอง MD เมื่อใด

คลัสเตอร์การคำนวณ Amazon EC2 มีค่าใช้จ่ายประมาณ$ 800 - $ 1,000 (ขึ้นอยู่กับวัฏจักรหน้าที่) ต่อคอร์ CPU จริงในระยะเวลา 3 ปี ในการซื้อฮาร์ดแวร์รอบสุดท้ายของเราห้องปฏิบัติการของฉันได้รับ 48 คอร์มูลค่าของฮาร์ดแวร์คล้ายกับคลัสเตอร์ของ Amazon ราคาประมาณ $ 300 ต่อแกน

ฉันทำอะไรบางอย่างหายไปหรือเปล่า มีสถานการณ์ใดบ้างไหมที่เหมาะสมที่จะสร้างคลัสเตอร์ในคลาวด์สำหรับงานซีพียูระดับสูงเช่นการจำลองพลวัตของโมเลกุล? หรือฉันมักจะดีกว่าแค่สร้างและเลี้ยงลูกด้วยตนเองที่เครื่องแดงด้วยตัวเอง?

(ฉันควรพูดถึงว่าห้องปฏิบัติการของฉันไม่ได้จ่ายค่าไฟฟ้าในห้องเซิร์ฟเวอร์ของเรา (อย่างน้อยก็ไม่ได้โดยตรง) แต่ถึงแม้จะมีประโยชน์นี้อเมซอนก็ยังมีราคาแพงมาก)

ข้อได้เปรียบหลักในความคิดของฉันในการใช้ทรัพยากรบนคลาวด์คือความยืดหยุ่นเช่นหากคุณมีปริมาณงานที่ผันผวนคุณจะจ่ายเฉพาะสิ่งที่คุณต้องการ

หากนี่ไม่ใช่กรณีในใบสมัครของคุณนั่นคือคุณรู้ว่าคุณจะมีปริมาณงานที่ต้องทำเชิงปริมาณและคงที่คุณอาจต้องสร้างคลัสเตอร์ของคุณเอง ในคลาวด์คุณจ่ายเพื่อความยืดหยุ่นและหากคุณไม่ต้องการความยืดหยุ่นคุณจะต้องจ่ายเงินสำหรับบางสิ่งที่คุณไม่ต้องการ

หากภาระงานของคุณมีความยืดหยุ่น แต่ค่อนข้างเข้มข้นและอาศัยคุณสมบัติฮาร์ดแวร์บางอย่าง (ดูคำตอบของ aeismail) คุณอาจต้องการลองแชร์คลัสเตอร์กับคนอื่น ๆ ในมหาวิทยาลัยของคุณเพื่อตัดรอบการใช้งาน มหาวิทยาลัยเก่าของฉันดำเนินการคลัสเตอร์แบบแบ่งใช้ที่มี "รูปแบบผู้ถือหุ้น" ซึ่งทุกกลุ่มรับประกันว่าส่วนแบ่งของพลังการคำนวณตามสัดส่วนการลงทุนของพวกเขาในฮาร์ดแวร์และรอบที่ไม่ได้ใช้งานสามารถนำไปใช้ได้ทุกคน ปัญหาเดียวคือการรวมศูนย์การบริหารคลัสเตอร์

มีบางอย่างที่ต้องกังวลเมื่อทำการคำนวณแบบคลาวด์ด้วย MD ตัวอย่างเช่นคุณต้องกังวลเกี่ยวกับรูปแบบทางกายภาพของโปรเซสเซอร์ในเซิร์ฟเวอร์ฟาร์มที่งานเหล่านี้จะทำงาน เหตุผลก็คือขึ้นอยู่กับขนาดของแบบจำลองของคุณและชนิดของการคำนวณที่คุณใช้ (ตัวอย่างเช่นระบบที่มี electrostatics) คุณอาจต้องพึ่งพา FFT อย่างมากและผลักอิเล็กตรอนไปยังโปรเซสเซอร์ที่แตกต่างกันในคลัสเตอร์ขนาดยักษ์ อาจกลายเป็นส่วนที่ใช้เวลานานในการคำนวณรวม

นอกจากนี้สำหรับบางสิ่งบางอย่างที่เน้นข้อมูลเป็น MD คุณจะต้องแน่ใจว่าคุณมีการอัปโหลดและดาวน์โหลดการเชื่อมต่อไปยังเซิร์ฟเวอร์อย่างรวดเร็วรวมถึงข้อ จำกัด ที่สมเหตุสมผลในการจัดเก็บข้อมูล ไม่เช่นนั้นการประหยัดต้นทุนจำนวนมากอาจทำให้สูญเสียประสิทธิภาพและค่าใช้จ่ายในการจัดเก็บ

สำหรับสิ่งที่คุ้มค่าสถาบันของเราเพิ่งซื้อประมาณ 240 คอร์สำหรับกลุ่มในพื้นที่ของเราในราคาต่ำกว่า 500 ยูโรต่อแกน ค่าใช้จ่ายนั้นรวมถึงการโฮสต์และการบริหารรวมถึงบริการในมหาวิทยาลัยของเราเป็นเวลาสี่ปี บนพื้นฐานรายปีที่ดูเหมือนว่าราคาถูกขัน ฉันคิดว่าอาจเป็นสิ่งที่ดีที่สุดของทั้งสองโลก - การเข้าถึงในท้องถิ่น แต่ได้รับการดูแลอย่างมืออาชีพโดยไม่จำเป็นต้องมีทีมไอทีของเราเอง

ฉันไม่มีประสบการณ์โดยตรงกับบริการคลาวด์เช่น EC2 ของ Amazon แต่ค่าใช้จ่ายจริงต่อคอร์มีแนวโน้มมากกว่าที่คุณอ้างถึง: มันเป็นค่าใช้จ่ายในการซื้อครั้งแรก, ไฟฟ้า, การระบายความร้อน, พื้นที่ในอาคาร, ฮาร์ดแวร์ทดแทน บวกกับค่าใช้จ่ายในการจัดการ: ตั้งค่าระบบปฏิบัติการและบริการคลัสเตอร์ทำให้ระบบปฏิบัติการทันสมัยแก้ไขปัญหาคิว ฯลฯ ฉันจะไม่แปลกใจเลยถ้าผลรวมทั้งหมดนี้เป็นสองเท่าของค่าใช้จ่ายในการซื้อครั้งแรก แน่นอนว่าคุณจะได้รับความยืดหยุ่น

สำหรับฉันแล้วโมเดลจะลดลง: ถ้าคุณมีคลัสเตอร์ขนาดใหญ่จริง ๆ (1,000 คอร์หรือมากกว่านั้น) จากนั้นคุณสามารถชดเชยเวลาทำงานซ่อมและดูแลระบบได้เพราะมีงานมากพอที่จะทำให้งานยุ่ง หากคุณมีกลุ่มเล็ก ๆ ที่ไม่คุ้มค่าที่จะมีคนที่ทุ่มเททำมันก็เป็นไปได้ที่คุณจะทำให้ใครบางคนทำมันด้วยงานแรกที่ต้องทำวิทยาศาสตร์และในกรณีนี้เวลาของเขาคนนี้จะถูกใช้ในงานธุรการระดับต่ำ นี่คือที่บริการตามความต้องการเช่นเซิร์ฟเวอร์เมฆส่องแสง

ในฐานะที่เป็นส่วนเสริมของคำตอบที่ยอดเยี่ยมบางข้อมีปัจจัยอีกข้อที่ควรพิจารณา:

• โดยไม่คำนึงถึงค่าใช้จ่ายคุณจะจ่ายอย่างไร

ฉันพบจำนวนเงินช่วยเหลือที่ไม่สำคัญไม่ว่าในกรณีใดก็ตามจะต้องจ่ายค่าใช้จ่ายด้านฮาร์ดแวร์ แต่จะจ่ายสำหรับเวลาในการคำนวณในบางสิ่งเช่น EC2 ดังนั้นภายใต้สถานการณ์การระดมทุนบางอย่างในขณะที่คุณอาจจะสามารถระดมทุนคลัสเตอร์ "testbed" ขนาดเล็กที่มีเงินทุนที่ไม่มีโครงสร้างหรือแพ็คเกจเริ่มต้นของห้องปฏิบัติการสำหรับโครงการขนาดใหญ่มันอาจเป็นวิธีเดียวที่จะได้รับเงินทุนในการคำนวณ

พิจารณา NIH:

บริการ ADP / คอมพิวเตอร์: บริการที่คุณรวมไว้ที่นี่ควรเป็นการวิจัยบริการคอมพิวเตอร์เฉพาะเช่นการจองเวลาประมวลผลบนซูเปอร์คอมพิวเตอร์หรือรับซอฟต์แวร์พิเศษเพื่อช่วยในการเรียกใช้สถิติของคุณ ส่วนนี้ไม่ควรรวมคอมพิวเตอร์เดสก์ท็อปมาตรฐานของคุณแล็ปท็อปหรือการสนับสนุนเทคโนโลยีมาตรฐานที่สถาบันของคุณให้ไว้ ค่าใช้จ่ายประเภทนั้นควรมาจากค่าใช้จ่าย F & A

ในขณะที่เป็นไปได้ที่จะวางเครื่องคลัสเตอร์ลงภายใต้หัวข้ออุปกรณ์ $ 5,000 และคุณสามารถสร้างข้อโต้แย้งที่ดีได้ฉันพบผู้ตรวจสอบทั้งสองคนที่ใจร้ายเกี่ยวกับเรื่องนี้และมหาวิทยาลัยที่ลังเลเกี่ยวกับค่าใช้จ่ายในการดูแลรักษา ระบบ.

เงินช่วยเหลือบางอย่างเข้มงวดยิ่งขึ้น หนึ่งทุนที่ฉันได้อ่านมีดังนี้:

เงินทุนอาจไม่สามารถใช้กับฮาร์ดแวร์คอมพิวเตอร์

บ่อยครั้งที่ง่ายที่จะได้รับคลัสเตอร์ที่จ่ายโดยค่าใช้จ่ายโดยตรงหากใช้ EC2 หรือหนึ่งในอะนาล็อกมากกว่าการซื้อฮาร์ดแวร์โดยเฉพาะอย่างยิ่งหากองค์กรของคุณตระหนี่กับต้นทุนทางอ้อม นี่อาจไม่ใช่กรณีของคุณ แต่เป็นกรณีสำหรับบางคน

พระเจ้ามีคำตอบมากมายอยู่แล้ว ฉันแค่ต้องการเพิ่มจุดเล็ก ๆ สองจุด

1. ) ฉันรู้ว่า IBM กำลังเสนอสิ่งที่คล้ายกัน ดังนั้นขึ้นอยู่กับใบสมัครของคุณมันอาจจะคุ้มค่าที่จะเปรียบเทียบข้อเสนอที่แตกต่างกัน ไม่เพียง แต่เกี่ยวกับค่าใช้จ่าย แต่ยังรวมถึงอุปกรณ์

2. ) แน่นอนห้องปฏิบัติการส่วนใหญ่มีขนาดเล็กเกินไปที่จะลงทุนในคลัสเตอร์ของตนเอง ดังนั้นคำถามคือว่ามันเป็นไปไม่ได้ที่จะรวบรวมหลายแล็บด้วยกันและลงทุนในคลัสเตอร์ที่แชร์ระหว่างแล็บที่แตกต่างกัน สิ่งนี้มีนอกเหนือจากผลที่ได้จากการแบ่งปันต้นทุนที่ชัดเจนรวมถึงข้อดีของการกระจายโหลดที่สม่ำเสมอยิ่งขึ้น