ค่าใช้จ่ายในการสื่อสารในซูเปอร์คอมพิวเตอร์

ฉันกำลังมองหาแหล่งอ้างอิงที่น่าเชื่อถือระบุว่าซูเปอร์คอมพิวเตอร์ใช้ทรัพยากรในการประสานงานกับงานที่เกี่ยวข้องกับงานจริงมากเพียงใด ทรัพยากรอาจเป็นพลังการประมวลผลที่ใช้ได้ แต่แม้แต่ Watts ก็ดูเหมือนหน่วยที่ใช้ได้

ฉันเชื่อว่าหนึ่งในอาจารย์หรือหนังสือของฉันเคยกล่าวไว้ว่าในระบบคู่ขนานขนาดใหญ่พลังการประมวลผลที่มีอยู่มากถึงครึ่งหนึ่งใช้ในการประสานงานและการส่งข้อความ น่าเสียดายที่ฉันไม่สามารถหาข้อมูลอ้างอิงนี้หรือเนื้อหาอื่น ๆ เกี่ยวกับสัดส่วนนี้

ฉันรู้ว่าสิ่งนี้จะแตกต่างกันมากขึ้นอยู่กับสถาปัตยกรรมซูเปอร์คอมพิวเตอร์และการนำไปใช้งานที่ทันสมัยอาจมีประสิทธิภาพมากขึ้นในเรื่องนี้ดังนั้นภาพรวมของการวัดนี้ในสถาปัตยกรรมหรือวิวัฒนาการหลาย ๆ อย่าง (ก่อนและหลังฮาร์ดแวร์ส่งข้อความเฉพาะ)

เกณฑ์มาตรฐานที่ชื่นชอบมายาวนานในการคำนวณประสิทธิภาพสูงคือเกณฑ์มาตรฐาน HPLinpack ซึ่งวัดความเร็วของระบบคอมพิวเตอร์ในการทำงานของจุดลอยตัวต่อวินาทีในขณะที่การแก้ระบบสมการเชิงเส้นที่มีขนาดใหญ่และหนาแน่นมาก สันนิษฐานว่าเป็นทางออก$2/3n^{3}+2n^{2}$ การดำเนินการจุดลอยตัวและเครื่องทดสอบได้รับอนุญาตให้เปลี่ยนแปลง $n$ เพื่อให้ได้ประสิทธิภาพสูงสุด

มาตรการมาตรฐานประกอบด้วย RPEAK (จำนวนสูงสุดของทฤษฏีการปฏิบัติการจุดลอยตัวต่อวินาทีสำหรับระบบ) และ RMAX (จำนวนการดำเนินการต่อวินาทีที่ทำได้สูงสุดในเกณฑ์มาตรฐาน HPLinpack)

เป็นเรื่องปกติที่ RPEAK จะเป็นส่วนสำคัญอย่างมากของ RMAX ซึ่งแสดงให้เห็นว่างานมาตรฐานนี้ซูเปอร์คอมพิวเตอร์ในปัจจุบันสามารถบรรลุผลการปฏิบัติงานสูงสุดตามทฤษฎีได้ ตัวอย่างเช่นในการจัดอันดับซูเปอร์คอมพิวเตอร์ TOP500 พฤศจิกายน 2558 เครื่องที่เร็วที่สุดคือ Tianhe-2 มี RPEAK = 54.902 petaflops และ RMAX = 33.863 petaflops

อย่างไรก็ตามมาตรฐาน HPLinpack ถูกมองอย่างกว้างขวางว่าไม่ได้เป็นตัวแทนของภาระงานปัจจุบัน โดยทั่วไปผลลัพธ์ของ HPlinpack จะทำให้เกินประสิทธิภาพของซูเปอร์คอมพิวเตอร์ในแอปพลิเคชันจริงโดยปัจจัยขนาดใหญ่

มาตรฐานใหม่ที่เรียกว่า HPCG อยู่ระหว่างการพัฒนา เบนช์มาร์กนี้เกี่ยวข้องกับการดำเนินการที่ดำเนินการโดยทั่วไปในวิธีการวนซ้ำสำหรับการแก้ปัญหาของระบบสมการกระจัดกระจายขนาดใหญ่ที่เกิดจาก PDE ที่แยกส่วน ปริมาณงานนี้ท้าทายยิ่งกว่าสำหรับคอมพิวเตอร์ประสิทธิภาพสูง นอกจากนี้ยังเป็นตัวแทนของสิ่งที่ซูเปอร์คอมพิวเตอร์ใช้ในทางปฏิบัติ

ผลลัพธ์เบื้องต้นจาก HPCG กำลังมาที่ RPEAK น้อยกว่า 5% ตัวอย่างเช่น Tianhe-2 มี RPEAK = 54.902 petaflops และ HPCG ที่ 0.58 petaflops (ดูการอ้างอิงด้านล่างเพื่องานนำเสนอบน HPCG)

การเปรียบเทียบ TOP500 HPLinpack สามารถพบได้ที่:

http://www.top500.org/

งานนำเสนอเกี่ยวกับ HPCG สามารถดูได้ที่:

http://www.hpcg-benchmark.org/downloads/isc15/HPCG-ISC15-FINAL-SLIDES_update1.pdf

เว็บไซต์ของ HPCG อยู่ที่

http://www.hpcg-benchmark.org/

คำตอบที่ซื่อสัตย์คือเราไม่รู้ คำตอบนั้นขึ้นอยู่กับสิ่งที่กำลังใช้งานจริงและรหัสที่ผู้ใช้เขียน เมื่อไบรอันบอร์เชอร์ชี้ให้เห็นมีความแตกต่างอย่างมากระหว่างสองมาตรฐานที่เรามีรหัสทั้งหมดและควรรู้ว่ารหัสนั้นกำลังทำอะไรอยู่ หากไม่มีการวิเคราะห์ซอร์สโค้ดอย่างละเอียดและการใช้รหัสจริงจำนวนมากบนเครื่องจริงการค้นหาอัตราส่วนนี้จะไม่เป็นไปไม่ได้ มีบางโครงการที่เริ่มรวบรวมข้อมูลที่อาจทำให้ชุมชนใกล้เคียงกับการตอบคำถามนี้ได้ แต่มันก็ไม่ได้ถูกตัดสินทั้งหมด

ความจริงแล้วคำถามยังไม่ชัดเจนนัก หากการ์ดการสื่อสารของโหนดคลัสเตอร์มีตัวประมวลผลซึ่งสามารถใช้สำหรับการสื่อสารได้เท่านั้นคุณจะนับเวลาที่การ์ดนี้ใช้งานโดยไม่มีการจัดการการสื่อสาร (หรือสิ่งอื่นใด) ได้อย่างไร นั่นคืออะไร "พลังการประมวลผลที่มีอยู่" เรานับโปรแกรมที่เขียนไม่ดีซึ่งมีการคำนวณและการสื่อสารที่ไม่ได้เพิ่มประสิทธิภาพเช่นเดียวกับการเพิ่มประสิทธิภาพหรือไม่? จะเกิดอะไรขึ้นถ้ามีคนใช้รูปแบบการต่อต้านที่รู้จักกันในรหัสของพวกเขาซึ่งจงใจใช้ซีพียูน้อยเกินไป? สิ่งที่เกี่ยวกับโปรแกรมคู่ขนานที่น่าละอายที่ไม่ได้สื่อสารเลย (ฉันจะทำสัญญากับซูเปอร์คอมพิวเตอร์)

ฉันจะไม่เสียเวลากับการพยายามหาข้อสังเกตเชิงปริมาณในหนังสือหรือจากอาจารย์ของคุณ ข้อความเหล่านี้มีไว้เพื่อเตือนเราว่าการเขียนโปรแกรมแบบขนานนั้นยากและโดยทั่วไปแล้วจะไม่ดี ซูเปอร์คอมพิวเตอร์ยังไม่ได้ออกแบบมาอย่างสมบูรณ์เพื่อกำจัดหรือเพิ่มประสิทธิภาพของเสียทั้งหมด