CPU ทำข้อผิดพลาดในการคำนวณบ่อยแค่ไหน?

ในหมายเหตุของ Dijkstra เกี่ยวกับการเขียนโปรแกรมแบบโครงสร้างเขาพูดถึงเรื่องการพิสูจน์ได้ของโปรแกรมคอมพิวเตอร์ในฐานะหน่วยงานที่เป็นนามธรรม ในฐานะที่เป็นข้อพิสูจน์เขากล่าวว่าการทดสอบไม่เพียงพอ เช่นเขาชี้ให้เห็นความจริงที่ว่ามันเป็นไปไม่ได้ที่จะทดสอบฟังก์ชั่นการคูณ f (x, y) = x * y สำหรับค่าใด ๆ ของ x และ y ทั่วทั้งช่วงของ x และ y คำถามของฉันเกี่ยวข้องกับคนอื่น ๆ พูดถึง "ฮาร์ดแวร์หมัด" ฉันรู้ว่าเรียงความที่เขียนขึ้นในปี 1970 เมื่อคอมพิวเตอร์ฮาร์ดแวร์ก็มีความน่าเชื่อถือน้อยลง แต่คอมพิวเตอร์ยังคงไม่สมบูรณ์ดังนั้นพวกเขาจะต้องทำผิดพลาดในการคำนวณบางครั้ง ไม่มีใครรู้ว่าสิ่งนี้เกิดขึ้นบ่อยแค่ไหนหรือหากมีสถิติใด ๆ เกี่ยวกับเรื่องนี้?

ข้อผิดพลาดจริง / จริงในการออกแบบของ CPU ฉันคิดว่าคุณกำลังมองหาคำถาม SO: Cosmic Rays ความน่าจะเป็นที่จะมีผลต่อโปรแกรมคืออะไร ฉันไม่สามารถรับราคาจากมันได้เพราะ SO ถูกบล็อกอีกครั้งที่ทำงานที่นี่ ( ถอนหายใจ )

ดูเหมือนว่าฉันจะจำได้ว่ามีข้อผิดพลาดในการคำนวณ FPU บางส่วนใน Pentium ยุคต้นดังนั้นพวกเขาจึงไม่ผิดพลาดแน่นอน

ฉันไม่มีหลักฐานที่ชัดเจนในมือ แต่ไส้ของฉันบอกฉันว่าคุณน่าจะกังวลเกี่ยวกับบิตของ Cache / RAM / Disk ที่เสียหายแล้วการคำนวณนั้นไม่ถูกต้อง

ปัญหาใหญ่ในการตอบคำถามนี้ในวันนี้คือผู้ผลิต CPU ห่อ errata สำหรับชิปใน NDA (ข้อตกลงการไม่เปิดเผยข้อมูล) Intel ทำสิ่งนี้ IIRC

ผู้ผลิตที่มีความลับน้อยกว่าจำนวนมากออกการแก้ไขลงในแผ่นข้อมูล แต่ไม่ได้บอกคุณว่ามีอะไรเปลี่ยนแปลงดังนั้นถ้าคุณไม่อยากเปรียบเทียบหน้าทั้งหมด 300 หน้าคุณจะรู้สึกลำบากใจ

มีคำแนะนำที่ไม่ดีในซีพียูมากมายดูรายงานเคอร์เนลของลีนุกซ์ที่พบในการบู๊ตนั้นน่าสนใจพอสมควร

มีความเกี่ยวข้องมากคือกระดาษของ Google เกี่ยวกับข้อผิดพลาดของหน่วยความจำซึ่งเป็นเรื่องปกติมากกว่าที่คุณคิด "ข้อผิดพลาด DRAM ในป่า: การศึกษาภาคสนามขนาดใหญ่" Schoeder, Pinheiro และ Weber เผยแพร่ครั้งแรกใน ACM SIGMETRICS ในปี 2009 พิมพ์ซ้ำใน Communications of ACM ก.พ. 2011

ข้อผิดพลาดของหน่วยความจำเหล่านี้มีความหมายต่อคุณอย่างไรคือหากไม่มีหน่วยความจำ ECC คุณจะได้รับการคำนวณผิด

ย้อนกลับไปเมื่อฉันทำงานให้กับผู้จำหน่ายฮาร์ดแวร์มีการอ้างว่าไม่มี CPU ตัวใดที่เคยสร้างมาเป็นบั๊ก และนั่นเป็นเพียงข้อบกพร่องทางตรรกะ โดยปกติแล้วผู้ผลิตจะพบพวกเขาส่วนใหญ่และตอบสนองต่อชิปหรือค้นหาการตั้งค่า BIOS ที่ใช้งานได้ แต่นอกเหนือจากข้อเท็จจริงที่ว่ารังสีคอสมิกบางครั้งก็พลิกในหน่วยความจำ (และหน่วยความจำมักจะมีบิตพาริตี้หรือวงจร SECDED เพื่อบันทึกเบคอนของคุณ) มีโอกาส จำกัด ที่จะอ่านบิตไม่ถูกต้อง โปรดทราบว่าบิตไม่ใช่ศูนย์และตรรกะจริง แต่สิ่งที่มีเสียงดังเช่นแรงดันไฟฟ้าและกระแสและเสียงรบกวนที่ จำกัด ในระบบมีโอกาสที่จะอ่านบิตผิดเสมอ ในสมัยก่อน (ในฐานะโปรแกรมเมอร์แอป) ฉันพบข้อบกพร่อง HW สองสามประการ - ทั้งชนิดตรรกะที่ไม่ดีและหน่วย X ใน CPU Y บางครั้งทำให้ฉันพิมพ์ผลลัพธ์ที่ไม่ดี ถึงเวลาที่จะรับพวก HW มาแทนที่ความหลากหลายของชิป วงจรที่เกิดขึ้นจริงนั้นเบี่ยงเบนไปตามเวลาและการใช้งานและหากคุณพร้อมที่จะล้มเหลวคุณสามารถเริ่มต้นรับข้อผิดพลาดบิตโดยเฉพาะอย่างยิ่งถ้าคุณโอเวอร์คล็อกหรือเกินช่วงปฏิบัติการที่แนะนำ

มันเป็นปัญหาที่แท้จริงสำหรับการประมวลผลแบบซูเปอร์ซึ่งการคำนวณเกี่ยวข้องกับการดำเนินการทศนิยม 1e18 หรือมากกว่านั้น

เนื้อหาต่อไปนี้อาจเกี่ยวกับข้อผิดพลาดในการคำนวณใน GPU

ให้เวลาเพียงพอ Intel i7-3610QM และ Nvidia GeForce GTX 660 จะไม่เห็นด้วยกับอีกคนหนึ่งซึ่งได้รับคำแนะนำเดียวกัน (cuda 5.5, compute_20, sm_20)

ดังนั้นหนึ่งเหลือเพื่อสรุปว่าหนึ่งในสองทำให้เกิดข้อผิดพลาด

ในระหว่างการศึกษาความเป็นไปได้ของการจำลองอนุภาคความเป็นไปได้ฉันสังเกตว่าหลังจากการแปลงความแม่นยำสองพันครั้ง (การเปลี่ยนแปลงรวมถึงบาป cos การคูณการหารการบวกและการลบ) ข้อผิดพลาดเริ่มคลานเข้ามา

ฉันจะให้ข้อความที่ตัดตอนมาเล็กน้อยของคุณเพื่อเปรียบเทียบ (หมายเลขแรกคือ CPU เสมอ, GPU ตัวที่สอง)

-1.4906010142701069
-1.4906010142701074

-161011564.55005690
-161011564.55005693

-0.13829959396003652
-0.13829959396003658

-16925804.720949132
-16925804.720949136

-36.506235247679221
-36.506235247679228

-3.3870884719850887
-3.3870884719850896

(โปรดทราบว่าไม่ใช่ว่าทุกลำดับการแปลงจะทำให้เกิดข้อผิดพลาด)

ในขณะที่ข้อผิดพลาดสูงสุดเกือบเล็กน้อย(0.0000000000000401%)ก็ยังคงมีอยู่และจะนำไปสู่ข้อผิดพลาดสะสม

ตอนนี้ข้อผิดพลาดนี้อาจเกิดจากความแตกต่างในการใช้งานของหนึ่งในห้องสมุดที่แท้จริง ดูเหมือนว่า GPU ชอบที่จะปัดเศษหรือตัดส่วนที่ CPU ปัดขึ้น ด้วยความอยากรู้อยากเห็นสิ่งนี้ดูเหมือนจะเกิดขึ้นกับตัวเลขติดลบเท่านั้น

แต่ประเด็นคือคำแนะนำที่เหมือนกันนั้นไม่ได้รับประกันว่าจะให้ผลลัพธ์ที่เหมือนกันแม้แต่ในเครื่องดิจิตอล

ฉันหวังว่านี่จะช่วยได้

แก้ไขเป็นข้อผิดพลาด: ในกรณีที่มีข้อผิดพลาดทางคณิตศาสตร์ GPU นี้ (ctrl + f "GPU ตัวแรกที่สนับสนุนหน่วยความจำ ECC") อาจเป็นที่สนใจเช่นกันถึงแม้ว่าจะไม่เกี่ยวข้องกับข้อผิดพลาดข้างต้น

ในแง่ของสิ่งที่คุณพิจารณา "CPU" จริง (หน่วยการดำเนินการไปป์. .. ) มันค่อนข้างไม่เคยเกิดขึ้น มีปัญหาที่ทราบกันแล้วว่ามี Pentium รสชาติหนึ่งอยู่พักหนึ่ง แต่นั่นเป็นสิ่งเดียวที่ฉันเคยได้ยิน ตอนนี้ถ้าคุณพิจารณาชุดชิปที่สร้างไว้ในโปรเซสเซอร์หรืออย่างน้อยบรรจุภัณฑ์เดียวกันเช่นคอนโทรลเลอร์ USB, TSEC, คอนโทรลเลอร์ DMA หรือคอนโทรลเลอร์หน่วยความจำก็มีความผิดพลาดอยู่มากมาย ฉันสงสัยว่ามีข้อมูลสถิติใด ๆ เกี่ยวกับเรื่องนั้น

อีกประเด็น "ฮาร์ดแวร์หมัด" ที่จะต้องพิจารณาในบริบทนี้คือฮาร์ดแวร์จุดลอยตัวเป็น "สูญเสีย" โดยธรรมชาติ: มันมีความแม่นยำ จำกัด และมีจำนวนมากพอ (อ้างอิงกลับไปที่ข้อความอ้างอิง Dijkstra ดั้งเดิม) คุณจะไม่สามารถแยกแยะระหว่างxและหรือแม้กระทั่งx + 1 x + 1000000คุณสามารถรับไลบรารี่ของทศนิยมที่ไม่มีที่สิ้นสุดได้ แต่จะช้าและในที่สุดก็ยังถูก จำกัด โดยหน่วยความจำที่มีอยู่

ในระยะสั้น Dijkstra ทำงานในขอบเขตของทฤษฎีและฮาร์ดแวร์ / ซอฟต์แวร์จริงไม่ตรงกับอุดมคติทางทฤษฎีได้เป็นอย่างดี (โปรดจำไว้ว่า "เครื่องทัวริง" ดั้งเดิมระบุเทปกระดาษที่ไม่มีขีด จำกัด )