ทำไม ML จึงสามารถใช้งานได้หลังจากที่ชิปของ Nvidia มีวางจำหน่ายแล้วเท่านั้น?

ฉันได้ฟังการพูดคุยโดยคณะผู้อภิปรายประกอบด้วยนักวิทยาศาสตร์ชาวจีนผู้มีอิทธิพลสองคน ได้แก่Wang GangและYu Kaiและคนอื่น ๆ

เมื่อถูกถามเกี่ยวกับคอขวดที่ใหญ่ที่สุดของการพัฒนาปัญญาประดิษฐ์ในอนาคตอันใกล้ (3 ถึง 5 ปี) Yu Kai ผู้มีพื้นฐานในอุตสาหกรรมฮาร์ดแวร์กล่าวว่าฮาร์ดแวร์จะเป็นปัญหาที่สำคัญและเราควรจ่ายให้มากที่สุด เราใส่ใจต่อสิ่งนั้น เขาให้เราสองตัวอย่าง:

1. ในช่วงแรกของการพัฒนาคอมพิวเตอร์เราเปรียบเทียบเครื่องของเรากับชิป
2. ปัญญาประดิษฐ์ที่ได้รับความนิยมอย่างมากในปีนี้แทบจะเป็นไปไม่ได้เลยหากไม่ได้รับการเสริมประสิทธิภาพจาก GPU ของ Nvidia

อัลกอริธึมพื้นฐานมีอยู่แล้วในทศวรรษ 1980 และ 1990 แต่ปัญญาประดิษฐ์นั้นผ่านฤดูหนาว 3 AI และไม่ได้เกิดขึ้นจริงจนกว่าเราจะสามารถฝึกอบรมโมเดลด้วย GPU ขนาดใหญ่ที่เพิ่มประสิทธิภาพเซิร์ฟเวอร์

จากนั้นดร. วังแสดงความคิดเห็นต่อความคิดเห็นของเขาว่าเราควรพัฒนาระบบซอฟต์แวร์เพราะเราไม่สามารถสร้างรถยนต์อัตโนมัติได้แม้ว่าเราจะรวม GPU และการคำนวณทั้งหมดในโลกเข้าด้วยกัน

จากนั้นตามปกติจิตใจของฉันก็เริ่มเลือนหายไปและฉันก็เริ่มคิดว่าจะเกิดอะไรขึ้นถ้าคนที่สามารถทำงานซูเปอร์คอมพิวเตอร์ในช่วงปี 1980 และ 1990 นั้นใช้อัลกอริธึมโครงข่ายประสาทเทียมที่มีอยู่ในปัจจุบัน บางคนในเวลานั้นสามารถพยายามสร้างระบบ AI ที่เรากำลังสร้างได้อย่างชัดเจน แต่ทำไม AI ถึงกลายเป็นประเด็นร้อนแรงและกลายเป็นประจักษ์พยานจนกระทั่งหลายทศวรรษต่อมา มันเป็นเพียงเรื่องของฮาร์ดแวร์ซอฟต์แวร์และข้อมูลหรือไม่?

มีหลายปัจจัยที่ทำให้อุตสาหกรรม AI เติบโตอย่างรวดเร็ว สิ่งที่หลายคนคิดถึงว่าบูมเป็นส่วนหนึ่งในการเรียนรู้ของ Machine of AI สิ่งนี้อาจเกิดจากเหตุผลง่ายๆหลายประการพร้อมกับการเปรียบเทียบในช่วงเวลาก่อนหน้า:

• คณิตศาสตร์ : คณิตศาสตร์ที่อยู่เบื้องหลังอัลกอริธึม ML นั้นค่อนข้างเรียบง่ายและเป็นที่รู้จักกันมานาน (ไม่ว่ามันจะทำงานหรือไม่ก็ไม่รู้) ในช่วงเวลาก่อนหน้านี้เป็นไปไม่ได้ที่จะใช้อัลกอริทึมที่ต้องการความแม่นยำสูงของตัวเลขในการคำนวณบนชิปในระยะเวลาที่ยอมรับได้ หนึ่งในส่วนการดำเนินการทางคณิตศาสตร์ที่สำคัญของตัวเลขยังคงใช้เวลามากในโปรเซสเซอร์ที่ทันสมัย โปรเซสเซอร์รุ่นเก่านั้นมีขนาดที่ช้ากว่าโปรเซสเซอร์รุ่นใหม่ (มากกว่า 100 เท่า) คอขวดนี้ทำให้ไม่สามารถฝึกอบรมโมเดลที่ซับซ้อนของโปรเซสเซอร์ร่วมสมัยได้
• $1$$0$
• การขนาน : แนวคิดของการทำขนานของเมทริกซ์นั้นไม่มีอะไรใหม่ มันเป็นเพียงเมื่อเราเริ่มเห็นการเรียนรู้ลึกเป็นเพียงชุดของการดำเนินการของเมทริกซ์ที่เรารู้ว่ามันสามารถทำให้ขนานได้อย่างง่ายดายบนขนานใหญ่ของ GPU แต่ถ้าอัลกอริทึม ML ของคุณไม่ขนานขนานโดยเนื้อแท้ เช่น RNN's)
• ข้อมูล : อาจเป็นสาเหตุที่ใหญ่ที่สุดใน ML boom อินเทอร์เน็ตได้ให้โอกาสในการรวบรวมข้อมูลจำนวนมากจากผู้ใช้และยังให้บริการแก่ผู้ที่สนใจ เนื่องจากอัลกอริทึม ML เป็นเพียงตัวประมาณฟังก์ชันตามข้อมูลดังนั้นข้อมูลจึงเป็นสิ่งที่สำคัญที่สุดในอัลกอริทึม ML ยิ่งมีข้อมูลมากเท่าไหร่ประสิทธิภาพของโมเดลของคุณก็จะยิ่งดีขึ้นเท่านั้น
• ค่าใช้จ่าย : ค่าใช้จ่ายในการฝึกอบรมโมเดล ML ลดลงอย่างมีนัยสำคัญ ดังนั้นการใช้ซุปเปอร์คอมพิวเตอร์ในการฝึกอบรมนางแบบอาจจะใช้ได้ แต่มันคุ้มหรือไม่ ซุปเปอร์คอมพิวเตอร์ซึ่งแตกต่างจากพีซีทั่วไปคือทรัพยากรหิวโหยอย่างมากในแง่ของการทำความเย็นพื้นที่และอื่น ๆบทความล่าสุดในการทบทวนเทคโนโลยีของ MIT ชี้ให้เห็นรอยเท้าคาร์บอนของการฝึกอบรมรูปแบบการเรียนรู้ลึก (สาขาย่อยของ ML) มันค่อนข้างเป็นตัวบ่งชี้ที่ดีว่าทำไมมันจึงเป็นไปไม่ได้ที่จะฝึกกับซูเปอร์คอมพิวเตอร์ในช่วงเวลาก่อนหน้า (การพิจารณาโปรเซสเซอร์ที่ทันสมัยใช้พลังงานน้อยกว่ามากและให้ความเร็วสูงกว่า) ถึงแม้ว่าฉันไม่แน่ใจ แต่ฉันคิดว่าซูเปอร์คอมพิวเตอร์ก่อนหน้านี้มีความเชี่ยวชาญใน "การคำนวณความแม่นยำสูง + ขนานมาก" (จำเป็นสำหรับสภาพอากาศดาราศาสตร์แอปพลิเคชันทางทหาร ฯลฯ ) และ "ส่วน precison ที่สูงมาก" เป็นทักษะในสถานการณ์

สิ่งสำคัญอีกอย่างหนึ่งก็คือทุกวันนี้ทุกคนสามารถเข้าถึงคอมพิวเตอร์ที่มีประสิทธิภาพได้ ดังนั้นทุกคนสามารถสร้างโมเดล ML ใหม่ฝึกอบรมโมเดลที่มีอยู่ก่อนปรับเปลี่ยนโมเดล ฯลฯ ได้ซึ่งไม่สามารถทำได้ในช่วงเวลาก่อนหน้า

ปัจจัยทั้งหมดนี้นำไปสู่ความสนใจอย่างมากใน ML และก่อให้เกิดความเจริญที่เราเห็นในปัจจุบัน ลองดูคำถามนี้เกี่ยวกับวิธีที่เราเคลื่อนไหวเหนือโปรเซสเซอร์ดิจิทัล

GPU นั้นเหมาะสำหรับ AI boom

• พวกเขาถูกเวลา

AI ได้รับการวิจัยมาเป็นเวลานาน เกือบครึ่งศตวรรษ อย่างไรก็ตามนั่นคือการสำรวจว่าอัลกอริทึมจะทำงานและดูอย่างไร เมื่อ NV เห็นว่า AI กำลังจะกลายเป็นกระแสหลักพวกเขามองไปที่ GPU ของพวกเขาและตระหนักว่าพลังการประมวลผล parellel ขนาดใหญ่พร้อมความสะดวกในการตั้งโปรแกรมที่ค่อนข้างสมบูรณ์เหมาะสำหรับยุคที่จะเป็นเช่นนั้น คนอื่นหลายคนก็ตระหนักเช่นกัน

• GPUs เป็นตัวเร่งความเร็วเอนกประสงค์

GPGPU เป็นแนวคิดของการใช้การประมวลผลแบบขนาน GPU สำหรับงานทั่วไป คุณสามารถเร่งความเร็วของกราฟิกหรือทำให้อัลกอริทึมของคุณใช้ประโยชน์จากคอร์ 1000 แกนบน GPU นั่นทำให้ GPU เป็นเป้าหมายที่ยอดเยี่ยมสำหรับกรณีการใช้งานทุกประเภทรวมถึง AI เนื่องจากพวกเขามีอยู่แล้วและไม่ยากเกินไปในการเขียนโปรแกรมตัวเลือกที่เหมาะสำหรับการเร่งอัลกอริทึม AI