คำถามติดแท็ก hardware

แรงผลักดันที่อยู่เบื้องหลังการเปลี่ยนศตวรรษที่ยี่สิบจากอนาล็อกเป็นวงจรดิจิตอลขับเคลื่อนด้วยความต้องการความแม่นยำและเสียงรบกวนที่ต่ำกว่า ตอนนี้เรากำลังพัฒนาซอฟต์แวร์ซึ่งผลลัพธ์เป็นค่าประมาณและเสียงรบกวนมีค่าเป็นบวก ในเครือข่ายประดิษฐ์เราใช้การไล่ระดับสี (จาโคเบียน) หรือแบบจำลองระดับที่สอง (Hessian) เพื่อประเมินขั้นตอนถัดไปในอัลกอริธึมคอนเวอร์เจนซ์และกำหนดระดับที่ไม่ถูกต้องและสงสัย 1 ในกลยุทธ์การคอนเวอร์เจนซ์เราจงใจเพิ่มเสียงรบกวนโดยการฉีดการรบกวนแบบสุ่มหรือการหลอกแบบสุ่มเพื่อปรับปรุงความน่าเชื่อถือโดยการกระโดดข้ามมินิมาในพื้นที่ผิวการปรับให้เหมาะสมระหว่างการคอนเวอร์เจนซ์ 2 สิ่งที่เรายอมรับและแนะนำโดยเจตนาในระบบ AI ปัจจุบันคือสิ่งเดียวกันกับที่ผลักอิเล็กทรอนิกส์ไปสู่วงจรดิจิตอล ทำไมไม่กลับไปใช้วงจรอะนาล็อกสำหรับอวนประสาทและนำไปใช้กับเมทริกซ์แอมพลิฟายเออร์แทนเมทริกซ์ขององค์ประกอบการประมวลผลสัญญาณดิจิตอล ค่าของพารามิเตอร์การเรียนรู้เครือข่ายประดิษฐ์สามารถคงไว้ได้โดยใช้ตัวเก็บประจุแบบรวมที่ชาร์จผ่านตัวแปลง D-to-A ซึ่งรัฐที่เรียนรู้จะได้รับประโยชน์จากความแม่นยำแบบดิจิตอลและความสะดวกสบายในขณะเดียวกัน ความเร็วที่มากกว่า3 คำสั่งของขนาดทรานซิสเตอร์น้อยลงเพื่อแสดงเซลล์เครือข่าย เสียงความร้อนตามธรรมชาติ4 บทความวิชาการหรือการค้นหาสิทธิบัตรสำหรับเครือข่ายประดิษฐ์แบบอะนาล็อกเผยให้เห็นงานจำนวนมากในช่วงสี่สิบปีที่ผ่านมาและแนวโน้มการวิจัยได้รับการปรับปรุง วงจรอนาล็อกเชิงคำนวณได้รับการพัฒนามาอย่างดีและให้พื้นฐานสำหรับอาร์เรย์ประสาท ความลุ่มหลงในปัจจุบันด้วยการคำนวณแบบดิจิตอลอาจทำให้มุมมองทั่วไปของตัวเลือกสถาปัตยกรรม AI สับสนหรือไม่? ไฮบริดแอนะล็อกเป็นสถาปัตยกรรมที่เหนือกว่าสำหรับเครือข่ายประดิษฐ์หรือไม่? เชิงอรรถ [1] PAC (อาจจะถูกต้องโดยประมาณ) การเรียนรู้กรอบเกี่ยวข้องกับข้อผิดพลาดที่ยอมรับεε\epsilonและไม่ต้องสงสัยยอมรับδδ\deltaขนาดตัวอย่างที่จำเป็นสำหรับการเรียนรู้สำหรับประเภทรูปแบบเฉพาะ (โปรดทราบว่า1 - ϵ1-ε1 - \epsilonหมายถึงความถูกต้องและ1 - δ1-δ1 - \deltaหมายถึงความมั่นใจในกรอบนี้) [2] Stochastic gradient descent จะแสดงขึ้นเมื่อมีการใช้กลยุทธ์ที่เหมาะสมและใช้พารามิเตอร์มากเกินไปเพื่อรวมเข้าด้วยกันอย่างรวดเร็วยิ่งขึ้นในระหว่างการเรียนรู้ [3] โปรเซสเซอร์ Intel Core i9-7960X …

18 machine-learning  hardware  neuromorphic-engineering  analog-computing  spiking-networks 

ฉันได้ฟังการพูดคุยโดยคณะผู้อภิปรายประกอบด้วยนักวิทยาศาสตร์ชาวจีนผู้มีอิทธิพลสองคน ได้แก่Wang GangและYu Kaiและคนอื่น ๆ เมื่อถูกถามเกี่ยวกับคอขวดที่ใหญ่ที่สุดของการพัฒนาปัญญาประดิษฐ์ในอนาคตอันใกล้ (3 ถึง 5 ปี) Yu Kai ผู้มีพื้นฐานในอุตสาหกรรมฮาร์ดแวร์กล่าวว่าฮาร์ดแวร์จะเป็นปัญหาที่สำคัญและเราควรจ่ายให้มากที่สุด เราใส่ใจต่อสิ่งนั้น เขาให้เราสองตัวอย่าง: ในช่วงแรกของการพัฒนาคอมพิวเตอร์เราเปรียบเทียบเครื่องของเรากับชิป ปัญญาประดิษฐ์ที่ได้รับความนิยมอย่างมากในปีนี้แทบจะเป็นไปไม่ได้เลยหากไม่ได้รับการเสริมประสิทธิภาพจาก GPU ของ Nvidia อัลกอริธึมพื้นฐานมีอยู่แล้วในทศวรรษ 1980 และ 1990 แต่ปัญญาประดิษฐ์นั้นผ่านฤดูหนาว 3 AI และไม่ได้เกิดขึ้นจริงจนกว่าเราจะสามารถฝึกอบรมโมเดลด้วย GPU ขนาดใหญ่ที่เพิ่มประสิทธิภาพเซิร์ฟเวอร์ จากนั้นดร. วังแสดงความคิดเห็นต่อความคิดเห็นของเขาว่าเราควรพัฒนาระบบซอฟต์แวร์เพราะเราไม่สามารถสร้างรถยนต์อัตโนมัติได้แม้ว่าเราจะรวม GPU และการคำนวณทั้งหมดในโลกเข้าด้วยกัน จากนั้นตามปกติจิตใจของฉันก็เริ่มเลือนหายไปและฉันก็เริ่มคิดว่าจะเกิดอะไรขึ้นถ้าคนที่สามารถทำงานซูเปอร์คอมพิวเตอร์ในช่วงปี 1980 และ 1990 นั้นใช้อัลกอริธึมโครงข่ายประสาทเทียมที่มีอยู่ในปัจจุบัน บางคนในเวลานั้นสามารถพยายามสร้างระบบ AI ที่เรากำลังสร้างได้อย่างชัดเจน แต่ทำไม AI ถึงกลายเป็นประเด็นร้อนแรงและกลายเป็นประจักษ์พยานจนกระทั่งหลายทศวรรษต่อมา มันเป็นเพียงเรื่องของฮาร์ดแวร์ซอฟต์แวร์และข้อมูลหรือไม่?

11 history  hardware  software-development 

เราสามารถอ่านในหน้า Wikipediaว่า Google สร้างชิป ASIC แบบกำหนดเองสำหรับการเรียนรู้ของเครื่องและปรับแต่งสำหรับ TensorFlow ซึ่งช่วยเร่ง AI เนื่องจากชิป ASIC ได้รับการปรับแต่งเป็นพิเศษสำหรับการใช้งานเพียงอย่างเดียวโดยไม่สามารถเปลี่ยนวงจรได้จึงต้องมีอัลกอริทึมคงที่ซึ่งถูกเรียกใช้ ดังนั้นการเร่งความเร็วของ AI โดยใช้ชิป ASIC ทำงานอย่างไรถ้าอัลกอริทึมไม่สามารถเปลี่ยนแปลงได้? ส่วนไหนของการเร่งความเร็ว

9 neural-networks  machine-learning  hardware  neuromorphic-engineering