ประสิทธิภาพพลังงานของสมองมนุษย์กับเครือข่ายประสาท

เครือข่ายประสาทเทียมขนาดใหญ่ที่เราสามารถใช้งานได้ในขณะนี้ (ไม่ว่าจะเป็นวงจรเต็มรูปแบบรถไฟกลับหรือประเมินผลเครือข่าย) หากงบประมาณพลังงานทั้งหมดของเราสำหรับการคำนวณเทียบเท่ากับงบประมาณพลังงานสมองของมนุษย์ ( 12.6 วัตต์ )

อนุญาตถือว่าหนึ่งรอบต่อวินาทีซึ่งดูเหมือนว่าจะประมาณตรงกับอัตราการยิงของเซลล์ประสาทชีววิทยา

neural-networks human-like

— liori
แหล่งที่มา

ฉันจะถามคำถามนี้ ฉันมีความสุขที่คนอื่นทำไปแล้ว :)

— Eka

นิวรอนเทียมจำนวน 126 ล้านเซลล์ที่ 12.6 วัตต์โดย True North ของ IBM

ย้อนกลับไปในปี 2014 ชิปTrue North ของไอบีเอ็มได้ผลักดันเซลล์ประสาท 1 ล้านเซลล์ที่น้อยกว่า 100mW

นั่นคือเซลล์ประสาทเทียมประมาณ 126 ล้านเซลล์ที่ 12.6 วัตต์

เมาส์มี 70 ล้านเซลล์ประสาท

ไอบีเอ็มเชื่อว่าพวกเขาสามารถสร้างเมนเฟรมทรูนอร์เมนสมองของมนุษย์ได้ด้วยสมองเพียง 4kW

เมื่อทรานซิสเตอร์ 3 มิติออกสู่ตลาดแล้วฉันคิดว่าเราจะจับสมองของสัตว์ได้เร็วขึ้น

— Doxosophoi
แหล่งที่มา

> นั่นคือเซลล์ประสาทเทียมประมาณ 126 ล้านเซลล์ที่ 12.6 วัตต์ > เมาส์มีเซลล์ประสาท 70 ล้านเส้น ปัญหาคือเราไม่ทราบว่าเซลล์ประสาท "ประดิษฐ์" เพียงเซลล์เดียวนั้นมีค่าเทียบเท่ากับเซลล์ประสาทชีวภาพจริงๆหรือไม่

— mindcrime

นอกเหนือจาก mindcrime โปรดจำไว้ว่าเป็นเวลาประมาณ 60 ปีที่นักประสาทวิทยา / นักวิจัยด้าน AI ประเมินค่ากำลังการประมวลผลของสมองมนุษย์ไม่ดี ฉันเห็นการคาดคะเนในช่วงต้นโดยชื่อใหญ่ที่จิตใจของเราสามารถเก็บได้เพียงไม่กี่ 100 MB! เรายังไม่ได้คำนึงถึงปัจจัยต่าง ๆ เช่นความลึกของบิตสถาปัตยกรรมที่เหมาะสมสถานะควอนตัมที่เป็นไปได้ในเซลล์สมอง ฯลฯ IBM อาจสร้างโครงข่ายประสาทเซลล์ประสาท 70 ล้านนิวรอนที่มีประสิทธิภาพด้านพลังงานซึ่งไม่สามารถประมาณพฤติกรรมของปรสิตของเมาส์ . นักวิจัย AI ได้ในอดีตมักจะเกินความสามารถที่ไม่ดีของตัวเอง

— SQLServerSteve

แน่นอนลืมเกี่ยวกับชิป IBM ฉันไม่ได้คำนึงถึงพวกเขาเมื่อเขียนคำถามเนื่องจากมีคำวิจารณ์ที่รู้จักกันในประสิทธิภาพของพวกเขา (ดูเช่นfacebook.com/yann.lecun/posts/10152184295832143 ) แม้ว่าในทางเทคนิคแล้วพวกเขายังคงใช้โครงข่ายประสาทเทียมดังนั้น +1 จากฉัน

— liori

@mindcrime & SQLServerSteve ดีคำถามอาจได้รับเฉพาะเกี่ยวกับวานิลลาฟีดไปข้างหน้า ANNs ทำงานบนฮาร์ดแวร์สต็อก นั่นไม่ใช่ความประทับใจที่ฉันได้รับจากคำถาม

— Doxosophoi

และดูเหมือนว่าจะไม่เกี่ยวกับเครือข่ายประสาทเทียมที่ยังไม่ได้จินตนาการ

— Doxosophoi

หากคุณ จำกัด ตัวเองไว้ที่ 12.6 วัตต์คุณจะไม่ได้ทำอะไรมากมาย เพียงแค่ค้นหาการใช้พลังงานสำหรับ GPU ที่ทันสมัยดูที่เครือข่ายขนาดที่คนกำลังฝึกฝนอยู่จากนั้นลดขนาดลง สำหรับการอ้างอิงที่ทันสมัยของ GPU ปรากฏว่าใช้ระหว่าง 52-309 วัตต์ภายใต้การใช้งานหนัก

ประสิทธิภาพการใช้พลังงานอย่างชัดเจนเป็นหนึ่งในพื้นที่ที่สมองของมนุษย์ยังคงเป็นหัวหน้าของ ANN

— Mindcrime
แหล่งที่มา