สิ่งที่ยืนอยู่ในทางของเครือข่ายประสาทที่ถูกใช้ในแอพพลิเคชั่น


13

เครือข่ายPulsed หรือ Spikingรวมการเปลี่ยนแปลงของเมมเบรนของเซลล์ประสาทชีวภาพมากขึ้นซึ่งพัลส์จะนำข้อมูลไปยังชั้นถัดไป เซลล์ประสาทไม่จำเป็นต้อง "ยิง" ทั้งหมดในเวลาเดียวกันเช่นเดียวกับที่ทำใน backprop

ทว่าดูเหมือนว่าจะมีอุปสรรคในการใช้โมเดลเหล่านี้สำหรับปัญหาการเรียนรู้ของเครื่อง มีปัญหาอะไรบ้างในแนวทางของผู้เรียนรู้ด้วยเครื่องจักรโดยใช้แบบจำลองที่มีความสมจริงทางชีวภาพมากกว่า

คำตอบ:


12

ปัญหาสำคัญคือไม่มีใครรู้ว่าสมองทำงานอย่างไร :)

ทฤษฎี

เท่าที่ฉันสามารถบอกได้มีสามขั้นตอนใหญ่ในการวิจัยเครือข่ายประสาท:

  1. รุ่น Perceptron (หรือ, threshold-gate) ซึ่งฟังก์ชันบูลีนใด ๆ สามารถคำนวณได้โดย perceptron หลายเลเยอร์บางตัวที่มีเลเยอร์ที่ซ่อนอยู่เดี่ยว
  2. เซลล์ประสาทรุ่น - รุ่นปรับปรุงของรุ่นก่อนหน้านี้ที่องค์ประกอบเครือข่ายใช้ฟังก์ชั่นการเปิดใช้งาน sigmoid (ชุดต่อเนื่องของ inpits และเอาท์พุทที่เป็นไปได้) พวกเขายังสามารถคำนวณฟังก์ชันบูลีนใด ๆ (หลังจากใช้ขีด จำกัด ) และนอกจากนี้สามารถประมาณฟังก์ชันต่อเนื่องใด ๆ
  3. โมเดลเซลล์ Spiking ซึ่งใช้ "การเข้ารหัสชั่วคราว" เพื่อส่งผ่านข้อมูลระหว่างองค์ประกอบเครือข่าย มันสามารถทำทุกอย่างที่รุ่นก่อนหน้าทำและมักจะทำได้ด้วยเซลล์ประสาทที่น้อยลง

โดยพื้นฐานแล้ววิวัฒนาการที่นี่คือการเข้าใกล้การทำงานของสมองของมนุษย์มากขึ้นและรุ่นสุดท้ายมีความเที่ยงตรงที่สุด

การปฏิบัติ

ดูเหมือนว่า SNN นั้นจะมีความหวังสูงและยังมีผลิตภัณฑ์SpikeNET ที่สร้างขึ้นมาจากด้านบน (ภายใต้ "สิ่งที่ SpikeNET สามารถทำได้" และ "สิ่งที่ SpikeNET ไม่สามารถทำได้" คุณสามารถเห็นปัญหาที่พวกเขาเผชิญ)

ฉันไม่สามารถบอกเกี่ยวกับปัญหาที่เฉพาะเจาะจงเกี่ยวกับเครือข่ายที่รวดเร็ว - แต่โดยทั่วไปฉันรู้สึกว่าปัญหาเกิดขึ้นเพราะผู้คนต้องการให้ SNN ทำงานเหมือนสมองของมนุษย์มากขึ้นเรื่อย ๆ :

  • พวกเขาต้องการที่จะเลือกวิธีการข้อมูลรหัส - ซึ่งสามารถทำได้ผ่านทางความล่าช้าการเข้ารหัส (สูงมากขึ้นกระตุ้นเซลล์ประสาทมีแนวโน้มที่จะขัดขวางบ่อยขึ้นและเร็ว ) ไบนารีการเข้ารหัส (ข้อมูลจะถูกแทนด้วยจำนวนแหลมภายในช่วงเวลาที่กำหนด) เวลาการเข้ารหัส (ข้อมูลคือสิ่งที่ตรงกันข้ามของความละเอียดของช่วงเวลาที่แตกต่าง) ลำดับการเข้ารหัส (เดือยแรกที่ได้รับจากเซลล์ประสาทจะได้รับอิทธิพลและสิ่งต่อมาจะถูกยับยั้ง) และ whatnot
  • พวกเขาเลียนแบบ Hebbian ปั้นซึ่งเพิ่มน้ำหนักระหว่างเซลล์ประสาทเมื่อเซลล์ทั้งสองเป็น "กับ" (หรือทั้งสอง "ปิด") ในเวลาเดียวกัน
  • พวกเขาใช้การจัดระเบียบตัวเองซึ่งกลุ่มของเซลล์ประสาทแข่งขันกับเซลล์ประสาทที่ชนะการยับยั้งการตอบสนองของเซลล์ประสาทอื่น ๆ ด้วยเซลล์รับแสงผู้ชนะสามารถคำนวณได้อย่างรวดเร็วโดยอิงจากเหตุการณ์การยิงเดี่ยว

วิกิพีเดียมีการเชื่อมโยงไปที่"Pulsed โครงข่ายประสาท"หนังสือที่มี "ปัญหาด้านการดำเนินงานของชีพจรรหัสโครงข่ายประสาทส่วน" แต่ฉันไม่ได้รับการศึกษามากพอที่จะแสดงความคิดเห็นในที่

สำหรับการแนะนำหัวข้อฉันแนะนำบทความนี้: Pulsed Neural Networks และการใช้งาน ( pdf )


1
ฉันยอมรับว่าไม่มีใครรู้ว่าสมองทำงานอย่างไร แต่มีแบบจำลองเยื่อพังผืดที่ดีและถูกต้องทางสรีรวิทยามาตั้งแต่ยุค 30 เป็นต้นไป ข้อมูลที่ดีเลิศในคำตอบ แต่จากสิ่งที่คุณเขียนฉันจะคิดว่าผู้ฝึกจะได้รับการส่งเสริมให้ใช้พวกเขาแทนที่จะท้อแท้
jonsca

ใช่เลย - พวกเขาได้รับการสนับสนุนจากปัญหาเหล่านั้น! :)
ทะเบียน

0

ดูเหมือนว่าอัลกอริทึมเครือข่ายประสาททั้งหมดใช้รูปแบบของการไล่ระดับสีในการฝึกอบรมของพวกเขาและแม้แต่แบบที่ไม่ใช่ ANN ก็ใช้การไล่ระดับสี ดูเหมือนว่าจะไม่มีทฤษฎีเกี่ยวกับวิธีการใช้การไล่ระดับสีแบบไล่ระดับในแบบชั่วคราวกับ SNN ความเป็นไปได้ทางหนึ่งคือการเพิ่มขึ้นของการคำนวณ neuromorphicซึ่งใช้แบบจำลองทางชีวภาพที่เหมือนจริงมากขึ้นซึ่งคล้ายกับ SNNs แต่ดูเหมือนว่าจะไม่มีการวัดประสิทธิภาพ / การเรียนรู้ด้วยเครื่องที่แข็งแกร่งในเขตข้อมูล neuromorphic เช่นเดียวกับการวัดประสิทธิภาพที่ชัดเจนกับ ANN ในปัญหา ML มาตรฐานหลายอย่างเช่นการรู้จำลายมือการรู้จำเสียงการรู้จำภาษาการแปลภาษา ฯลฯ


โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.