สมองมนุษย์ใช้งานฟังก์ชั่นการเปิดใช้งานอะไร

สมองของมนุษย์ใช้ฟังก์ชั่นเปิดใช้งานเฉพาะหรือไม่? ฉันได้ลองทำวิจัยแล้วและเนื่องจากมันเป็นโครงข่ายว่าสัญญาณถูกส่งผ่านเซลล์ประสาทหรือไม่มันฟังดูเหมือน ReLU มาก อย่างไรก็ตามฉันไม่พบบทความเดียวที่ยืนยันเรื่องนี้ หรือมันเป็นเหมือนฟังก์ชั่นขั้นตอน (ส่ง 1 ถ้ามันอยู่เหนือ treshold แทนที่จะเป็นค่าอินพุต)

สิ่งที่คุณได้อ่านเกี่ยวกับเป็นที่รู้จักกันอาจกระทำ มันเป็นกลไกที่ควบคุมการไหลของข้อมูลภายในเซลล์ประสาท

มันทำงานได้ดังนี้: เซลล์ประสาทมีศักย์ไฟฟ้าซึ่งเป็นความต่างศักย์ไฟฟ้าทั้งภายในและภายนอกเซลล์ พวกเขายังมีศักยภาพพักเริ่มต้นและศักยภาพในการเปิดใช้งาน เซลล์ประสาทมีแนวโน้มที่จะเคลื่อนที่ไปยังจุดพักตัวหากมันถูกทิ้งไว้ตามลำพัง แต่การกระตุ้นด้วยไฟฟ้าที่เข้ามาจาก dendrites สามารถเปลี่ยนศักย์ไฟฟ้าได้

ถ้าเซลล์ประสาทถึงขีด จำกัด บางอย่างในศักย์ไฟฟ้า (ศักย์กระตุ้น), เซลล์ประสาททั้งหมดและแอกซอนเชื่อมต่อจะต้องผ่านปฏิกิริยาลูกโซ่ของการแลกเปลี่ยนไอออนิกภายใน / ภายนอกเซลล์ที่ทำให้เกิด "คลื่นการแพร่กระจาย" ผ่านซอน

TL; DR: เมื่อเซลล์ประสาทถึงโอกาสในการเปิดใช้งานบางอย่างมันจะถูกปล่อยด้วยไฟฟ้า แต่ถ้าศักย์ไฟฟ้าของเซลล์ประสาทไม่ถึงค่านั้นเซลล์ประสาทก็จะไม่ทำงาน

สมองของมนุษย์ใช้ฟังก์ชั่นเปิดใช้งานเฉพาะหรือไม่?

IIRC เซลล์ประสาทในส่วนต่าง ๆ ของสมองทำงานแตกต่างกันเล็กน้อยและวิธีที่คำถามนี้ฟังดูเหมือนจะเป็นประโยคราวกับว่าคุณกำลังถามว่ามีการใช้งานเฉพาะของการเปิดใช้งานของเซลล์ประสาท

แต่โดยทั่วไปมีพฤติกรรมค่อนข้างคล้ายคลึงกัน (เซลล์ประสาทสื่อสารกันผ่านระบบประสาทเคมีการแพร่กระจายข้อมูลภายในเซลล์ประสาทผ่านกลไกที่เรียกว่าศักย์การกระทำ ... ) แต่รายละเอียดและความแตกต่างที่เกิดขึ้นอาจมีนัยสำคัญ

มีเซลล์ประสาทแบบชีวภาพหลายแบบแต่แบบจำลองHodgkin-Huxleyนั้นมีความโดดเด่นที่สุด

โปรดทราบว่าคำอธิบายทั่วไปของเซลล์ประสาทไม่ได้ให้คำอธิบายทั่วไปเกี่ยวกับการเปลี่ยนแปลงของเซลล์ประสาทและการรับรู้ la (ความเข้าใจต้นไม้ไม่ได้ให้ความเข้าใจที่สมบูรณ์ของป่า)

แต่วิธีการในการเผยแพร่ข้อมูลภายในเซลล์ประสาทโดยทั่วไปค่อนข้างเข้าใจกันดีว่าเป็นการแลกเปลี่ยนโซเดียม / โพแทสเซียมไอออนิก

มัน (ศักยภาพการเปิดใช้งาน) ฟังดูเหมือน ReLU ...

มันเหมือนกับ ReLU ในแง่ที่ว่าพวกเขาต้องการเกณฑ์ก่อนที่จะมีอะไรเกิดขึ้น แต่ ReLU สามารถส่งออกตัวแปรในขณะที่เซลล์ประสาททั้งหมดหรือไม่มีอะไร

นอกจากนี้ ReLU (และฟังก์ชั่นการเปิดใช้งานอื่น ๆ โดยทั่วไป) นั้นแตกต่างกันตามส่วนของพื้นที่อินพุต สิ่งนี้สำคัญมากสำหรับ backprop

นี่คือฟังก์ชั่น ReLU โดยที่แกน X เป็นค่าอินพุตและแกน Y เป็นค่าเอาต์พุต

และนี่คือศักยภาพในการดำเนินการเมื่อแกน X เป็นเวลาและ Y เป็นค่าเอาต์พุต

สมองของสัตว์เลี้ยงลูกด้วยนมไม่ได้ใช้ฟังก์ชั่นการเปิดใช้งาน เฉพาะการเรียนรู้ของเครื่องที่ออกแบบโดยอาศัย perceptron คูณเวกเตอร์ของเอาท์พุทจากชั้นก่อนหน้าด้วยเมทริกซ์พารามิเตอร์และส่งผลลัพธ์ไร้สัญชาติไปยังฟังก์ชันทางคณิตศาสตร์

แม้ว่าพฤติกรรมการรวมตัวขัดขวางได้รับการจำลองบางส่วนและในรายละเอียดมากกว่าแบบจำลอง Hodgkin และ Huxley ในปี 1952 แต่ทุกรุ่นต้องการความเป็นรัฐในการประมาณเซลล์ประสาทชีววิทยาตามหน้าที่ RNNs และอนุพันธ์ของพวกเขาคือความพยายามที่จะแก้ไขข้อบกพร่องในการออกแบบ perceptron

นอกเหนือจากความแตกต่างดังกล่าวแล้วแม้ว่าความแรงของสัญญาณที่รวมเข้ากับฟังก์ชั่นการเปิดใช้งานนั้นถูกเชื่อมต่อกันแบบดั้งเดิม ANNs, CNNs และ RNNs มีการเชื่อมต่อแบบคงที่บางสิ่งที่ Intel อ้างว่าพวกเขาจะแก้ไขด้วยสถาปัตยกรรม ตั้งค่าเลเยอร์การโทรใน Python หรือ Java ทันที

มีคุณสมบัติเซลล์ประสาททางชีวภาพที่สำคัญอย่างน้อยสามอย่างที่ทำให้กลไกการกระตุ้นทำงานมากกว่าฟังก์ชั่นของสเกลาร์อินพุตที่สร้างสเกลาร์เอาท์พุทซึ่งทำให้แสดงผลการเปรียบเทียบเชิงพีชคณิตที่น่าสงสัย

• สถานะที่จัดขึ้นเป็นการเชื่อมต่อระบบประสาท (เปลี่ยน) และนี่ไม่ใช่แค่จำนวนเซลล์ประสาทในเลเยอร์ แต่ยังทิศทางของการแพร่กระจายสัญญาณในสามมิติและโทโพโลยีของเครือข่ายซึ่งมีการจัดระเบียบ
• รัฐจัดขึ้นภายในพลาสซึมและออร์แกเนลล์ซึ่งเป็นที่เข้าใจกันเพียงบางส่วน ณ ปีพ. ศ. 2561
• ความจริงที่ว่ามีปัจจัยการจัดตำแหน่งชั่วคราวที่พัลส์ผ่านวงจรชีวภาพอาจมาถึงผ่านทางประสาทในลักษณะที่พวกเขารวมกัน แต่ยอดของพัลส์ไม่ได้เกิดขึ้นพร้อมกันในเวลาดังนั้นความน่าจะเป็นเปิดใช้งานไม่สูงราวกับว่าพวกเขา ถูกจัดตำแหน่งชั่วคราว

การตัดสินใจเกี่ยวกับฟังก์ชั่นการเปิดใช้งานที่ใช้ส่วนใหญ่ขึ้นอยู่กับการวิเคราะห์การลู่เข้าในระดับทางทฤษฎีรวมกับการทดสอบการเปลี่ยนรูปเพื่อดูว่าอันไหนแสดงการรวมกันของความเร็วความแม่นยำและความน่าเชื่อถือที่เหมาะสมที่สุดใน ctheonvergence โดยความน่าเชื่อถือนั้นหมายถึงว่าการบรรจบกันในระดับสากลที่เหมาะสม (ไม่ใช่ฟังก์ชั่นข้อผิดพลาดขั้นต่ำในท้องถิ่น) ถึงได้สำหรับกรณีส่วนใหญ่ของอินพุต

การวิจัยสองครั้งนี้มีความแตกต่างระหว่างส้อมของการเรียนรู้เครื่องปฏิบัติและการจำลองทางชีวภาพและการสร้างแบบจำลอง สาขาทั้งสองอาจกลับมาร่วมกันอีกครั้งในบางครั้งเมื่อเกิดเครือข่าย Spiking - ความแม่นยำ - ความน่าเชื่อถือ (สมบูรณ์) เครือข่าย สาขาการเรียนรู้ของเครื่องอาจยืมแรงบันดาลใจจากทางชีวภาพเช่นกรณีของเส้นทางการมองเห็นและการได้ยินในสมอง

พวกเขามีความคล้ายคลึงกันและความสัมพันธ์ที่อาจถูกนำไปใช้ประโยชน์เพื่อช่วยในการดำเนินการตามส้อมทั้งสอง แต่ได้รับความรู้โดยการเปรียบเทียบรูปร่างของฟังก์ชั่นการเปิดใช้งานจะสับสนด้วยความแตกต่างสามประการข้างต้นโดยเฉพาะอย่างยิ่ง ทำโมเดลโดยใช้การวนซ้ำ สมองเป็นสถาปัตยกรรมการคำนวณแบบขนานที่แท้จริงไม่พึ่งพาลูปหรือแม้แต่การแบ่งปันเวลาใน CPU และบัสข้อมูล

คำตอบคือเราไม่ทราบว่า เป็นไปไม่ได้ที่เราจะไม่รู้สักพัก สาเหตุของสิ่งนี้คือเราไม่สามารถเข้าใจ "รหัส" ของสมองมนุษย์ได้และเราไม่สามารถป้อนค่าและรับผลลัพธ์ได้ ข้อ จำกัด นี้เราจะวัดกระแสของอินพุตและเอาต์พุตในเรื่องการทดสอบและการที่เราได้มีไม่กี่เรื่องการทดสอบการดังกล่าวว่าเป็นมนุษย์ ดังนั้นเราไม่รู้อะไรเลยเกี่ยวกับสมองมนุษย์รวมถึงฟังก์ชั่นการเปิดใช้งาน

การตีความคำถามของฉันคือ 'ฟังก์ชั่นการเปิดใช้งานอะไรในเครือข่ายประสาทเทียม (ANN) ที่ใกล้เคียงที่สุดกับที่พบในสมอง'

ในขณะที่ฉันเห็นด้วยกับคำตอบที่เลือกไว้ข้างต้นเซลล์ประสาทเดี่ยวจะส่งสัญญาณ dirac ถ้าคุณคิดว่าเซลล์ประสาทใน ANN เป็นการจำลองอัตราการยิงของเอาต์พุตแทนที่จะเป็นเอาต์พุตปัจจุบันฉันเชื่อว่า ReLU อาจใกล้เคียงที่สุด?

http://jackterwilliger.com/biological-neural-networks-part-i-spiking-neurons/