เราเรียนรู้อะไรได้บ้างเกี่ยวกับสมองมนุษย์จากเครือข่ายประสาทเทียม

ฉันรู้ว่าคำถาม / ชื่อของฉันไม่เจาะจงมากดังนั้นฉันจะพยายามอธิบายให้ชัดเจน:

โครงข่ายประสาทเทียมมีการออกแบบที่ค่อนข้างเข้มงวด แน่นอนโดยทั่วไปแล้วพวกเขาได้รับอิทธิพลจากชีววิทยาและพยายามสร้างแบบจำลองทางคณิตศาสตร์ของโครงข่ายประสาทจริง แต่ความเข้าใจของเราเกี่ยวกับโครงข่ายประสาทจริงนั้นไม่เพียงพอสำหรับการสร้างแบบจำลองที่แน่นอน ดังนั้นเราจึงไม่สามารถเข้าใจโมเดลที่แน่นอนหรือสิ่งใดก็ตามที่เกิดขึ้น "ใกล้" เครือข่ายประสาทจริง

เท่าที่ฉันรู้เครือข่ายประสาทเทียมทั้งหมดอยู่ไกลจากเครือข่ายประสาทจริง MLP มาตรฐานที่เชื่อมต่ออย่างสมบูรณ์แบบคลาสสิกไม่มีอยู่ในชีววิทยา เครือข่ายประสาทที่เกิดขึ้นอีกมีการขาดความเป็นจริงของระบบประสาทแต่ละเซลล์ประสาทของ RNN แต่ละคนมี "สถาปัตยกรรมความคิดเห็น" ที่เหมือนกันในขณะที่เซลล์ประสาทที่แท้จริงบันทึกและแบ่งปันข้อมูลของพวกเขาค่อนข้างเป็นรายบุคคล Convolutional neural Networks นั้นมีประสิทธิภาพและเป็นที่นิยม แต่การประมวลผลภาพในสมองของมนุษย์นั้นประกอบด้วยเพียงสองสามชั้นในขณะที่วิธีการแก้ปัญหาที่ทันสมัย ​​(เช่น GoogLeNet) นั้นใช้หลายสิบชั้น ... และถึงแม้ว่าพวกมันจะสร้างผลลัพธ์ที่ยอดเยี่ยมสำหรับคอมพิวเตอร์ พวกเขาไม่ได้ใกล้เคียงกับประสิทธิภาพของมนุษย์ โดยเฉพาะอย่างยิ่งเมื่อเราคิดว่า "ประสิทธิภาพต่อเลเยอร์" เนื่องจากเราต้องการเลเยอร์และการลดข้อมูลที่ค่อนข้างสูงเมื่อเทียบกับเครือข่ายประสาทจริง

นอกจากนี้ตามความรู้ของฉันแม้แต่เครือข่ายโครงข่ายประสาทเทียมที่ปรับขยาย / ปรับโครงสร้างด้วยตนเองนั้นค่อนข้าง "ค่อนข้างคงที่" เมื่อเทียบกับเครือข่ายประสาทจริงที่ปรับตัวได้มาก โดยปกติเซลล์ประสาทชีวภาพจะมี dendrites นับพันที่เชื่อมต่อเซลล์ประสาทกับพื้นที่ต่าง ๆ และเซลล์ประสาทอื่น ๆ มากมาย โครงข่ายประสาทเทียมเป็นวิธีที่ "ตรงไปตรงมา" มากกว่า

ดังนั้นมีอะไรบ้างที่เราสามารถเรียนรู้เกี่ยวกับสมองมนุษย์ / เครือข่ายประสาทจริงจากเครือข่ายประสาทเทียม? หรือเป็นเพียงความพยายามในการสร้างซอฟต์แวร์ที่ทำงานได้ดีกว่าอัลกอริธึมแบบคงที่คลาสสิก

ใครบางคนสามารถให้แหล่งที่มา (วิทยาศาสตร์ควร) แหล่งที่มาเกี่ยวกับหัวข้อนี้?

แก้ไข: คำตอบเพิ่มเติมชื่นชมอย่างมาก (:

ดังที่คุณพูดไปแล้วโครงข่ายประสาทส่วนใหญ่นั้นอิงจาก abstractions ทั่วไปของสมอง ไม่เพียง แต่พวกเขาจะขาดคุณสมบัติเลียนแบบเช่นพลาสติก แต่พวกเขาไม่ได้คำนึงถึงสัญญาณและเวลาที่เซลล์ประสาทจริงทำ

มีการสัมภาษณ์เมื่อไม่นานมานี้ที่ฉันรู้สึกว่าเหมาะสมสำหรับคำถามเฉพาะของคุณมาสโทรไมเคิลจอร์แดนเรื่องการหลงทางของข้อมูลขนาดใหญ่และความพยายามด้านวิศวกรรมขนาดใหญ่อื่น ๆและฉันอ้าง:

แต่เป็นความจริงที่ว่าด้วยประสาทวิทยาศาสตร์จะต้องใช้เวลาหลายสิบปีหรือหลายร้อยปีในการทำความเข้าใจหลักการที่ลึกซึ้ง มีความก้าวหน้าในระดับต่ำสุดของประสาทวิทยาศาสตร์ แต่สำหรับปัญหาของการรับรู้ที่สูงขึ้น - วิธีที่เรารับรู้วิธีที่เราจำได้ว่าเราทำอย่างไร - เราไม่มีความคิดว่าเซลล์ประสาทกำลังเก็บข้อมูลวิธีการคำนวณสิ่งที่กฎคือสิ่งที่อัลกอริธึมคืออะไร ชอบ. ดังนั้นเรายังไม่ได้อยู่ในยุคที่เราสามารถใช้ความเข้าใจของสมองเพื่อเป็นแนวทางในการสร้างระบบอัจฉริยะ

ไม่มากเลย --- ไม่มีสิ่งใด --- ได้เรียนรู้มาแล้วเกี่ยวกับการทำงานของสมองจากเครือข่ายประสาทเทียม [ชี้แจง: ฉันเขียนคำตอบนี้คิดเกี่ยวกับเครือข่ายประสาทที่ใช้ในการเรียนรู้ของเครื่อง @MattKrause (+1) ถูกต้องว่าแบบจำลองโครงข่ายประสาทของปรากฏการณ์ทางชีววิทยาบางอย่างอาจมีประโยชน์ในหลาย ๆ กรณี]อย่างไรก็ตามนี่อาจเป็นบางส่วนเนื่องจากความจริงแล้วการวิจัยในเครือข่ายประสาทเทียมในการเรียนรู้ของเครื่องจักรนั้นมากหรือน้อย ความซบเซาจนถึงปี 2549 เมื่อเจฟฟรีย์ฮินตันเกือบทั้งหมดโดดเดี่ยว rekindled สนามทั้งหมดซึ่งตอนนี้ดึงดูดพันล้านดอลลาร์

ในการบรรยายปี 2555 ใน Google ชื่อBrains, Sex, และ Machine Learning (จาก 45:30 น.) Hinton แนะนำว่าเครือข่ายประสาทเทียมสามารถให้คำใบ้ว่าทำไมเซลล์ประสาท [ส่วนใหญ่] สื่อสารกับแหลมและไม่ใช่สัญญาณอะนาล็อก กล่าวคือเขาแนะนำให้เห็นหนามแหลมเป็นกลยุทธ์การทำให้เป็นมาตรฐานคล้ายกับการออกกลางคัน การออกกลางคันเป็นวิธีที่ได้รับการพัฒนาเมื่อเร็ว ๆ นี้ในการป้องกัน overfitting เมื่อเพียงส่วนหนึ่งของน้ำหนักที่มีการปรับปรุงขั้นตอนการไล่ระดับสีเชื้อสายใดก็ตาม (ดูSrivastava et al. 2014 ) เห็นได้ชัดว่ามันสามารถทำงานได้ดีมากและฮินตันคิดว่าอาจแหลม (เช่นเซลล์ประสาทส่วนใหญ่เงียบในเวลาใดก็ตาม) ให้บริการวัตถุประสงค์ที่คล้ายกัน

ฉันทำงานในสถาบันวิจัยประสาทวิทยาศาสตร์และฉันไม่รู้ว่ามีใครที่นี่ที่เชื่อในข้อโต้แย้งของฮินตัน คณะลูกขุนยังคงออก (และอาจจะไปที่จะออกสำหรับค่อนข้างบางเวลา) แต่อย่างน้อยนี้เป็นตัวอย่างของสิ่งที่เครือข่ายประสาทเทียมสามารถอาจสอนให้เรารู้เกี่ยวกับการทำงานของสมอง

แน่นอนว่ามันไม่เป็นความจริงที่สมองของมนุษย์ใช้เลเยอร์ convolutional เพียงเล็กน้อย ประมาณ 1/3 ของสมองเจ้าคณะนั้นเกี่ยวข้องกับการประมวลผลข้อมูลภาพ แผนภาพนี้จากFelleman และ Van Essenเป็นโครงร่างคร่าวๆของข้อมูลภาพที่ไหลผ่านสมองลิงเริ่มต้นในสายตา (RGC ที่ด้านล่าง) และสิ้นสุดในฮิบโปแคมปัสพื้นที่หน่วยความจำ

กล่องเหล่านี้แต่ละกล่องเป็นพื้นที่ที่กำหนดโดยกายวิภาค (มากหรือน้อย) ซึ่งมีหลายขั้นตอนการประมวลผล (ชั้นจริงในกรณีส่วนใหญ่) แผนภาพนั้นมีอายุ 25 ปีและหากมีสิ่งใดเราได้เรียนรู้ว่ามีกล่องอีกสองสามบรรทัดและอีกหลายบรรทัด

มันเป็นความจริงที่งานการเรียนรู้อย่างลึกซึ้งจำนวนมากนั้นสมอง "ได้รับแรงบันดาลใจอย่างคลุมเครือ" มากกว่าที่จะเป็นพื้นฐานของความจริงทางประสาท "การเรียนรู้ลึก" ยังมีข้อได้เปรียบเพิ่มเติมจากการทำให้เกิดเสียงมากกว่าเซ็กซี่กว่า "การถดถอยโลจิสติกซ้ำ ๆ "

อย่างไรก็ตามแบบจำลองทางคณิตศาสตร์ของโครงข่ายประสาทเทียมก็มีส่วนช่วยในการทำความเข้าใจสมองของเราเช่นกัน ในขั้นตอนเดียวบางรุ่นพยายามเลียนแบบชีววิทยาที่รู้จักและชีวฟิสิกส์อย่างแม่นยำ โดยทั่วไปแล้วจะมีเงื่อนไขสำหรับไอออนแต่ละตัวและการไหล บางคนถึงกับใช้โครงสร้างแบบ 3 มิติของเซลล์ประสาทจริงเพื่อ จำกัด รูปร่างของพวกเขา หากคุณสนใจสิ่งนี้ModelDBจะมีโมเดลจำนวนมากและสิ่งพิมพ์ที่เกี่ยวข้อง หลายคนถูกนำไปใช้งานโดยใช้ซอฟต์แวร์เซลล์ประสาทที่พร้อมใช้งาน

มีตัวแบบขนาดใหญ่ที่พยายามเลียนแบบพฤติกรรมหรือ neurophysiological โดยไม่ต้องกังวลเกี่ยวกับชีวฟิสิกส์พื้นฐานมากเกินไป โมเดลการเชื่อมต่อหรือการกระจายแบบขนานซึ่งได้รับความนิยมเป็นพิเศษในช่วงปลายทศวรรษ 1980 และ 1990 และรุ่นที่ใช้คล้ายกับรุ่นที่คุณอาจพบในแอปพลิเคชั่นการเรียนรู้ของเครื่องปัจจุบัน (เช่นไม่มีชีวฟิสิกส์ฟังก์ชันเปิดใช้งานง่ายและการเชื่อมต่อแบบตายตัว) กระบวนการทางจิตวิทยา สิ่งเหล่านี้ได้หลุดพ้นไปเล็กน้อยจากความนิยมแม้จะมีสิ่งหนึ่งที่สงสัยว่าพวกเขาอาจจะกลับมาอีกครั้งในขณะนี้ว่าเรามีคอมพิวเตอร์ที่ทรงพลังและมีกลยุทธ์การฝึกอบรมที่ดี (ดูการแก้ไขด้านล่าง!)

ในที่สุดมีงานมากมายอยู่ตรงกลางซึ่งรวมถึง "ปรากฏการณ์วิทยา" รวมถึงรายละเอียดทางชีววิทยาบางอย่าง (เช่นคำที่ยับยั้งอย่างชัดเจนด้วยคุณสมบัติบางอย่าง แต่ไม่มีการกระจายช่องคลอไรด์ที่แน่นอน) มีงานปัจจุบันจำนวนมากที่เหมาะกับประเภทนี้เช่นทำงานโดยXiao Jing Wang (และงานอื่น ๆ อีกมากมาย .... )

แก้ไข : ตั้งแต่ฉันเขียนสิ่งนี้มีการระเบิดของงานเปรียบเทียบระบบภาพ (จริง) กับเครือข่ายประสาทลึกที่ได้รับการฝึกฝนในงานการจดจำวัตถุ มีความคล้ายคลึงกันที่น่าประหลาดใจอยู่บ้าง เมล็ดในชั้นแรกของเครือข่ายประสาทจะคล้ายกับเมล็ด / ลานรับสัญญาณในภาพนอกประถมศึกษาและชั้นต่อมามีลักษณะคล้ายกับลานรับสัญญาณในพื้นที่ของภาพที่สูงขึ้น (ดูการทำงานโดยนิโคลัส Kriegeskorte, ตัวอย่าง ) การฝึกอบรมเครือข่ายประสาทสามารถทำให้เกิดการเปลี่ยนแปลงที่คล้ายกับการฝึกอบรมพฤติกรรมที่กว้างขวาง(Wenliang และ Seitz 2018) บางครั้ง DNNs และมนุษย์ - แต่ไม่เสมอไป -ทำรูปแบบของข้อผิดพลาดที่คล้ายกันด้วย

ในขณะนี้ก็ยังค่อนข้างไม่ชัดเจนว่าสิ่งนี้สะท้อนให้เห็นถึงความคล้ายคลึงกันระหว่างเครือข่ายประสาทเทียมจริงกับสิ่งทั่วไปเกี่ยวกับภาพโดยเฉพาะ [*] หรือแนวโน้มของเครือข่ายประสาทของทุกแถบเพื่อค้นหารูปแบบแม้ว่าจะไม่ได้อยู่ที่นั่นก็ตาม อย่างไรก็ตามการเปรียบเทียบทั้งสองได้กลายเป็นพื้นที่การวิจัยที่ร้อนแรงมากขึ้นและดูเหมือนว่าเราจะได้เรียนรู้บางสิ่งจากมัน

* ตัวอย่างเช่นการเป็นตัวแทนที่ใช้ในระบบภาพต้น / ชั้นแรกของซีเอ็นเอ็นเป็นพื้นฐานที่กระจัดกระจายที่ดีที่สุดสำหรับภาพธรรมชาติ

สิ่งที่เราเรียนรู้อย่างแท้จริงคือการใช้การเปิดใช้งานแบบเบาบางและการใช้ฟังก์ชันการเปิดใช้งานแบบแก้ไขเชิงเส้น ต่อมานั้นเป็นเหตุผลหนึ่งว่าทำไมเราเห็นการระเบิดในกิจกรรมที่เรียกว่าโครงข่ายประสาทเทียมเนื่องจากการใช้ฟังก์ชั่นการเปิดใช้งานชนิดนี้ส่งผลให้การฝึกอบรมลดลงอย่างมากสำหรับเครือข่ายการคำนวณที่เราใช้เรียกเครือข่ายประสาท

สิ่งที่เราเรียนรู้คือเหตุที่ไซแนปส์และเซลล์ประสาทสร้างขึ้นด้วยวิธีนี้และทำไมจึงเป็นที่ต้องการ การเปิดใช้งานการแก้ไขเชิงเส้น (f (x): = x> a? x: 0) ส่งผลให้มีการเปิดใช้งานแบบเบาบาง (มีเพียง 'เซลล์ประสาท' (น้ำหนัก)) เพียงเล็กน้อยเท่านั้นที่เปิดใช้งาน

ดังนั้นสิ่งที่เราทำในขณะที่ความรู้ของเราครอบคลุมไปถึงหน้าที่ทางชีววิทยาเราเข้าใจว่าทำไมสิ่งนี้จึงถูกเลือกและเป็นที่ต้องการของวิวัฒนาการ เราเข้าใจว่าระบบเหล่านั้นเพียงพอเพียงพอ แต่ยังมีเสถียรภาพในแง่ของการควบคุมข้อผิดพลาดในระหว่างการฝึกอบรมและยังรักษาทรัพยากรเช่นพลังงานและเคมี / ทรัพยากรชีวภาพในสมอง

เราเพียงแค่เข้าใจว่าทำไมสมองถึงเป็นอย่างนั้น นอกจากนี้โดยการฝึกอบรมและดูกลยุทธ์ที่เราเข้าใจเกี่ยวกับการไหลของข้อมูลที่เป็นไปได้และการประมวลผลข้อมูลที่เกี่ยวข้องช่วยให้เราสามารถสร้างและประเมินสมมติฐานเกี่ยวกับอาสาสมัครได้

ตัวอย่างเช่นสิ่งที่ฉันจำได้เมื่อทศวรรษที่แล้วคือการฝึกอบรมระบบการเรียนรู้ภาษาพูดที่เป็นธรรมชาติและการค้นพบที่ทำขึ้นนั้นเป็นระบบที่แสดงปัญหาที่คล้ายกันซึ่งประกอบพฤติกรรมอะนาล็อกของทารกที่เรียนรู้การพูดภาษา แม้แต่ความแตกต่างระหว่างการเรียนรู้ภาษาที่แตกต่างก็มีความคล้ายคลึงกันพอสมควร

ดังนั้นจากการศึกษาวิธีการและการออกแบบนี้สรุปได้ว่าการประมวลผลข้อมูลมนุษย์ในระหว่างการเรียนรู้ภาษามีความคล้ายคลึงกันมากพอที่จะแนะนำการฝึกอบรมและการรักษาปัญหาที่เกี่ยวข้องกับภาษาซึ่งช่วยในการช่วยเหลือและเข้าใจปัญหาของมนุษย์ มันทำให้ในทางปฏิบัติเป็นคำถามอื่น)

เดือนที่ผ่านมาฉันอ่านบทความเกี่ยวกับวิธีการนำทาง 3 มิติและการจดจำสมองของหนูทำงานอย่างไรและด้วยการสร้างแบบจำลองการคำนวณเกี่ยวกับการค้นหาทุกครั้งมันเป็นความช่วยเหลือที่ดีในการทำความเข้าใจว่าเกิดอะไรขึ้นจริง ดังนั้นแบบจำลองที่เติมลงในช่องว่างของสิ่งที่สังเกตได้ในระบบชีวภาพ

มันทำให้ฉันประหลาดใจจริงๆเมื่อฉันได้เรียนรู้ว่านักวิทยาศาสตร์ทางประสาทวิทยาใช้ภาษาที่ประกอบขึ้นจากวิศวกรมากกว่าคนทางชีววิทยาที่พูดถึงวงจรการไหลของข้อมูลและหน่วยประมวลผลเชิงตรรกะ

ดังนั้นเราจึงเรียนรู้มากมายจากเครือข่ายประสาทเทียมเพราะมันแสดงให้เราเห็นถึงประสบการณ์ที่เราสามารถได้รับกฎและความเชื่อมั่นจากเมื่อมันมาถึงว่าทำไมสถาปัตยกรรมของสมองจึงเป็นสิ่งที่มันเป็นและทำไมวิวัฒนาการชอบมากกว่านี้

ยังคงมีช่องว่างมากมาย แต่จากสิ่งที่ฉันอ่าน - ฉันเพิ่งเข้ามาในซีเอ็นเอ็นและอื่น ๆ แต่มี AI ปัญญาประดิษฐ์ฟัซซี่ลอจิกและโครงข่ายประสาทเทียมในช่วงมหาวิทยาลัยในช่วงต้นปี 2000

ดังนั้นฉันจึงติดตามมูลค่าการพัฒนาและการค้นพบทศวรรษที่ผ่านมาส่งผลขอบคุณสำหรับนักวิทยาศาสตร์และผู้ปฏิบัติงานของเครือข่ายประสาทและเขตข้อมูล AI คนทำได้ดีมากทำได้ดีมาก!