ทำไมเครือข่ายประสาทลึกและการเรียนรู้อย่างลึกล้ำจึงไม่เพียงพอที่จะบรรลุความฉลาดทางสติปัญญา


11

ทุกอย่างที่เกี่ยวข้องกับการเรียนรู้ลึก (DL) และเครือข่ายลึก (เอ้อ) ดูเหมือนว่า "ประสบความสำเร็จ" อย่างน้อยก็ดำเนินไปอย่างรวดเร็วและปลูกฝังความเชื่อที่ AGI เข้าถึงได้ นี่คือจินตนาการที่เป็นที่นิยม DL เป็นเครื่องมืออันยิ่งใหญ่ในการจัดการปัญหามากมายรวมถึงการสร้าง AGIs แม้ว่ามันจะไม่เพียงพอ เครื่องมือเป็นส่วนประกอบที่จำเป็น แต่มักจะไม่เพียงพอ

บุคคลสำคัญในโดเมนกำลังค้นหาที่อื่นเพื่อสร้างความก้าวหน้า นี้รายงาน / เรียกร้องรวบรวมเชื่อมโยงไปยังงบโดยโยชัวเบนจิโอ , ยานน์เลคันและเจฟฟ์ฮินตัน รายงานยังอธิบาย:

จุดอ่อนหลักของ DL (อย่างที่ฉันเห็น) คือ: พึ่งพาเซลล์ประสาทแบบจำลองที่ง่ายที่สุด (“ cartoonish” ตามที่ LeCun เรียกพวกเขา); การใช้ความคิดจากกลศาสตร์และสถิติเชิงสถิติในศตวรรษที่ 19 ซึ่งเป็นพื้นฐานของฟังก์ชันพลังงานและวิธีการบันทึกความเป็นไปได้ และการรวมเทคนิคเหล่านี้เข้าด้วยกันเช่น backprop และ stochastic gradient descent ทำให้แอพพลิเคชั่นมีข้อ จำกัด มาก (ออฟไลน์ส่วนใหญ่เป็นแบตช์การเรียนรู้แบบมีผู้สอน) ซึ่งต้องการผู้ฝึกสอนที่มีความสามารถสูง ข้อมูลการฝึกอบรมที่มีข้อความและพลังการคำนวณ ในขณะที่ยอดเยี่ยมสำหรับ บริษัท ขนาดใหญ่ที่สามารถล่อลวงหรือซื้อพรสวรรค์และใช้ทรัพยากรไม่ จำกัด เพื่อรวบรวมข้อมูลและกระทืบมัน DL ไม่สามารถเข้าถึงได้และไม่เป็นประโยชน์ต่อพวกเราส่วนใหญ่

ถึงแม้ว่าจะน่าสนใจและมีความเกี่ยวข้อง แต่คำอธิบายประเภทนี้ไม่ได้ช่วยแก้ไขปัญหา: สิ่งที่ขาดหายไปคืออะไร?

คำถามดูเหมือนกว้าง แต่อาจเป็นเพราะการขาดคำตอบง่ายๆ มีวิธีการระบุจุดที่ DL ขาดสำหรับ AGI หรือไม่?


คำตอบ:


7

ทุกคนที่เกี่ยวข้องกับเครือข่ายประสาทเทียมนั้นพลาดจุดสำคัญเมื่อเปรียบเทียบระบบกับมนุษย์เช่นสติปัญญา มนุษย์ใช้เวลาหลายเดือนในการทำสิ่งที่เข้าใจได้นับประสาสามารถแก้ปัญหาที่มนุษย์ผู้ใหญ่ไม่สามารถจัดการได้ และขนาดของสมองมนุษย์นั้นมีขนาดใหญ่มากเมื่อเทียบกับเครือข่ายประสาทของเรา ทิศทางอาจถูกต้อง แต่เครื่องชั่งนั้นไม่สามารถใช้งานได้ จำนวนเซลล์ประสาทในสมองของมนุษย์สามารถจับคู่กับหน่วยความจำที่ชาญฉลาด แต่จำนวนของความเท่าเทียมกันในการจำลองแบบเรียลไทม์ยังไม่สามารถทำได้ (อย่างน้อยสำหรับนักวิจัยแบบสุ่ม) ในขณะที่เก่าไปหน่อยนี่อาจทำให้คุณรู้ว่าเราขาดพลังในการประมวลผลมากแค่ไหน


ขอบคุณสำหรับคำตอบที่กระชับนี้ คุณกำลังบอกว่ามีเพียงเรื่องขนาดที่จะได้รับ AGI และสูงกว่าเท่านั้นที่ใช้เทคโนโลยี DL? ขนาดมีความหมาย แต่ก็มีบางอย่างขาดหายไป (เล่นสำนวนใด ๆ ในวรรคนี้มีวัตถุประสงค์ทั้งหมด)
Eric Platon

1
ตัวอย่างเช่นลองพิจารณา Cellular Automata a la Wolfram ง่ายมาก แต่นำไปสู่ความซับซ้อนที่น่าประหลาดใจ
Eric Platon

การคำนวณควอนตัมไม่ว่าจะเป็นรูปแบบใดในท้ายที่สุดหนึ่งในโซลูชั่นที่นำเสนอต่อปัญหาการประมวลผลนี้?
DukeZhou

การประมวลผลควอนตัมสามารถนำมาใช้เพื่อการตัดสินใจ ณ จุดหนึ่ง แต่ไม่สามารถใช้เพื่อจำลองการไหลอย่างต่อเนื่องเหมือนในสมองของมนุษย์ เมื่อระบบตรวจพบว่ารูปคลื่นควอนตัมพังทลายลงให้ลดลงเป็นระบบลำดับขั้นช้า
Cem Kalyoncu

1
@CemKalyoncu แน่นอน แต่ช้างมีเกือบ3 เท่ามนุษย์ อาร์กิวเมนต์ขนาดมีความสำคัญแน่นอน แต่ขนาดเพียงอย่างเดียวดูเหมือนจะไม่เพียงพอ
Eric Platon

6

การเรียนรู้อย่างลึกซึ้งนั้นประสบความสำเร็จในการเรียนรู้แบบมีผู้สอนในขณะที่สมองสร้างหมวดหมู่ในลักษณะที่ไม่ได้รับการดูแล เรายังไม่รู้วิธีการทำเช่นนั้น (ลองดูที่ google google : 16,000 cores และสิ่งนี้สามารถทำได้คือจดจำแมวและใบหน้ามนุษย์ด้วยความแม่นยำสุดซึ้ง)

การเรียนรู้อย่างลึกซึ้งใช้การเปิดใช้งานที่ไม่มีโครงสร้างสูงเช่นการแสดงระดับสูงของ "สุนัข" และ "แมว" ในตัวจําแนกเครือข่ายประสาทไม่จำเป็นต้องเหมือนกันเลย สมองในอีกด้านหนึ่งใช้เซลล์ประสาทยับยั้งเพื่อสร้างการกระจายแบบกระจายซึ่งกระจัดกระจายลงในด้านความหมายของพวกเขา นั่นอาจเป็นสิ่งสำคัญสำหรับสิ่งที่เป็นนามธรรมและการใช้เหตุผลโดยการเปรียบเทียบ

สมองมีส่วนต่าง ๆ มากมายซึ่งทำงานร่วมกัน นักวิจัยการเรียนรู้เชิงลึกเป็นเพียงการเริ่มต้นที่จะรวมหน่วยความจำหรือกลไกความสนใจเข้ากับสถาปัตยกรรมของพวกเขา

สมองรวมข้อมูลจากความรู้สึกที่แตกต่างกัน แอปพลิเคชันการเรียนรู้เชิงลึกส่วนใหญ่ใช้อินพุตเพียงประเภทเดียวเช่นข้อความหรือรูปภาพ

สมองมีความสามารถในการสร้างแบบจำลองลำดับเป็นหมวดหมู่ (โดยทั่วไปคำกริยาทุกชื่อหมวดหมู่ลำดับ (เช่นชั่วคราว)) จากนั้นมันสามารถจัดหมวดหมู่เหล่านี้ลงในแผนลำดับชั้นระยะยาว จนถึงตอนนี้ฉันยังไม่เห็นอะไรเลยในการเรียนรู้ลึก

นอกจากนี้เครือข่ายประสาทยังไม่สามารถทำงานในระดับเดียวกับสมองมนุษย์ หากคุณดูคำตอบของคำถามนี้สมองของมนุษย์จะอยู่ข้างหน้าในเซลล์ประสาทนับเป็นเวลาอีกสองสามทศวรรษ เครือข่ายนิวรัลอาจไม่ต้องการจำนวนเซลล์ประสาทเท่ากันในขณะที่สมองจะไปถึงประสิทธิภาพที่คล้ายกัน (เพราะมีความแม่นยำสูงกว่า) แต่ตอนนี้ตัวอย่างเช่นการประมวลผลวิดีโอยังค่อนข้าง จำกัด ในแง่ของการป้อนข้อมูลและปริมาณงาน


จุดที่น่าสนใจที่นี่เช่นกันขอบคุณ ความกังวลของฉันอยู่ที่นี่ว่ามันเป็นกระบวนการที่ตรงกันข้าม ([ลึก] การเรียนรู้) และโครงสร้าง (ของเครือข่ายหรือสมอง) หากแนวโน้มนี้ถูกต้อง AGI เป็นเพียงคำถามของเวลาตามสิ่งที่เรามี คุณพูดถึงประเด็นทางความหมายในเครือข่ายลึกซึ่งอาจดูได้ดีที่สุดในรูปแบบของฝ่ายตรงข้าม สิ่งนี้บ่งชี้ว่ามีบางอย่างขาดหายไปและเป็นหนึ่งในอาร์กิวเมนต์ที่ดีที่สุดในคำตอบนี้ ฉันเข้าใจว่าโครงสร้างปัจจุบันไม่เพียงพอ (เช่นแบบจำลองหน่วยความจำก่อน) นี่คือการแก้ปัญหา "ทำไม" โดยอ้อม คุณเห็นวิธีที่จะปรับปรุงคำตอบของคุณหรือไม่?
Eric Platon

แนวทาง "แบบแสงอย่างเดียว" เมื่อเร็ว ๆ นี้ของเกม ML เป็นความพยายามที่จะหลุดพ้นจากการเรียนรู้แบบมีผู้สอนหรือไม่?
DukeZhou

@DukeZhou: ฉันคิดว่าเทคนิค RL อาจมีบทบาทในการเรียนรู้ที่ไม่ได้รับการดูแล แต่ตอนนี้ดูเหมือนว่าฉันจะไม่เรียนรู้แนวความคิดระดับสูง แต่ RL
BlindKungFuMaster

1
@EricPlaton: ฉันไม่แน่ใจว่าฉันเข้าใจความคิดเห็นของคุณ สิ่งที่ฉันคิดว่าขาดหายไปคือ 1. โครงสร้างและ 2 มาตราส่วน และอัลกอริธึมของหลักสูตร แต่สิ่งเหล่านี้เชื่อมโยงกับโครงสร้าง
BlindKungFuMaster

3

IMHO สิ่งกีดขวางแรกคือมาตราส่วน : แม้แต่ DNN ที่ใหญ่ที่สุดของ Google ก็ไม่ได้ใกล้เคียงกับขนาดของสมองและจากปัจจัยหลายประการของขนาด ...


2

ฉันคิดว่ามันยังคงเป็นแง่มุมที่ทำให้สมองมนุษย์ มีเครือข่ายที่แตกต่างกันจำนวนมากทำงานร่วมกัน

เช่นเดียวกับการทำสมาธิช่วยพัฒนาความสามารถทางปัญญาโดยให้สมองทำงานประสานกันมากขึ้นเราสามารถนำไปใช้กับเครื่องจักรได้เช่นกัน

ตัวอย่างเช่น google กำลังเรียนรู้คอมพิวเตอร์ที่จะฝันเหมือนที่เราทำเพื่อเสริมสิ่งที่เราเรียนรู้ไปแล้ว https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

และนี่คือ pathnet ซึ่งเป็นเครือข่ายของโครงข่ายประสาท https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

สร้างกลไกเหล่านี้ทั้งหมดและรวมเข้าด้วยกันด้วยพลังที่เพียงพอและเราจะเข้าใกล้กัน!


คุณช่วยอธิบายได้ว่า "มัน" คืออะไร? อาจเป็นกระบวนการเรียนรู้อย่างลึกซึ้งหรือเครือข่ายที่ลึกซึ้งไม่แพ้กัน เหล่านี้แตกต่างกัน
Eric Platon

1
ทั้งสอง แต่ส่วนใหญ่แล้วการที่มีโครงข่ายประสาทเทียมที่ลึกทำงานร่วมกันฉันคาดเดาว่า DNN ควรมีคุณสมบัติปั้นพลาสติกที่ดีด้วย แต่นี่คือสิ่งที่เราทำได้เพียงแค่สัมผัสพื้นฐานเท่านั้นเราไม่รู้ด้วยซ้ำว่าจะรู้ว่าสมองของมนุษย์ทำงานอย่างไร
อเล็กซานเดอร์

1

ผู้เสนอปัญญาประดิษฐ์ในปัจจุบันมุ่งเน้นไปที่ปัญหาของการคำนวณ - ความสามารถในการแก้ปัญหาที่ซับซ้อนได้อย่างรวดเร็ว ฉันเชื่อว่าจำนวนของความสำเร็จในทิศทางนี้จะไม่นำไปสู่ความฉลาดของมนุษย์ (ทั่วไป) แม้ว่ามันจะมีประสิทธิภาพสูงกว่ามนุษย์ในขอบเขตที่แน่นอน ความพยายามควรมุ่งไปที่การศึกษาว่าเหตุการณ์ทางประสาทวิทยาทำให้เกิดความรู้สึกอย่างไร (ประสบการณ์ของ qualia) แน่นอนว่านี่เป็นปัญหาที่ยากของปรัชญา แต่ฉันเชื่อว่ามันเป็นกุญแจสำคัญที่ไม่ซ้ำกับสติปัญญาทั่วไปและความสามารถของมัน วิศวกรรมย้อนกลับและทฤษฎีที่ทดสอบได้ควรก้าวไปข้างหน้าด้วยเหตุนี้


1
Quaila อาจเป็นลักษณะที่น่าสนใจสำหรับเครื่องจักรที่มี (โดยเฉพาะอย่างยิ่งถ้าเราต้องการให้คนให้สิทธิ์กับเครื่องจักรเหล่านี้) แต่นอกเหนือจาก Quaila เองก็เป็นปัญหาที่ยากมากในปรัชญามีสองประเด็นหลักที่เล่น (A) ความฉลาดของตัวเองอาจไม่จำเป็นต้องมี quaila คุณสามารถฉลาดโดยไม่ต้องมีประสบการณ์คนแรกอัตนัย .. เป็นซอมบี้ปรัชญา
ออกทางทิศตะวันออกเมื่อวันที่ 10_6_19

(B) อุตสาหกรรมเพียง แต่ให้ความสำคัญกับการแก้ปัญหาที่ซับซ้อนอย่างรวดเร็วและไม่ต้องกังวลว่าเครื่องที่พูดเร็วจะคิดหรือรู้สึก AGI ต้องการเพียงเท่าที่มันสามารถแก้ปัญหาที่ซับซ้อนได้อย่างรวดเร็ว ... ความฉลาดเป็นเพียงวิธีการที่จะสิ้นสุด (อันที่จริงแล้วอุตสาหกรรมอาจไม่ต้องการเครื่องคิดและรู้สึกเนื่องจากเครื่องจักรดังกล่าวอาจสมควรได้รับสิทธิ์ ... และสิทธิ์เป็นสิ่งที่ชอบกฎระเบียบ จำกัด สิ่งที่ธุรกิจสามารถทำได้ด้วยเครื่องมือของพวกเขา)
Left SE On 10_6_19
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.