โครงข่ายประสาทเทียมและโครงข่ายประสาทเทียมมีความคล้ายคลึงและแตกต่างกันอย่างไร


16

ฉันได้ยินมาหลายครั้งแล้วว่า "โครงข่ายประสาทเทียมเป็นวิธีการประมาณที่ดีที่สุดที่เราต้องจำลองสมองมนุษย์" และฉันคิดว่าเป็นที่รู้กันทั่วไปว่าโครงข่ายประสาทเทียมจำลองมาจากสมองของเรา

ฉันสงสัยอย่างยิ่งว่ารุ่นนี้เรียบง่าย แต่มีราคาเท่าใด

วานิลลา NN ต่างจากสิ่งที่เรารู้เกี่ยวกับสมองมนุษย์เท่าไหร่ พวกเรารู้ด้วยหรือไม่


1
เป็นคำถามที่ดีมาก หลายสิ่งที่สามารถพูดได้มีการกล่าวที่นี่psychology.stackexchange.com/questions/7880/…
แอนดรูว์บัตเลอร์

1
ฉันคิดว่านี่น่าจะเป็นคำถามที่ตอบโดย ai.SE นอกจากนี้ฉันอยากรู้อยากเห็น!
Andreas Storvik Strauman

เซลล์ประสาทเทียมและเซลล์ประสาทชีวภาพมีความคล้ายคลึงกันมาก รูปร่างของการเชื่อมต่อของพวกเขาก็ค่อนข้างคล้ายกันแม้ว่าเซลล์ประสาททางชีวภาพมีภาวะแทรกซ้อนจำนวนมากในการทำงานร่วมกันของพวกเขาที่ดูเหมือนจะไม่รู้จักส่วนใหญ่ อย่างไรก็ตามการใช้งานของเซลล์ประสาทเหล่านั้นมีความแตกต่างอย่างมากนั่นคือเหตุผลที่พวกเขารวมกันเป็นเครือข่ายและมีงานทำ ใช้ ANN เพื่อประมาณฟังก์ชันและเพื่อแก้ไขปัญหา ในขณะที่พระเจ้าเท่านั้นที่รู้ว่าทำไม BNN ถึงเป็นแบบนั้นและอะไรคือจุดประสงค์ของพวกเขาในตอนแรก ดังนั้นไม่ใช่คำถามที่น่าสนใจมากนักฉันคิดว่า ...
Evgeniy

คำตอบ:


10

ความแตกต่างของโครงข่ายประสาทเทียม (ANNs) แตกต่างจากโครงข่ายประสาทเทียม (BNNs) ขึ้นอยู่กับสิ่งที่คุณกำลังมองหา เราทุกคนรู้ว่า ANN นั้นได้รับแรงบันดาลใจจากสิ่งมีชีวิตทางชีวภาพ
ความแตกต่างของโครงสร้าง: โดยทั่วไปโครงข่ายประสาทประกอบด้วยองค์ประกอบสี่ส่วน:
ป้อนคำอธิบายรูปภาพที่นี่

  • เซลล์ประสาท
  • โทโพโลยี: เส้นทางการเชื่อมต่อระหว่างเซลล์ประสาท
  • น้ำหนัก
  • ขั้นตอนวิธีการเรียนรู้

ในกรณีของเครือข่ายประสาทเทียมสถานะเริ่มต้นและน้ำหนักจะสุ่ม ในขณะที่ความแข็งแรงของเครือข่ายประสาทชีววิทยาของการเชื่อมต่อระหว่างเซลล์ประสาทและโครงสร้างของการเชื่อมต่อไม่ได้เริ่มต้นแบบสุ่ม รัฐเริ่มต้นจะมาทางพันธุกรรมและเป็นผลพลอยได้จากการวิวัฒนาการ
ในการเรียนรู้ของ BNN นั้นมาจากการเชื่อมโยงระหว่างเซลล์ประสาทมากมายในสมอง การเชื่อมโยงเหล่านี้เปลี่ยนการตั้งค่าเมื่อสมองมีประสบการณ์สิ่งเร้าใหม่ การเปลี่ยนแปลงส่งผลให้เกิดการเชื่อมต่อใหม่เสริมสร้างความเข้มแข็งของการเชื่อมต่อที่มีอยู่และการกำจัดของคนเก่าและไม่ได้
ANN ได้รับการฝึกฝนตั้งแต่เริ่มต้นด้วยการใช้โทโปโลยีแบบคงที่(จดจำการเปลี่ยนแปลงโทโปโลยีในกรณีของ BNN) ซึ่งขึ้นอยู่กับปัญหาที่จะแก้ไข กลไกปัจจุบันไม่เปลี่ยนโทโพโลยีของ ANN และน้ำหนักจะเริ่มต้นโดยการสุ่มและปรับแต่งผ่านอัลกอริธึมการปรับให้เหมาะสม

ความแตกต่างอีกอย่างคือจำนวนของเซลล์ประสาทในเครือข่าย ANNทั่วไปประกอบด้วยเซลล์ประสาทหลายร้อยหรือหลายพัน เครือข่ายประสาททางชีวภาพของสมองของมนุษย์ประกอบด้วยพันล้าน จำนวนนี้แตกต่างกันไปจากสัตว์เพื่อสัตว์สัตว์
ท่านสามารถหาข้อมูลเพิ่มเติมได้ที่นี่และที่นี่


1
ความแข็งแรงของการเชื่อมต่อได้รับมาจากพันธุกรรมหรือไม่? คุณแน่ใจหรือไม่
DuttaA

2
เริ่มแรกความแข็งแรงในการเชื่อมต่อของเด็กแรกเกิดจะถูกกำหนดทางพันธุกรรม หลังจากนั้นพวกเขาเปลี่ยนไปส่วนใหญ่บนพื้นฐานของสิ่งเร้าภายนอก
Ugnes

2
เครือข่ายประสาทเทียมไม่ จำกัด เฉพาะทอพอโลยีคงที่ (ดู NEAT, TWEANN และอื่น ๆ )
Andrew Butler

1
ANN สำหรับการจดจำรูปภาพมีเซลล์ประสาทมากกว่าพันเซลล์ หลายล้านคนอาจจะ
maaartinus

ฉันเขียนคำตอบตาม ANN ทั่วไปที่พบในวันนี้โดยไม่คำนึงถึง ANN ที่ดีที่สุด ด้วยการปรับปรุงเทคโนโลยี ANNs ก็ปรับปรุงเช่นกัน เคลื่อนเข้าใกล้ BNN ขอบคุณ AndrewButler และ maaartinus พูดถึงสิ่งเหล่านี้
Ugnes

5

พวกเขาไม่ได้ปิดไม่ได้อีกต่อไป!

[ประดิษฐ์] Neural Nets ได้รับแรงบันดาลใจจากความสัมพันธ์ที่เราเคยสังเกตระหว่างเซลล์ประสาทของสมอง เริ่มแรกอาจมีความตั้งใจที่จะพัฒนา ANN ให้เป็นสมองทางชีวภาพโดยประมาณ อย่างไรก็ตาม ANN ที่ทำงานทันสมัยที่เราเห็นการใช้งานของพวกเขาในงานต่าง ๆ ไม่ได้ถูกออกแบบมาเพื่อให้แบบจำลองการทำงานของสมองสัตว์ เท่าที่ฉันรู้ไม่มีการศึกษาที่อ้างว่าพวกเขาพบสิ่งใหม่ในสมองชีวภาพโดยดูจากการเชื่อมต่อและการกระจายน้ำหนักของสมมุติซีเอ็นเอ็นหรือโมเดล RNN


ฮ่า ๆ. ฉันเห็นด้วย. สิ่งหนึ่งที่พวกเขามีเหมือนกันคือสิ่งนี้ มันเป็นวงจรในแง่นามธรรมที่สุดของคำ อาจมีอีกอย่างหนึ่ง ธรรมชาติพยายามทำสิ่งของหลายอย่างและเราก็ปรากฏตัวขึ้น จากนั้นเราลองสิ่งต่างๆมากมายแล้ว XNNs ก็ปรากฏขึ้น (โดยที่ X คือหนึ่งใน A, C หรือ N) อวนทั้งคู่เป็นผลมาจากความล้มเหลวจำนวนมาก
FauChristian

3

ข้อความทั่วไปที่ว่าโครงข่ายประสาทเทียมนั้นได้รับแรงบันดาลใจจากโครงสร้างของสมองนั้นเป็นเพียงบางส่วนเท่านั้น

มันเป็นความจริงที่ Norbert Wiener, Claude Shannon, John von Neuman และคนอื่น ๆ เริ่มต้นเส้นทางสู่การปฏิบัติ AI โดยการพัฒนาสิ่งที่พวกเขาเรียกว่าสมองอิเล็กทรอนิกส์ มันก็เป็นความจริง

  • เครือข่ายประดิษฐ์มีหน้าที่เรียกว่าการเปิดใช้งาน
  • มีสายในความสัมพันธ์แบบหลายต่อหลายอย่างเช่นเซลล์ประสาทชีวภาพและ
  • ถูกออกแบบมาเพื่อเรียนรู้พฤติกรรมที่ดีที่สุด

แต่นั่นคือขอบเขตของความคล้ายคลึงกัน เซลล์ในเครือข่ายประดิษฐ์เช่น MLPs (multilayer perceptrons) หรือ RNN (เครือข่ายประสาทซ้ำ) ไม่เหมือนเซลล์ในเครือข่ายสมอง

Perceptron ซึ่งเป็นซอฟแวร์ตัวแรกที่ถูกสอดเข้าไปในอาร์เรย์ของสิ่งต่าง ๆ ที่เปิดใช้งานนั้นไม่ใช่เซลล์ประสาท มันเป็นการประยุกต์ใช้ข้อเสนอแนะพื้นฐานที่เกี่ยวข้องกับการไล่ระดับสีซึ่งมีการใช้งานทั่วไปในด้านวิศวกรรมนับตั้งแต่ผู้ว่าการแรงเหวี่ยงของ James Watt เป็นแบบจำลองทางคณิตศาสตร์โดย Gauss การประมาณแบบต่อเนื่องซึ่งเป็นหลักการที่ใช้กันมานานหลายศตวรรษได้ถูกนำมาใช้เพื่อปรับปรุงเมทริกซ์การลดทอนแบบค่อยเป็นค่อยไป เมทริกซ์ถูกคูณด้วยเวกเตอร์ที่ป้อนอาร์เรย์ของฟังก์ชันการเปิดใช้งานที่เหมือนกันเพื่อสร้างเอาต์พุต แค่นั้นแหละ.

การฉายภาพในมิติที่สองไปยังโทโพโลยีแบบหลายชั้นทำได้โดยการตระหนักว่ายาโคเบียนสามารถใช้ในการสร้างสัญญาณที่ถูกต้องซึ่งเมื่อกระจายเป็นผลป้อนกลับเชิงลบกับชั้นอย่างเหมาะสมสามารถปรับเมทริกซ์การลดทอนของลำดับ perceptrons และเครือข่ายโดยรวมจะบรรจบกับพฤติกรรมที่น่าพอใจ ในลำดับของ perceptrons แต่ละองค์ประกอบเรียกว่าเลเยอร์ กลไกความคิดเห็นตอนนี้เรียกว่าการเผยแพร่กลับ

คณิตศาสตร์ที่ใช้ในการแก้ไขเครือข่ายเรียกว่าการไล่ระดับสีเพราะมันเป็นเหมือนชายตาบอดที่ขาดน้ำโดยใช้การไล่ระดับสีของภูมิประเทศเพื่อหาน้ำและปัญหาของการทำเช่นนั้นก็เหมือนกัน เขาอาจพบว่ามีจุดต่ำสุดในท้องถิ่น (จุดต่ำ) ก่อนที่เขาจะพบน้ำจืดและมาบรรจบกับความตายมากกว่าที่จะชุ่มชื้น

โทโพโลยีที่ใหม่กว่าคือการเพิ่มของงานสังสรรที่มีอยู่แล้วที่ใช้ในการคืนค่ารูปภาพดิจิทัลการเรียงลำดับจดหมายและแอปพลิเคชั่นกราฟิกเพื่อสร้างตระกูลทอพอโลยีของ CNN และการใช้งานอย่างชาญฉลาด ตระกูลของทอพอโลยี GAN

Deep เป็นคำพ้องความหมายสำหรับบริบท AI ส่วนใหญ่ บางครั้งมันมีความซับซ้อนในระดับสูงกว่าโทโพโลยี (เหนือผลิตภัณฑ์เวกเตอร์ - เมทริกซ์การเปิดใช้งานและการโน้มน้าวใจ)

การวิจัยเชิงรุกยังคงดำเนินต่อไปโดยผู้ที่ตระหนักถึงความแตกต่างของเครือข่ายลึกเหล่านี้จากสิ่งที่นักวิทยาศาสตร์ทางประสาทได้ค้นพบเมื่อหลายสิบปีก่อนในเนื้อเยื่อสมองของสัตว์เลี้ยงลูกด้วยนม และมีความแตกต่างมากขึ้นที่ถูกค้นพบในวันนี้เนื่องจากวงจรการเรียนรู้และเคมีประสาทในสมองถูกตรวจสอบจากมุมมองจีโนม

  • Neural plasticity ... การเปลี่ยนแปลงโครงสร้างของวงจรเนื่องจากการเติบโตของ dendrite และสัจพจน์ความตายการเปลี่ยนเส้นทางและการแปรเปลี่ยนอื่น ๆ
  • ความซับซ้อนของทอพอโลยี ... สัจพจน์จำนวนมากไขว้เขวโดยไม่ต้องมีการโต้ตอบและจงใจป้องกันจากการพูดคุยข้าม (พูดคุยอิสระ) เป็นไปได้มากที่สุดเพราะมันจะเสียเปรียบที่จะให้พวกเขาเชื่อมต่อ[note 1]
  • การส่งสัญญาณทางเคมี ... สมองของสัตว์เลี้ยงลูกด้วยนมมีสารสื่อประสาทหลายชนิดและสารควบคุมระบบประสาทที่มีผลต่อภูมิภาคในวงจร[หมายเหตุ 2]
  • Organelles ... เซลล์ที่มีชีวิตมีโครงสร้างย่อยมากมายและเป็นที่รู้จักกันว่าหลายประเภทมีความสัมพันธ์ที่ซับซ้อนกับการส่งสัญญาณในเซลล์ประสาท
  • รูปแบบที่แตกต่างกันอย่างสิ้นเชิงของการเปิดใช้งาน ... การเปิดใช้งานในมุ้งประสาทเทียมที่พบเป็นเพียงฟังก์ชั่นที่มีสเกลาลำดับสำหรับทั้งช่วงและโดเมน ... เซลล์ประสาททำงานเลี้ยงลูกด้วยนมเป็นหน้าที่ของทั้งความกว้างและความใกล้ชิดชั่วคราวญาติของสัญญาณขาเข้า[หมายเหตุ 3]

[1] โทโพโลยีเป็นทั้งส่วนย่อยของสถาปัตยกรรม (ในด้านการออกแบบอาคาร, การจัดสรรเครือข่าย, การวิเคราะห์ WWW และเครือข่ายความหมาย) แต่ในเวลาเดียวกันทอพอโลยีเป็นมากกว่าสถาปัตยกรรมที่ศูนย์กลางที่รุนแรงของ AI ทั้งสอง คณิตศาสตร์และการเกิดขึ้นจริงที่มีประสิทธิภาพในระบบควบคุม

[2] บทบาทของวิชาเคมีอาจมีความสำคัญต่อการเรียนรู้พฤติกรรมทางสังคมและการเจริญพันธุ์ที่สัมพันธ์กับการเผยแพร่ข้อมูลดีเอ็นเอการเชื่อมโยงในรูปแบบที่ซับซ้อนการเรียนรู้ในระดับของระบบนิเวศและสมอง นอกจากนี้การเรียนระยะยาวและระยะสั้นยังแบ่งการเรียนรู้ของสมองออกเป็นสองความสามารถที่แตกต่างเช่นกัน

[3] ผลกระทบของจังหวะเวลาของสัญญาณขาเข้าต่อการกระตุ้นเซลล์ประสาททางชีวภาพนั้นมีความเข้าใจในระดับหนึ่ง แต่มันอาจส่งผลกระทบมากกว่าการส่งออกของเซลล์ประสาท มันอาจส่งผลกระทบต่อความสมบูรณ์และเคมีเช่นกันและออร์แกเนลล์อาจมีบทบาทต่อสิ่งนั้น

สรุป

สิ่งที่ห้องสมุดเรียนรู้ของเครื่องทำนั้นเลียนแบบสมองมนุษย์มากเท่ากับตุ๊กตาบาร์บี้และเคนจำลองคู่แท้

อย่างไรก็ตามสิ่งที่น่าทึ่งเกิดขึ้นในด้านการเรียนรู้อย่างลึกล้ำและมันจะไม่แปลกใจเลยถ้ายานพาหนะของตนเองกลายเป็นอิสระอย่างเต็มที่ในช่วงชีวิตของเรา ฉันจะไม่แนะนำให้นักเรียนคนใดเป็นผู้พัฒนา คอมพิวเตอร์อาจจะเขียนโค้ดได้ดีกว่ามนุษย์และมีขนาดของคำสั่งเร็วกว่าและอาจจะเร็ว ๆ นี้ งานบางอย่างไม่ได้เป็นสิ่งที่ชีววิทยาได้พัฒนาและคอมพิวเตอร์สามารถเกินขีดความสามารถของมนุษย์หลังจากการวิจัยเพียงไม่กี่ทศวรรษในที่สุดก็เกินประสิทธิภาพของมนุษย์โดยคำสั่งขนาดใหญ่


มีความแตกต่างอย่างมากระหว่างการขับขี่รถยนต์และการเขียนโปรแกรมคอมพิวเตอร์ การขับขี่รถยนต์เป็นงานที่กำหนดไว้อย่างดีดังนั้นอาจมีวิธีการแสดงว่ามันเป็นปัญหาการประมาณฟังก์ชั่นซึ่งเป็นสาเหตุที่เครือข่ายประสาทอาจตีระฆังฟังก์ชั่นของการใช้ตัวควบคุมรถยนต์ตามอินพุตมีอยู่และอาจเป็น โดยประมาณ ในขณะที่การเขียนโปรแกรมคอมพิวเตอร์ไม่ใช่งานจริงๆมันเป็นลำดับของการตัดสินใจที่ทำในขณะที่คิดเกี่ยวกับสถานการณ์ มันเป็นศิลปะในการเปลี่ยนปัญหาให้เป็นปัญหา
Evgeniy
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.