คำถามติดแท็ก topology

Modular / Multiple Neural Networks (MNNs) หมุนรอบการฝึกอบรมเครือข่ายอิสระขนาดเล็กที่สามารถป้อนเข้าด้วยกันหรืออีกเครือข่ายที่สูงขึ้น โดยหลักการแล้วองค์กรลำดับขั้นสามารถทำให้เราเข้าใจถึงปัญหาพื้นที่ที่ซับซ้อนมากขึ้นและเข้าถึงการทำงานที่สูงขึ้น แต่ดูเหมือนจะยากที่จะหาตัวอย่างของการวิจัยที่เป็นรูปธรรมที่ทำในอดีตเกี่ยวกับเรื่องนี้ ฉันพบแหล่งข้อมูลไม่กี่แห่ง: https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y ฉันมีคำถามที่เป็นรูปธรรมสองสามข้อ: มีการวิจัยเมื่อเร็ว ๆ นี้เกี่ยวกับการใช้ MNN หรือไม่? มีงานใดบ้างที่ MNNs แสดงประสิทธิภาพที่ดีกว่าอวนเดี่ยวขนาดใหญ่หรือไม่? MNN สามารถใช้สำหรับการจำแนกแบบหลายรูปแบบได้หรือไม่เช่นฝึกอบรมแต่ละเครือข่ายโดยใช้ข้อมูลที่แตกต่างกัน (text vs image) และส่งต่อไปยังตัวกลางระดับสูงกว่าที่ทำงานกับเอาต์พุตทั้งหมดหรือไม่ จากมุมมองของวิศวกรรมซอฟต์แวร์เหล่านี้ไม่สามารถทนต่อความผิดพลาดได้อีกและสามารถแยกได้ง่ายในระบบกระจาย มีงานใดบ้างในการปรับโทโพโลยีของเครือข่ายย่อยแบบไดนามิกโดยใช้กระบวนการเช่น Neural Architecture Search โดยทั่วไปแล้ว MNN ใช้งานได้จริงหรือไม่? ขออภัยหากคำถามเหล่านี้ดูเหมือนไร้เดียงสาฉันเพิ่งเข้ามาใน ML และ CS ในวงกว้างมากขึ้นจากภูมิหลังทางชีววิทยา / ประสาทวิทยาศาสตร์และได้รับความสนใจจากการมีอิทธิพลซึ่งกันและกัน ฉันซาบซึ้งที่คุณสละเวลาและให้ข้อมูลเชิงลึกของคุณ!

16 neural-networks  topology  architecture  neurons  biology 

ฉันได้ยินมาหลายครั้งแล้วว่า "โครงข่ายประสาทเทียมเป็นวิธีการประมาณที่ดีที่สุดที่เราต้องจำลองสมองมนุษย์" และฉันคิดว่าเป็นที่รู้กันทั่วไปว่าโครงข่ายประสาทเทียมจำลองมาจากสมองของเรา ฉันสงสัยอย่างยิ่งว่ารุ่นนี้เรียบง่าย แต่มีราคาเท่าใด วานิลลา NN ต่างจากสิ่งที่เรารู้เกี่ยวกับสมองมนุษย์เท่าไหร่ พวกเรารู้ด้วยหรือไม่

16 neural-networks  brain  topology 

สมมติว่าฉันต้องการแก้ปัญหาด้วยโครงข่ายประสาทที่อาจไม่เหมาะกับโทโพโลยีที่มีอยู่แล้ว (perceptron, Konohen, ฯลฯ ) หรือฉันไม่ได้ตระหนักถึงการดำรงอยู่ของสิ่งเหล่านั้นหรือฉันไม่เข้าใจพวกเขา กลไกและฉันพึ่งพาตัวเองแทน ฉันจะเลือกโทโพโลยีอัตโนมัติ (นั่นคือจำนวนเลเยอร์ชนิดของการเปิดใช้งานประเภทและทิศทางของการเชื่อมต่อ ฯลฯ ) ของเครือข่ายประสาทเทียมสำหรับปัญหาที่เกิดขึ้นตามอำเภอใจได้อย่างไร ฉันเป็นผู้เริ่มต้น แต่ฉันก็รู้ว่าในโทโพโลยีบางอย่าง (หรืออย่างน้อยก็เป็น perceptrons) มันยากมากถ้าไม่สามารถเข้าใจกลไกภายในเนื่องจากเซลล์ประสาทของเลเยอร์ที่ซ่อนอยู่ไม่แสดงบริบททางคณิตศาสตร์ที่มีความหมาย

14 neural-networks  topology  neuroevolution 

ปิด คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้มุ่งเน้นที่ปัญหาเดียวโดยแก้ไขโพสต์นี้ ปิดให้บริการใน29 วันที่ผ่านมา เรขาคณิตและ AI เมทริกซ์, ก้อน, ชั้น, กองและวรรณะเป็นสิ่งที่เราสามารถเรียกได้อย่างถูกต้องโครงสร้าง พิจารณาโทโพโลยีในบริบทนี้การออกแบบทางเรขาคณิตระดับสูงของระบบการเรียนรู้ เมื่อความซับซ้อนเพิ่มขึ้นก็มักจะมีประโยชน์ในการแสดงโครงสร้างเหล่านี้เป็นโครงสร้างกราฟกำกับ แผนภาพสถานะและผลงานของมาร์คอฟเกี่ยวกับทฤษฎีเกมเป็นสองสถานที่ซึ่งมักใช้กราฟกำกับ กราฟกำกับมีจุดยอด (มักจะมองเห็นเป็นรูปร่างปิด) และขอบมักมองเห็นเป็นลูกศรที่เชื่อมต่อรูปร่าง นอกจากนี้เรายังสามารถเป็นตัวแทนของ GANs เป็นกราฟกำกับซึ่งผลลัพธ์ของแต่ละเน็ตไดรฟ์จะช่วยฝึกอบรมเรื่องอื่น ๆ ในลักษณะที่เป็นปฏิปักษ์ GANs คล้ายกับแถบMöbiusทอพอโลยี เราไม่สามารถค้นพบการออกแบบและสถาปัตยกรรมใหม่ ๆ โดยไม่เข้าใจไม่เพียง แต่คณิตศาสตร์ของการมาบรรจบกันบนทางออกที่ดีที่สุดหรือการติดตาม แต่ยังรวมถึงทอพอโลยีของการเชื่อมต่อเครือข่ายที่สามารถรองรับการบรรจบกัน มันเหมือนกับการพัฒนาตัวประมวลผลครั้งแรกในขณะที่จินตนาการถึงสิ่งที่ระบบปฏิบัติการต้องการก่อนที่จะเขียนระบบปฏิบัติการ หากต้องการดูว่าเราไม่ได้พิจารณาโทโพโลยีแบบใดเรามาดูกันว่ามีใครบ้าง ขั้นตอนที่หนึ่ง - การอัดขึ้นรูปในมิติที่สอง ในปี 1980 ความสำเร็จประสบความสำเร็จด้วยการขยายการออกแบบ perceptron ดั้งเดิม นักวิจัยได้เพิ่มมิติที่สองเพื่อสร้างเครือข่ายประสาทหลายชั้น การบรรจบกันอย่างมีเหตุผลนั้นเกิดขึ้นได้จากการย้อนกลับของการไล่ระดับของฟังก์ชันข้อผิดพลาดผ่านการไล่ระดับสีของฟังก์ชั่นการเปิดใช้งานซึ่งลดทอนโดยอัตราการเรียนรู้และชุบด้วย meta-parameters อื่น ๆ ขั้นตอนที่สอง - การเพิ่มมิติให้กับสัญญาณอินพุตแบบไม่ต่อเนื่อง เราเห็นการเกิดขึ้นของเครือข่าย …

12 convolutional-neural-networks  natural-language-processing  topology  graph-theory  structure 

เครือข่าย Hopfield สามารถเก็บเวกเตอร์และดึงข้อมูลได้โดยเริ่มจากรุ่นที่มีเสียงดัง พวกมันทำการตั้งค่าตุ้มน้ำหนักเพื่อลดฟังก์ชั่นพลังงานเมื่อเซลล์ประสาททั้งหมดถูกตั้งค่าให้เท่ากับค่าเวกเตอร์และดึงเวกเตอร์โดยใช้เสียงรบกวนในรูปแบบของอินพุต ออกจากปัญหาเช่นความจริงที่ว่าไม่มีการรับประกันว่าเน็ตจะตั้งอยู่ในขั้นต่ำที่ใกล้ที่สุด - ปัญหาในที่สุดก็แก้ไขได้ด้วยเครื่องจักร Boltzmann และในที่สุดก็มีการขยายพันธุ์กลับ - การพัฒนาเป็นจุดเริ่มต้นสำหรับการเป็นตัวแทนนามธรรม เอกสารเดียวกันสองเวอร์ชันจะเรียกคืนสถานะเดียวกันพวกเขาจะถูกแสดงในเครือข่ายโดยสถานะเดียวกัน อย่างที่ Hopfield เขียนในเครือข่ายนิวรัลและระบบทางกายภาพของกระดาษในปี 1982 ด้วยความสามารถในการคำนวณแบบกลุ่ม การสร้างแบบจำลองในปัจจุบันนั้นอาจเกี่ยวข้องกับวิธีการที่หน่วยความจำหรือเกสตัลท์ถูกจดจำหรือจัดหมวดหมู่บนพื้นฐานของปัจจัยการผลิตที่เป็นตัวแทนของคอลเลกชันของคุณสมบัติ ในอีกด้านหนึ่งการพัฒนาอย่างลึกซึ้งของการเรียนรู้ลึกคือความสามารถในการสร้างตัวแทนที่หลากหลายและเป็นลำดับชั้นของอินพุตในที่สุดนำไปสู่การทำให้ชีวิตของผู้ปฏิบัติงาน AI ง่ายขึ้นและง่ายขึ้น (ดูตัวอย่างการเรียนรู้จากการเป็นตัวแทน: บทวิจารณ์และมุมมองใหม่เบงจิโอ Courville วินเซนต์) จากมุมมองแนวคิดผมเชื่อว่าเราสามารถเห็นการเรียนรู้อย่างลึกซึ้งในฐานะภาพรวมของอวน Hopfield: จากการแสดงเพียงครั้งเดียวไปจนถึงลำดับชั้นของการเป็นตัวแทน นั่นเป็นความจริงจากมุมมองการคำนวณ / ทอพอโลยีเช่นกัน? ไม่ได้พิจารณาว่าเครือข่าย Hopfield "ง่าย" นั้นเป็นอย่างไร (เซลล์ประสาท 2 สถานะ, ไม่ระบุทิศทาง, ฟังก์ชั่นด้านพลังงาน) สามารถมองเห็นแต่ละชั้นของเครือข่ายเป็นเครือข่าย Hopfield และกระบวนการทั้งหมดเป็นการแยกตามลำดับของ Gestalt ที่จดจำไว้ก่อนหน้านี้ เกสตัลต์เหล่านี้หรือไม่

11 deep-learning  topology