คำถามติดแท็ก architecture

Modular / Multiple Neural Networks (MNNs) หมุนรอบการฝึกอบรมเครือข่ายอิสระขนาดเล็กที่สามารถป้อนเข้าด้วยกันหรืออีกเครือข่ายที่สูงขึ้น โดยหลักการแล้วองค์กรลำดับขั้นสามารถทำให้เราเข้าใจถึงปัญหาพื้นที่ที่ซับซ้อนมากขึ้นและเข้าถึงการทำงานที่สูงขึ้น แต่ดูเหมือนจะยากที่จะหาตัวอย่างของการวิจัยที่เป็นรูปธรรมที่ทำในอดีตเกี่ยวกับเรื่องนี้ ฉันพบแหล่งข้อมูลไม่กี่แห่ง: https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y ฉันมีคำถามที่เป็นรูปธรรมสองสามข้อ: มีการวิจัยเมื่อเร็ว ๆ นี้เกี่ยวกับการใช้ MNN หรือไม่? มีงานใดบ้างที่ MNNs แสดงประสิทธิภาพที่ดีกว่าอวนเดี่ยวขนาดใหญ่หรือไม่? MNN สามารถใช้สำหรับการจำแนกแบบหลายรูปแบบได้หรือไม่เช่นฝึกอบรมแต่ละเครือข่ายโดยใช้ข้อมูลที่แตกต่างกัน (text vs image) และส่งต่อไปยังตัวกลางระดับสูงกว่าที่ทำงานกับเอาต์พุตทั้งหมดหรือไม่ จากมุมมองของวิศวกรรมซอฟต์แวร์เหล่านี้ไม่สามารถทนต่อความผิดพลาดได้อีกและสามารถแยกได้ง่ายในระบบกระจาย มีงานใดบ้างในการปรับโทโพโลยีของเครือข่ายย่อยแบบไดนามิกโดยใช้กระบวนการเช่น Neural Architecture Search โดยทั่วไปแล้ว MNN ใช้งานได้จริงหรือไม่? ขออภัยหากคำถามเหล่านี้ดูเหมือนไร้เดียงสาฉันเพิ่งเข้ามาใน ML และ CS ในวงกว้างมากขึ้นจากภูมิหลังทางชีววิทยา / ประสาทวิทยาศาสตร์และได้รับความสนใจจากการมีอิทธิพลซึ่งกันและกัน ฉันซาบซึ้งที่คุณสละเวลาและให้ข้อมูลเชิงลึกของคุณ!

16 neural-networks  topology  architecture  neurons  biology 

AlphaGo Zeroมีการปรับปรุงหลายอย่างเมื่อเทียบกับรุ่นก่อน รายละเอียดทางสถาปัตยกรรมของ Alpha Go Zero สามารถดูได้ในเอกสารสูตรนี้ การปรับปรุงอย่างใดอย่างหนึ่งคือการใช้เครือข่ายประสาทเดี่ยวที่คำนวณความน่าจะเป็นในการย้ายและค่าสถานะในเวลาเดียวกันในขณะที่รุ่นเก่าใช้เครือข่ายประสาทสองแยก มันแสดงให้เห็นว่าเครือข่ายประสาทที่ผสานมีประสิทธิภาพมากขึ้นตามเอกสาร: มันใช้เครือข่ายประสาทเทียมเดียวมากกว่าสองเครือข่าย AlphaGo เวอร์ชันก่อนหน้านี้ใช้ "นโยบายเครือข่าย" เพื่อเลือกการเล่นครั้งต่อไปและ "เครือข่ายค่า" เพื่อทำนายผู้ชนะของเกมจากแต่ละตำแหน่ง สิ่งเหล่านี้รวมอยู่ใน AlphaGo Zero เพื่อให้สามารถฝึกอบรมและประเมินผลได้อย่างมีประสิทธิภาพยิ่งขึ้น นี้ดูเหมือนง่าย counter กับผมเพราะจากมุมมองการออกแบบซอฟต์แวร์นี้ละเมิดหลักการแยกของความกังวล นั่นเป็นเหตุผลที่ฉันสงสัยว่าทำไมการผสานนี้ได้รับการพิสูจน์แล้วว่ามีประโยชน์ เทคนิคนี้ - การรวมงานที่แตกต่างกันในโครงข่ายประสาทเทียมเดียวเพื่อปรับปรุงประสิทธิภาพ - สามารถนำไปใช้กับเครือข่ายประสาทอื่น ๆ โดยทั่วไปหรือต้องใช้เงื่อนไขบางอย่างในการทำงานหรือไม่?

10 neural-networks  comparison  architecture  alphago-zero  efficiency