โครงข่ายประสาทที่ทันสมัยที่สร้างโทโพโลยีของตนเอง

ข้อ จำกัด ของอัลกอริทึมโครงข่ายประสาทแบบมาตรฐาน (เช่น backprop) คือคุณต้องตัดสินใจออกแบบจำนวนเลเยอร์ที่ซ่อนอยู่และเซลล์ประสาทต่อเลเยอร์ที่คุณต้องการ โดยทั่วไปแล้วอัตราการเรียนรู้และการวางนัยทั่วไปมีความไวสูงต่อตัวเลือกเหล่านี้ นี่เป็นเหตุผลว่าทำไมอัลกอริธึมโครงข่ายประสาทเช่นความสัมพันธ์แบบเรียงซ้อนได้สร้างความสนใจ มันเริ่มต้นด้วยโครงสร้างขั้นต่ำสุด (เพียงแค่หน่วยอินพุตและเอาต์พุต) และรับสมัครหน่วยที่ซ่อนใหม่เมื่อการเรียนรู้ดำเนินไป

อัลกอริทึม CC-NN ได้รับการแนะนำโดย Fahlman ในปี 1990 และเวอร์ชันที่เกิดขึ้นซ้ำในปี 1991 อะไรคืออัลกอริทึม net neural net (post 1992) ล่าสุดที่เริ่มต้นด้วย topology ที่น้อยที่สุดคืออะไร

คำถามที่เกี่ยวข้อง

CogSci.SE: โครงข่ายประสาทเทียมที่มีความน่าเชื่อถือทางชีววิทยาของบัญชี neurogenesis

คำถามโดยนัยที่นี่คือวิธีที่คุณสามารถกำหนดโทโพโลยี / โครงสร้างของโครงข่ายใยประสาทหรือรูปแบบการเรียนรู้ของเครื่องเพื่อให้โมเดลเป็น "ขนาดที่เหมาะสม" และไม่มีการกำหนดค่าสูงสุด / underfitting

ตั้งแต่ความสัมพันธ์ที่เกี่ยวข้องกับน้ำตกย้อนกลับไปในปี 2533 มีวิธีการทั้งหมดในการทำเช่นนี้หลายคนมีคุณสมบัติทางสถิติหรือการคำนวณที่ดีกว่ามาก:

• การส่งเสริม: ฝึกผู้เรียนที่อ่อนแอในแต่ละครั้งกับผู้เรียนที่อ่อนแอแต่ละคนจะได้รับชุดการฝึกอบรมแบบถ่วงน้ำหนักเพื่อที่จะได้เรียนรู้สิ่งต่าง ๆ ที่ผู้เรียนในอดีตไม่ได้เรียนรู้
• sparsity inducing normalization เช่น lasso หรือการกำหนดความเกี่ยวข้องอัตโนมัติ: เริ่มต้นด้วยรุ่น / เครือข่ายขนาดใหญ่และใช้ regularizer ที่สนับสนุนให้หน่วยที่ไม่จำเป็นต้องได้รับ "ปิด" ทิ้งสิ่งที่มีประโยชน์ให้ใช้งานอยู่
• Bayesian nonparametrics: ลืมพยายามหาขนาดของรูปแบบ "ถูกต้อง" เพียงใช้โมเดลขนาดใหญ่หนึ่งอันและระมัดระวังกับการทำให้เป็นปกติ / เป็นแบบเบย์เพื่อให้คุณไม่พอดี ตัวอย่างเช่นโครงข่ายประสาทเทียมที่มีจำนวนยูนิตไม่ จำกัด และภิกษุแบบเกาส์สามารถได้รับเป็นกระบวนการแบบเกาส์ซึ่งจะทำให้การฝึกง่ายขึ้นมาก
• การเรียนรู้เชิงลึก: ดังที่ระบุไว้ในคำตอบอื่นฝึกอบรมเครือข่ายลึกทีละชั้น สิ่งนี้ไม่ได้แก้ปัญหาการพิจารณาจำนวนหน่วยต่อชั้น - บ่อยครั้งที่สิ่งนี้ยังคงถูกตั้งค่าด้วยมือหรือการตรวจสอบข้าม

วิธีการเกี่ยวกับ NeuroEvolution ของการเติมโทโพโลยี (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

ดูเหมือนว่าจะทำงานสำหรับปัญหาที่เรียบง่าย แต่ INCREDIBLY ช้ามาบรรจบกัน

ดังที่ฉันเข้าใจดีที่สุดของศิลปะวันนี้คือ "การเรียนรู้คุณสมบัติที่ไม่ได้รับการสนับสนุนและการเรียนรู้ลึก" โดยสรุป: เครือข่ายกำลังได้รับการฝึกฝนในลักษณะที่ไม่ได้รับอนุญาตแต่ละเลเยอร์ในแต่ละครั้ง:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

มีการกล่าวถึง NEAT อยู่แล้ว (วิวัฒนาการของระบบประสาทด้วยการเติมโทโพโลยี) มีความก้าวหน้าในเรื่องนี้รวมถึงการเก็งกำไรและ HyperNEAT HyperNEAT ใช้เครือข่าย 'meta' เพื่อปรับน้ำหนักของฟีโนไทป์ที่เชื่อมต่ออย่างสมบูรณ์ สิ่งนี้จะช่วยให้เครือข่าย 'การรับรู้พิเศษ' ของเครือข่ายซึ่งมีคุณค่าในการรู้จำภาพและปัญหาประเภทเกมกระดาน คุณไม่ จำกัด 2D เช่นกัน ฉันใช้มันใน 1D สำหรับการวิเคราะห์สัญญาณและ 2D ขึ้นไปเป็นไปได้ แต่มีความต้องการในการประมวลผลมาก มองหาเอกสารโดย Ken Stanley และมีกลุ่มใน Yahoo หากคุณมีปัญหาที่สามารถเชื่อมต่อกับเครือข่ายได้ NEAT และ / หรือ HyperNEAT อาจใช้งานได้ดี

มีบทความที่ค่อนข้างล่าสุดในหัวข้อนี้: RP Adams, H. Wallach และ Zoubin Ghahramani เรียนรู้โครงสร้างของตัวแบบกราฟิกที่กระจัดกระจาย นี่คือนอกชุมชนเครือข่ายประสาทปกติและอื่น ๆ อีกมากมายในด้านการเรียนรู้ของเครื่อง กระดาษใช้การอนุมานแบบไม่อิงพารามิเตอร์แบบเบส์ในโครงสร้างเครือข่าย