เหตุใดเครือข่ายประสาทจึงทำงานได้ดีขึ้นโดยมีข้อ จำกัด ด้านโทโพโลยีของพวกเขา

เชื่อมต่ออย่างสมบูรณ์ (อย่างน้อยเลเยอร์ถึงเลเยอร์ที่มีมากกว่า 2 เลเยอร์ที่ซ่อนอยู่) เครือข่าย backprop เป็นผู้เรียนที่เป็นสากล น่าเสียดายที่พวกเขามักจะเรียนรู้ช้าและมีแนวโน้มที่จะกระชับหรือมีลักษณะทั่วไปที่น่าอึดอัดใจ

จากการหลอกลวงรอบ ๆ ด้วยเครือข่ายเหล่านี้ฉันได้สังเกตว่าการตัดขอบบางส่วน (เพื่อให้น้ำหนักของพวกเขานั้นเป็นศูนย์และเป็นไปไม่ได้ที่จะเปลี่ยนแปลง) มีแนวโน้มที่จะทำให้เครือข่ายเรียนรู้ได้เร็วขึ้น มีเหตุผลสำหรับสิ่งนี้หรือไม่? เป็นเพราะการลดขนาดของพื้นที่ค้นหาตุ้มน้ำหนักหรือมีเหตุผลที่ลึกซึ้งกว่านี้หรือไม่

ยิ่งไปกว่านั้นการวางนัยทั่วไปที่ดีกว่าเป็นสิ่งประดิษฐ์ของปัญหา 'ธรรมชาติ' ที่ฉันกำลังมองหาอยู่?

จำนวนโหนด / ขอบที่น้อยลง (หรือขอบที่มีตุ้มน้ำหนักคงที่) หมายความว่ามีพารามิเตอร์น้อยลงซึ่งจำเป็นต้องค้นหาค่าและโดยทั่วไปจะช่วยลดเวลาในการเรียนรู้ นอกจากนี้เมื่อมีพารามิเตอร์น้อยลงพื้นที่ที่สามารถแสดงออกโดยเครือข่ายประสาทเทียมมีขนาดน้อยลงดังนั้นเครือข่ายประสาทเทียมสามารถแสดงแบบจำลองทั่วไปได้มากขึ้นเท่านั้น มันจึงมีความสามารถน้อยกว่าในการปรับข้อมูลให้เหมาะสมและด้วยเหตุนี้ตัวแบบจะดูกว้างกว่า

ด้วยการตัดขอบคุณได้ลดพื้นที่การค้นหาสำหรับอัลกอริทึมการฝึกอบรมซึ่งจะมีผลตอบแทนตามเวลาที่กำหนด คุณได้แนะนำข้อ จำกัด เกี่ยวกับฟังก์ชั่นที่เครือข่ายสามารถจำลอง ข้อ จำกัด อาจบังคับให้แบบจำลองของคุณค้นหาโซลูชันทั่วไปเพิ่มเติมเนื่องจากข้อ จำกัด ที่แม่นยำกว่านั้นไม่สามารถเข้าถึงได้ เทคนิคทั่วไปสำหรับการฝึกอบรมโครงข่ายประสาทเทียมคือการใช้เทคนิคการไล่ระดับสี ผลที่ตามมาของการตัดแต่งอาจเป็นไปได้ว่าคุณได้กำจัด minima ท้องถิ่นบางส่วนในแนวนอนของพารามิเตอร์ที่อนุญาตให้อัลกอริทึมการฝึกอบรมค้นหาวิธีแก้ไขปัญหาที่ดีกว่าอีกครั้ง

ฉันจะไม่แปลกใจถ้าลักษณะทั่วไปที่ดีขึ้นของคุณเกี่ยวข้องกับปัญหาที่คุณกำลังดู ฉันสนุกกับการประสบความสำเร็จกับโครงข่ายประสาทเทียมที่โมเดลต้นแบบมีโครงสร้างที่ต่อเนื่องในขณะที่กรณีที่มีความไม่ต่อเนื่อง โปรดทราบว่าประสิทธิภาพเครือข่ายประสาทมักเกี่ยวข้องอย่างใกล้ชิดกับวิธีการจัดโครงสร้างอินพุตและเอาต์พุตของคุณ