เป็นไปได้ที่จะได้รับ ANN ที่ดีขึ้นโดยการลบการเชื่อมต่อบางอย่าง?

ฉันสงสัยว่าในบางสถานการณ์มีความเป็นไปได้ที่ ANN จะทำงานได้ดีขึ้นหรือไม่ถ้าคุณตัดการเชื่อมต่อบางอย่างกับพวกเขาเป็นตัวอย่าง:

สร้าง ANN หนึ่งอันโดยใช้ A และ B หลายชั้นของ ANN แบบสองชั้นในแบบคู่ขนาน (โหนดอินพุตและเอาต์พุตเดียวกัน) เพิ่มการเชื่อมต่อ "การสื่อสาร" สองสามอย่างระหว่างเลเยอร์ A และ B ที่ซ่อนอยู่?

เราจะได้ผลลัพธ์ที่ดีกว่า

นี่ใช้ในทางปฏิบัติหรือไม่ใช้แค่เครือข่ายที่เชื่อมต่อแบบหลายชั้นเสมอ

ใช่มันเป็นไปได้ บางคนมองปัญหานี้โดยละเอียด นี่คือกระดาษเก่าเกี่ยวกับวิธีการทำเช่นนั้น: สมองเสียหายที่เหมาะสมที่สุด

ตามกฎของหัวแม่มือเครือข่ายขนาดเล็กและ / หรือกระจัดกระจายทั่วไปดีกว่า คุณสามารถให้อัลกอริทึมการฝึกอบรมของคุณแยกการเชื่อมต่อที่ไม่จำเป็นภายในเครือข่ายขนาดคงที่โดยใช้การลดน้ำหนักบางรูปแบบหรือคุณสามารถใช้อัลกอริทึมที่มีจุดมุ่งหมายเพื่อเพิ่มประสิทธิภาพสถาปัตยกรรมเครือข่าย / ทอพอโลยี

ดูที่การอ้างอิงเหล่านี้สำหรับแนวคิดและจุดเริ่มต้นสำหรับการวิจัยเพิ่มเติมหรือดูการใช้อัลกอริทึมวิวัฒนาการในการออกแบบตัดและเพิ่มประสิทธิภาพสถาปัตยกรรม

1. Castellano, G. , Fanelli, AM (2000) 'การเลือกตัวแปรโดยใช้โมเดลโครงข่ายประสาทเทียม', Neurcomputing (31)
2. Ji C. , Psaltis D. (1997) 'การสังเคราะห์เครือข่ายผ่านการเติบโตและการเสื่อมสลายของข้อมูล', Neural Networks Vol. 10, No. 6, pp. 1133-1141
3. Narasimha PL et al (2008) 'วิธีการตัดแต่งกิ่งที่เติบโตแบบบูรณาการสำหรับการฝึกอบรมเครือข่ายป้อนอาหาร', Neurocomputing (71), pp. 2831-2847
4. Schuster, A. (2008) 'สถาปัตยกรรมเครือข่ายนิวรัลที่แข็งแกร่ง', 'สมุดบันทึกการคำนวณระหว่างประเทศ (4: 2), หน้า 98-104

ในกรณีส่วนใหญ่ถ้าคุณลบการเชื่อมต่อที่ไม่จำเป็นคุณจะได้รับเครือข่ายที่ดีขึ้น มันง่ายเกินไปที่จะทำการ overtrain (overfit) เครือข่าย --- ซึ่งในกรณีนี้มันจะทำงานได้ไม่ดีในชุดข้อมูลการตรวจสอบความถูกต้อง

การตัดการเชื่อมต่อที่ไม่จำเป็นออกไปอาจช่วยลดโอกาสที่จะเกิด overtraining ได้ โปรดดูที่: http://en.wikipedia.org/wiki/Overfitting

ใช่มันเป็นไปได้ เราสามารถพิจารณาการเชื่อมต่อระหว่าง unites การคำนวณจำนวนของเลเยอร์ที่ซ่อนอยู่รวมกันต่อเลเยอร์ที่ซ่อน ฯลฯ เป็นพารามิเตอร์ไฮเปอร์ เป็นไปได้ที่จะค้นหาค่าที่เหมาะสมที่สุดสำหรับพารามิเตอร์เหล่านี้โดยทำการทดลองหลายชุด

ตัวอย่างเช่น:

คุณสามารถแบ่งชุดข้อมูลของคุณดังนี้: ชุดฝึกอบรม 60% ของข้อมูล, ตรวจสอบข้ามข้อมูล 20% ของข้อมูล, ทดสอบ 20% ของข้อมูล

จากนั้นฝึกอบรม NN ของคุณโดยใช้ชุดข้อมูลการฝึกอบรมและพารามิเตอร์การปรับแต่งโดยใช้ชุดข้อมูลตรวจสอบข้าม

ในที่สุดคุณสามารถใช้ชุดข้อมูลการทดสอบเพื่อประเมินประสิทธิภาพของ NN ของคุณ