เทคนิค“ การออกกลางคัน” คืออะไร?

วิธีการ "ออกกลางคัน" มีจุดประสงค์อะไรและจะปรับปรุงประสิทธิภาพโดยรวมของเครือข่ายประสาทอย่างไร

ดร็อปเอาต์หมายความว่าจุดข้อมูลแต่ละจุดจะใช้เพื่อให้พอดีกับเซตย่อยของเซลล์ประสาทเท่านั้น สิ่งนี้ทำเพื่อทำให้โครงข่ายประสาทเทียมเป็นแบบจำลองทั้งหมด

นั่นคือเช่นเดียวกับการสุ่มป่าโดยเฉลี่ยผลของต้นไม้การตัดสินใจของแต่ละบุคคลคุณสามารถเห็นเครือข่ายประสาทที่ฝึกอบรมโดยใช้การออกกลางคันเพื่อเฉลี่ยผลของเครือข่ายประสาทของแต่ละบุคคล (พร้อมกับ 'ผลลัพธ์' เข้าใจถึงการเปิดใช้งานทุกระดับ มากกว่าแค่เลเยอร์เอาท์พุท)

เอกสารต้นฉบับ¹ที่เสนอชื่อดรอปดาวน์โครงข่ายใยประสาทเทียมมีชื่อว่า: การดรอปเอาต์: วิธีง่ายๆในการป้องกันไม่ให้เครือข่ายใยประสาทเทียมมากเกินไป การพูดแบบนั้นค่อนข้างจะอธิบายได้ง่ายๆในประโยคเดียว การออกกลางคันทำงานโดยการสุ่มเลือกและนำเซลล์ประสาทออกจากโครงข่ายประสาทในระหว่างขั้นตอนการฝึกอบรม โปรดทราบว่าจะไม่ใช้การออกกลางคันระหว่างการทดสอบและเครือข่ายที่เกิดขึ้นจะไม่ออกกลางคันเนื่องจากเป็นส่วนหนึ่งของการทำนาย

นี้กำจัดสุ่ม / การออกกลางคันของเซลล์ประสาทป้องกันไม่ให้มากเกินไปร่วมการปรับตัวของเซลล์ประสาทและทำเพื่อลดความน่าจะเป็นของเครือข่ายoverfiting

การกำจัดเซลล์ประสาทแบบสุ่มในระหว่างการฝึกอบรมก็หมายความว่า ณ เวลาใดก็ตามมีเพียงส่วนหนึ่งของเครือข่ายดั้งเดิมที่ได้รับการฝึกฝน นี่เป็นเอฟเฟ็กต์ที่คุณจะได้รับจากการฝึกอบรมหลายเครือข่ายย่อยเช่น:

มันมาจากการฝึกอบรมซ้ำของเครือข่ายย่อยเมื่อเทียบกับเครือข่ายทั้งหมดที่ความคิดของเครือข่ายนิวรัล dropout เป็นประเภทของเทคนิคการรวมเข้ามา Ie การฝึกอบรมของเครือข่ายย่อยจะคล้ายกับการฝึกอบรมจำนวนมาก แบบจำลองและการรวมเข้าด้วยกันเพื่อสร้างอัลกอริทึมหนึ่งที่มีประสิทธิภาพมากกว่าส่วนต่าง ๆ

อ้างอิง:

_{¹ : Srivastava, Nitish และคณะ "การออกกลางคัน: วิธีง่ายๆในการป้องกันเครือข่ายประสาทเทียมจากการโอเวอร์โหลด" วารสารการวิจัยการเรียนรู้ของเครื่อง 15.1 (2014): 1929-1958}

ฉันจะพยายามตอบคำถามของคุณโดยใช้ความคิดของ Geoffrey Hinton ในกระดาษดรอปดาวน์และชั้นเรียน Coursera ของเขา

วิธีการ "ออกกลางคัน" มีจุดประสงค์อะไร?

โครงข่ายประสาทส่วนลึกที่มีพารามิเตอร์จำนวนมากเป็นระบบการเรียนรู้ของเครื่องที่ทรงพลังมาก อย่างไรก็ตามการ overfitting เป็นปัญหาร้ายแรงในเครือข่ายดังกล่าว เครือข่ายขนาดใหญ่นั้นใช้งานช้าทำให้ยากที่จะจัดการกับการ overfitting โดยการรวมการทำนายของอวนประสาทขนาดใหญ่ที่แตกต่างกันจำนวนมากในเวลาทดสอบ การออกกลางคันเป็นเทคนิคในการแก้ไขปัญหานี้

ดังนั้นมันจึงเป็นเทคนิคการทำให้เป็นมาตรฐานซึ่งแก้ปัญหาการ overfitting (ความแปรปรวนสูง)

ปรับปรุงประสิทธิภาพโดยรวมอย่างไร
โดยทั่วไปดีกว่าและไม่ตกหลุมพราง

มีคำตอบดีๆอยู่ที่นี่ คำอธิบายที่ง่ายที่สุดที่ฉันสามารถให้ได้สำหรับการออกกลางคันคือมันแยกเซลล์ประสาทบางส่วนและการเชื่อมต่อจากเครือข่ายในขณะฝึกอบรมเพื่อหยุดเซลล์ประสาทจาก "การปรับตัว" มากเกินไป มันมีผลในการทำให้แต่ละเซลล์ประสาทนำไปใช้โดยทั่วไปและเป็นเลิศสำหรับการหยุด overfitting สำหรับเครือข่ายประสาทขนาดใหญ่