จะอธิบายการทำให้เป็นมาตรฐานของการออกกลางคันในศัพท์ง่ายๆได้อย่างไร?

หากคุณมีครึ่งหน้าเพื่ออธิบายการออกกลางคันคุณจะดำเนินการอย่างไร เหตุผลใดที่อยู่เบื้องหลังเทคนิคนี้

บทคัดย่อของบทความกลางคันดูเหมือนว่ามีประโยชน์อย่างสมบูรณ์

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov, "การตกกลางคัน: วิธีง่ายๆในการป้องกันเครือข่ายประสาทจากการใส่ตัวเกิน ", วารสารวิจัยการเรียนรู้ของเครื่อง , 2014

โครงข่ายประสาทส่วนลึกที่มีพารามิเตอร์จำนวนมากเป็นระบบการเรียนรู้ของเครื่องที่ทรงพลังมาก อย่างไรก็ตามการ overfitting เป็นปัญหาที่ร้ายแรงในเครือข่ายดังกล่าว เครือข่ายขนาดใหญ่นั้นใช้งานช้าทำให้ยากที่จะจัดการกับการ overfitting โดยการรวมการทำนายของตาข่ายประสาทขนาดใหญ่ที่แตกต่างกันจำนวนมากในเวลาทดสอบ การออกกลางคันเป็นเทคนิคในการแก้ไขปัญหานี้ แนวคิดหลักคือการสุ่มวางหน่วย (พร้อมกับการเชื่อมต่อ) จากเครือข่ายประสาทเทียมในระหว่างการฝึก สิ่งนี้จะช่วยป้องกันไม่ให้หน่วยปรับตัวมากเกินไป ในระหว่างการฝึกอบรมให้ดรอปตัวอย่างจากจำนวนเอ็กซ์โพเนนเชียลของเครือข่าย“ thinned” ที่แตกต่างกัน ในเวลาทดสอบมันง่ายที่จะประมาณผลของการเฉลี่ยการทำนายของเครือข่าย thinned เหล่านี้เพียงแค่ใช้เครือข่าย unthinned เดียวที่มีน้ำหนักที่เล็กกว่า สิ่งนี้จะช่วยลดการ overfitting อย่างมีนัยสำคัญและให้การปรับปรุงที่สำคัญกว่าวิธีการ normalization อื่น ๆ เราแสดงให้เห็นว่าการออกกลางคันช่วยเพิ่มประสิทธิภาพของเครือข่ายประสาทในงานการเรียนรู้ภายใต้การดูแลในการมองเห็นการรู้จำเสียงการจำแนกเอกสารและชีววิทยาการคำนวณเพื่อให้ได้ผลลัพธ์ที่ทันสมัยในชุดข้อมูลมาตรฐานหลายชุด

หากคุณอ่านบทความนี้คุณจะพบคำอธิบายว่าพฤติกรรมการปรับตัวร่วมหมายถึงอะไรในบริบทของดรอปเอาท์

ในเครือข่ายนิวรัลมาตรฐานอนุพันธ์ที่ได้รับจากพารามิเตอร์แต่ละตัวจะบอกว่ามันควรจะเปลี่ยนแปลงอย่างไรเพื่อให้ฟังก์ชั่นการสูญเสียครั้งสุดท้ายลดลงตามสิ่งที่หน่วยอื่น ๆ กำลังทำอยู่ ดังนั้นหน่วยอาจมีการเปลี่ยนแปลงในทางที่พวกเขาแก้ไขข้อผิดพลาดของหน่วยอื่น ๆ สิ่งนี้อาจนำไปสู่การดัดแปลงร่วมที่ซับซ้อน สิ่งนี้จะนำไปสู่การ overfitting เพราะการดัดแปลงร่วมเหล่านี้ไม่ได้ทำให้ข้อมูลที่มองไม่เห็น เราตั้งสมมติฐานว่าสำหรับแต่ละหน่วยที่ซ่อนอยู่การออกกลางคันจะช่วยป้องกันการปรับตัวโดยการทำให้หน่วยที่ซ่อนอยู่อื่นไม่น่าเชื่อถือ ดังนั้นหน่วยที่ซ่อนอยู่ไม่สามารถพึ่งพาหน่วยเฉพาะอื่น ๆ เพื่อแก้ไขข้อผิดพลาดได้ มันจะต้องทำงานได้ดีในหลากหลายบริบทที่แตกต่างกันโดยหน่วยซ่อนอื่น ๆ เพื่อสังเกตผลกระทบนี้โดยตรง

คำตอบนี้เป็นคำตอบที่ยอดเยี่ยมของ Sycorax สำหรับผู้อ่านที่ต้องการดูว่าการใช้งานกลางคันนั้นเป็นอย่างไร

เมื่อใช้การออกกลางคันในเครือข่ายประสาทเทียมเราจำเป็นต้องชดเชยความจริงที่ว่าในช่วงเวลาการฝึกส่วนหนึ่งของเซลล์ประสาทถูกปิดการใช้งาน ในการทำเช่นนั้นมีกลยุทธ์ทั่วไปสองประการ:

1. อินเวอร์การดรอปเอาท์ในระหว่างขั้นตอนการฝึก:

2. การปรับขนาดการเปิดใช้งานในเวลาทดสอบ:

/pจะถูกย้ายจากการฝึกอบรมเพื่อการพยากรณ์รหัสที่มันจะกลายเป็น*p:

ทั้งสามสไลด์มาจากการบรรยาย 6จากStandford CS231n: Convolutional โครงข่ายประสาทเทียมสำหรับ Visual รับรู้

ออกกลางคันชั่วครู่ (ในชุดของข้อมูลอินพุต) ปิดเซลล์ประสาทบางอย่างในชั้นเพื่อให้พวกเขาไม่ได้มีส่วนร่วมในข้อมูลใด ๆ หรือเรียนรู้ข้อมูลใด ๆ ในระหว่างการปรับปรุงเหล่านั้นและความรับผิดชอบอยู่บนเซลล์ประสาทอื่น ๆ ที่ใช้งาน

ถ้าฉันต้องอธิบายดรอปดาวน์ถึงเด็กอายุ 6 ขวบนี่คือวิธี: ลองนึกภาพสถานการณ์ในห้องเรียนครูถามคำถาม แต่มีเด็กสองคนตอบรับทันทีเสมอ ตอนนี้ครูขอให้พวกเขาอยู่เงียบ ๆ สักพักแล้วปล่อยให้นักเรียนคนอื่นเข้าร่วม วิธีนี้นักเรียนคนอื่น ๆ จะได้เรียนรู้ที่ดีขึ้น บางทีพวกเขาอาจตอบผิด แต่ครูสามารถแก้ไขได้ (อัปเดตน้ำหนัก) วิธีนี้ทั้งคลาส (เลเยอร์) เรียนรู้เกี่ยวกับหัวข้อที่ดีขึ้น

คุณสามารถดูการดรอปเอาท์เป็นความน่าจะเป็นก่อนหน้านี้ได้ว่าคุณลักษณะ (หรือคุณลักษณะแฝงในเลเยอร์กลางบางส่วน) ไม่สำคัญ - เช่นเข็ม (จุดมวลที่ศูนย์ = คุณลักษณะไม่สำคัญ) และพื้น (แบน = ไม่ใช่ reglarized ก่อนหน้าข้ามพื้นที่พารามิเตอร์ทั้งหมด) ก่อนหน้า

ที่สำคัญสิ่งนี้ช่วยให้คุณไม่เพียง แต่ปรับสภาพของแบบจำลองให้เป็นปกติ แต่ยังเพื่อให้ได้ความไม่แน่นอนเกี่ยวกับการอนุมาน เรื่องนี้จะกล่าวถึงในวิทยานิพนธ์และเอกสาร (เช่นนี้ ) ของ Yarin Gal