ทำนายความมั่นใจของโครงข่ายประสาทเทียม

สมมติว่าฉันต้องการฝึกโครงข่ายประสาทลึกเพื่อทำการจำแนกหรือการถดถอย แต่ฉันต้องการที่จะรู้ว่าจะมีความมั่นใจในการทำนายอย่างไร ฉันจะบรรลุสิ่งนี้ได้อย่างไร

ความคิดของฉันคือการคำนวณเอนโทรปีของการข้ามสำหรับข้อมูลการฝึกอบรมทุกครั้งซึ่งขึ้นอยู่กับประสิทธิภาพการทำนายของมันในมาตรวัดประสาทข้างต้น จากนั้นฉันจะฝึกโครงข่ายประสาทที่สองสำหรับการถดถอยซึ่งจะใช้แต่ละ datum เป็นอินพุตและมันข้ามเอนโทรปีเป็นเอาท์พุท (หนึ่งโหนดเอาต์พุต) จากนั้นคุณจะใช้ทั้งสองเครือข่ายในการปฏิบัติ - หนึ่งสำหรับการคาดการณ์ของฉลาก / ค่าและอื่น ๆ สำหรับการทำนายความมั่นใจของเครือข่ายแรก (.... แต่ฉันจะต้องมีเครือข่ายที่สามเพื่อทำนายความมั่นใจของเครือข่ายที่สองและอื่น ๆ ... ?!)

นี่เป็นแนวคิดที่ถูกต้องหรือไม่? ยิ่งกว่านั้นมันเป็นความคิดมาตรฐานที่ใช้กันทั่วไปหรือไม่? ถ้าไม่คุณจะแนะนำอะไร

บางทีฉันอาจเข้าใจผิดคำถาม แต่สำหรับการจัดหมวดหมู่ดูเหมือนว่าฉันวิธีมาตรฐานคือการมีเซลล์ประสาทเอาท์พุทสำหรับแต่ละNชั้นเรียน

จากนั้นNเวกเตอร์ของ[0, 1]ค่าเอาต์พุตแสดงถึงความน่าจะเป็นของอินพุตที่เป็นของแต่ละคลาสและสามารถตีความได้ว่าเป็น "ความมั่นใจ" ที่คุณต้องการได้รับ

สำหรับคนที่มีความสนใจในการประมาณค่าความเชื่อมั่น NN ทำนายคุณอาจต้องการที่จะดูที่ออกกลางคันเป็นแบบเบย์ประมาณ: ตัวแทนรุ่นความไม่แน่นอนในการเรียนรู้ลึก (. Gal et al, 2016) สั้น ๆ มันแสดงให้เห็นว่าความแปรปรวนของการคาดการณ์ของเครือข่ายที่มีการออกกลางคันมากกว่าประชากรของการทำงานที่การดำเนินการออกกลางคันสามารถนำมาใช้ในการประมาณการความเชื่อมั่นการทำนาย วิธีการนี้สามารถใช้กับเครือข่ายที่ออกแบบมาเพื่อการจำแนกหรือการถดถอย