Relu มีการไล่ระดับสี 0 ค่าตามนิยามดังนั้นทำไมการไล่ระดับสีหายไปจึงไม่เป็นปัญหาสำหรับ x <0

ตามคำนิยาม Relu max(0,f(x))คือ จากนั้นการไล่ระดับสีของมันจะถูกกำหนดเป็น: 1 if x > 0 and 0 if x < 0.

นี่ไม่ได้หมายความว่าการไล่ระดับสีจะเป็น 0 เสมอ (หายไป) เมื่อ x <0 ใช่ไหม แล้วทำไมเราถึงบอกว่า Relu ไม่ประสบปัญหาไล่ระดับสีหายไป?

คุณถูกต้องที่สุด! ReLU มีปัญหากับการไล่ระดับสีหายไป แต่มีเพียงด้านเดียวดังนั้นเราจึงเรียกมันว่าอย่างอื่น: 'ปัญหา ReLU ที่กำลังจะตาย' ดูการตอบสนองสแต็กล้นสำหรับข้อมูลเพิ่มเติม: ปัญหา "ตาย ReLU" ในเครือข่ายประสาทคืออะไร

มันเป็นความแตกต่างทางความหมายเล็ก ๆ ฟังก์ชั่นมากมาย (tanh และ logistic / sigmoid) มีอนุพันธ์ใกล้เคียงกับศูนย์มากเมื่อคุณอยู่นอกช่วงปฏิบัติการมาตรฐาน นี่คือปัญหา 'การไล่ระดับสีที่หายไป' ยิ่งคุณได้รับยิ่งแย่เท่าไหร่ก็ยิ่งยากที่จะกลับไปสู่โซนที่ดี ReLU ไม่ได้แย่กว่าคุณมากไปในทิศทางที่เป็นบวกดังนั้นจึงไม่มีปัญหาการไล่ระดับสีหายไป (ด้านนั้น) ความไม่สมดุลนี้อาจจะเพียงพอที่จะแสดงให้เห็นถึงการเรียกสิ่งที่แตกต่าง แต่ความคิดค่อนข้างคล้ายกัน

การหายไปหมายความว่ามันมีค่าเป็น 0 แต่จะไม่มีวันเป็น 0 การไล่ระดับสีเป็น 0 ทำให้การคำนวณง่ายมากการมีการไล่ระดับสีใกล้กับ 0 หมายความว่ามีการเปลี่ยนแปลงมีเพียงการเปลี่ยนแปลงเล็ก ๆ น้อย ๆ เท่านั้น 1 และ 0 เป็นตัวเลขสองตัวที่ง่ายที่สุดในการคำนวณในปัญหาการเพิ่มประสิทธิภาพเหล่านี้