ประโยชน์ของการกระจายแบบปกติที่ถูกตัดทอนในการเริ่มต้นน้ำหนักในเครือข่ายประสาทคืออะไร

เมื่อเริ่มต้นน้ำหนักการเชื่อมต่อในเครือข่ายประสาท feedforward เป็นสิ่งสำคัญที่จะเริ่มต้นพวกเขาแบบสุ่มเพื่อหลีกเลี่ยง symmetries ใด ๆ ที่อัลกอริทึมการเรียนรู้จะไม่สามารถทำลาย

คำแนะนำที่ฉันได้เห็นในสถานที่ต่าง ๆ (เช่นในการสอน MNIST ของTensorFlow ) คือการใช้การแจกแจงแบบปกติที่ถูกตัดทอนโดยใช้ค่าเบี่ยงเบนมาตรฐานของโดยที่คือจำนวนอินพุตของ รับชั้นเซลล์ประสาท$\dfrac{1}{\sqrt{N}}$$N$

ฉันเชื่อว่าสูตรค่าเบี่ยงเบนมาตรฐานช่วยให้มั่นใจว่าการไล่ระดับสีที่ backpropagated ไม่ละลายหรือขยายเร็วเกินไป แต่ฉันไม่รู้ว่าทำไมเราจึงใช้การแจกแจงแบบปกติที่ถูกตัดทอนเมื่อเทียบกับการแจกแจงแบบปกติทั่วไป มันคือการหลีกเลี่ยงน้ำหนักผิดปกติที่หายาก?

ฉันคิดว่ามันเกี่ยวกับความอิ่มตัวของเซลล์ประสาท คิดว่าคุณมีฟังก์ชั่นการเปิดใช้งานเช่น sigmoid

หากวาลน้ำหนักของคุณได้รับค่า> = 2 หรือ <= - 2 เซลล์ประสาทของคุณจะไม่เรียนรู้ ดังนั้นหากคุณตัดทอนการกระจายปกติของคุณคุณจะไม่มีปัญหานี้ (อย่างน้อยจากการเริ่มต้น) ตามความแปรปรวนของคุณ ฉันคิดว่านั่นเป็นเหตุผลว่าทำไมจึงควรใช้การตัดแบบปกติโดยทั่วไป

ประโยชน์ของการใช้การกระจายปกติตัดทอนคือการป้องกันไม่ให้เกิดการสร้าง"เซลล์ประสาทตาย"เนื่องจากการrelu_logitsถูกนำมาใช้ซึ่งจะมีการอธิบายที่นี่

โดยทั่วไปเราควรเริ่มต้นน้ำหนักด้วยเสียงเล็กน้อยเพื่อให้ได้สัดส่วนที่สมมาตรและเพื่อป้องกัน 0 การไล่ระดับสี เนื่องจากเราใช้เซลล์ประสาท ReLU จึงเป็นวิธีปฏิบัติที่ดีในการเริ่มต้นเซลล์เหล่านั้นด้วยอคติเริ่มต้นที่เป็นบวกเล็กน้อยเพื่อหลีกเลี่ยง "เซลล์ประสาทที่ตายแล้ว"