ทำไม ReLU ถึงดีกว่าฟังก์ชั่นการเปิดใช้งานอื่น ๆ

ที่นี่คำตอบหมายถึงการหายไปและการไล่ระดับสีแบบกระจายที่sigmoidฟังก์ชั่นการเปิดใช้งานเหมือนกัน แต่ฉันเดาว่าReluมีข้อเสียและเป็นค่าที่คาดหวัง ไม่มีข้อ จำกัด สำหรับเอาต์พุตของReluดังนั้นค่าที่คาดหวังจะไม่เป็นศูนย์ ผมจำได้ว่าช่วงเวลาก่อนที่ความนิยมของReluที่เป็นที่นิยมมากที่สุดในหมู่เครื่องผู้เชี่ยวชาญด้านการเรียนรู้มากกว่าtanh sigmoidเหตุผลก็คือค่าที่คาดหวังของtanhศูนย์เท่ากับและมันช่วยให้การเรียนรู้ในชั้นลึกจะเร็วขึ้นในโครงข่ายประสาท Reluไม่มีคุณสมบัตินี้ แต่ทำไมมันถึงทำงานได้ดีถ้าเราเอาความได้เปรียบเชิงอนุพันธ์มาใช้ ยิ่งกว่านั้นฉันคิดว่าอนุพันธ์อาจได้รับผลกระทบด้วย เพราะการเปิดใช้งาน (ผลลัพธ์ของRelu) มีส่วนร่วมในการคำนวณกฎการอัพเดท

ข้อได้เปรียบที่ใหญ่ที่สุดของ ReLu คือความไม่อิ่มตัวของการไล่ระดับสีซึ่งจะช่วยเร่งการรวมตัวกันของการไล่ระดับสีแบบสุ่มสุ่มเมื่อเทียบกับฟังก์ชั่น sigmoid / tanh ( กระดาษโดย Krizhevsky et al)

แต่มันไม่ได้เปรียบเพียงอย่างเดียว นี่คือการอภิปรายผลกระทบของการกระจัดกระจายของการเปิดใช้งาน ReLu และการทำให้เป็นระเบียบ คุณสมบัติที่ดีอีกประการหนึ่งคือเมื่อเปรียบเทียบกับเซลล์ประสาท tanh / sigmoid ที่เกี่ยวข้องกับการดำเนินการที่มีราคาแพง (exponentials เป็นต้น) ReLU สามารถดำเนินการได้โดยการเปิดใช้งานเมทริกซ์ของการเปิดใช้งานที่ศูนย์

แต่ฉันไม่เชื่อว่าประสบความสำเร็จที่ยิ่งใหญ่ของเครือข่ายประสาทที่ทันสมัยเป็นเพราะ Relu เพียงอย่างเดียว เทคนิคการเริ่มต้นใหม่เช่นการเริ่มต้นของ Xavier, การออกกลางคันและ (ต่อมา) batchnorm ก็มีบทบาทสำคัญมากเช่นกัน ตัวอย่างเช่น AlexNet ที่มีชื่อเสียงใช้ ReLu และออกกลางคัน

เพื่อที่จะตอบคำถามของคุณ: Relu มีคุณสมบัติที่ดีมาก แต่ไม่เหมาะ แต่มันพิสูจน์ได้อย่างแท้จริงเมื่อรวมกับเทคนิคที่ยอดเยี่ยมอื่น ๆ ซึ่งโดยวิธีการแก้ปัญหาที่ไม่เป็นศูนย์ที่คุณได้กล่าวถึง

UPD: เอาต์พุต ReLu ไม่ได้อยู่กึ่งกลางแน่นอนและจะส่งผลกระทบต่อประสิทธิภาพการทำงานของ NN แต่ปัญหานี้สามารถแก้ไขได้ด้วยเทคนิคการทำให้เป็นมาตรฐานอื่น ๆ เช่น batchnorm ซึ่งทำให้สัญญาณปกติก่อนเปิดใช้งาน :

เราเพิ่ม BN เปลี่ยนทันทีก่อนที่จะไม่เป็นเชิงเส้นโดย normalizing B ... การทำให้เป็นปกติจะทำให้เกิดการเปิดใช้งานด้วยการกระจายที่เสถียร$x = Wu+ b$