คำถามติดแท็ก relu

มีฟังก์ชั่นการเปิดใช้งานหลายอย่างเช่น ReLU, sigmoid หรือ tanhtanh\tanh. จะเกิดอะไรขึ้นเมื่อฉันผสมฟังก์ชั่นการเปิดใช้งาน ฉันเพิ่งพบว่า Google ได้พัฒนาฟังก์ชั่นเปิดใช้งาน Swish ซึ่งเป็น (x * sigmoid) โดยการเปลี่ยนฟังก์ชั่นการเปิดใช้งานมันสามารถเพิ่มความแม่นยำให้กับปัญหาเครือข่ายประสาทขนาดเล็กเช่นปัญหา XOR ได้หรือไม่?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

ฉันคิดว่าข้อดีของการใช้ Leaky ReLU แทนที่จะเป็น ReLU คือด้วยวิธีนี้เราไม่สามารถไล่ระดับสีได้ Parametric ReLU มีข้อได้เปรียบเดียวกันกับความแตกต่างเพียงอย่างเดียวที่ความชันของเอาต์พุตสำหรับอินพุตเชิงลบเป็นพารามิเตอร์ที่เรียนรู้ได้ใน Leaky ReLU มันเป็นพารามิเตอร์ อย่างไรก็ตามฉันไม่สามารถบอกได้ว่ามีหลายกรณีที่สะดวกกว่าที่จะใช้ ReLU แทน Leaky ReLU หรือ Parametric ReLU

10 neural-networks  activation-function  relu