ฉันเลือกฟังก์ชั่นการเปิดใช้งานสำหรับเลเยอร์เอาต์พุตขึ้นอยู่กับเอาต์พุตที่ฉันต้องการและคุณสมบัติของฟังก์ชั่นการเปิดใช้งานที่ฉันรู้ ตัวอย่างเช่นฉันเลือกฟังก์ชัน sigmoid เมื่อฉันจัดการกับความน่าจะเป็น ReLU เมื่อฉันจัดการกับค่าบวกและฟังก์ชันเชิงเส้นเมื่อฉันจัดการกับค่าทั่วไป
ในเลเยอร์ที่ซ่อนอยู่ฉันใช้ ReLU ที่มีการรั่วไหลเพื่อหลีกเลี่ยงเซลล์ประสาทที่ตายแล้วแทนที่จะเป็น ReLU และ tanh แทนที่จะเป็น sigmoid แน่นอนฉันไม่ได้ใช้ฟังก์ชันเชิงเส้นในหน่วยที่ซ่อนอยู่
อย่างไรก็ตามตัวเลือกสำหรับพวกเขาในเลเยอร์ที่ซ่อนอยู่ส่วนใหญ่เกิดจากการลองผิดลองถูก
มีกฎใด ๆ ของฟังก์ชั่นการเปิดใช้งานที่น่าจะทำงานได้ดีในบางสถานการณ์ ใช้คำว่าสถานการณ์ทั่วไปเท่าที่จะทำได้: อาจหมายถึงความลึกของเลเยอร์ความลึกของ NN กับจำนวนของเซลล์ประสาทสำหรับเลเยอร์นั้นไปยังออพติไมเซอร์ที่เราเลือก เลเยอร์นั้นไปยังแอปพลิเคชันของ NN นี้เป็นต้น
ในคำตอบของเขา / เธอ cantordust หมายถึงฟังก์ชั่นการเปิดใช้งานอื่น ๆ ที่ฉันไม่ได้พูดถึงเช่น ELU และ SELU ข่าวสารนี้มีมากกว่ายินดี อย่างไรก็ตามฟังก์ชั่นการเปิดใช้งานเพิ่มเติมที่ฉันค้นพบยิ่งฉันสับสนในการเลือกฟังก์ชั่นที่จะใช้ในเลเยอร์ที่ซ่อนอยู่ และฉันไม่คิดว่าการพลิกเหรียญเป็นวิธีที่ดีในการเลือกฟังก์ชั่นการเปิดใช้งาน