คำถามติดแท็ก activation-function

ฉันเลือกฟังก์ชั่นการเปิดใช้งานสำหรับเลเยอร์เอาต์พุตขึ้นอยู่กับเอาต์พุตที่ฉันต้องการและคุณสมบัติของฟังก์ชั่นการเปิดใช้งานที่ฉันรู้ ตัวอย่างเช่นฉันเลือกฟังก์ชัน sigmoid เมื่อฉันจัดการกับความน่าจะเป็น ReLU เมื่อฉันจัดการกับค่าบวกและฟังก์ชันเชิงเส้นเมื่อฉันจัดการกับค่าทั่วไป ในเลเยอร์ที่ซ่อนอยู่ฉันใช้ ReLU ที่มีการรั่วไหลเพื่อหลีกเลี่ยงเซลล์ประสาทที่ตายแล้วแทนที่จะเป็น ReLU และ tanh แทนที่จะเป็น sigmoid แน่นอนฉันไม่ได้ใช้ฟังก์ชันเชิงเส้นในหน่วยที่ซ่อนอยู่ อย่างไรก็ตามตัวเลือกสำหรับพวกเขาในเลเยอร์ที่ซ่อนอยู่ส่วนใหญ่เกิดจากการลองผิดลองถูก มีกฎใด ๆ ของฟังก์ชั่นการเปิดใช้งานที่น่าจะทำงานได้ดีในบางสถานการณ์ ใช้คำว่าสถานการณ์ทั่วไปเท่าที่จะทำได้: อาจหมายถึงความลึกของเลเยอร์ความลึกของ NN กับจำนวนของเซลล์ประสาทสำหรับเลเยอร์นั้นไปยังออพติไมเซอร์ที่เราเลือก เลเยอร์นั้นไปยังแอปพลิเคชันของ NN นี้เป็นต้น ในคำตอบของเขา / เธอ cantordust หมายถึงฟังก์ชั่นการเปิดใช้งานอื่น ๆ ที่ฉันไม่ได้พูดถึงเช่น ELU และ SELU ข่าวสารนี้มีมากกว่ายินดี อย่างไรก็ตามฟังก์ชั่นการเปิดใช้งานเพิ่มเติมที่ฉันค้นพบยิ่งฉันสับสนในการเลือกฟังก์ชั่นที่จะใช้ในเลเยอร์ที่ซ่อนอยู่ และฉันไม่คิดว่าการพลิกเหรียญเป็นวิธีที่ดีในการเลือกฟังก์ชั่นการเปิดใช้งาน

13 neural-networks  machine-learning  math  activation-function 

มีฟังก์ชั่นการเปิดใช้งานหลายอย่างเช่น ReLU, sigmoid หรือ tanhtanh\tanh. จะเกิดอะไรขึ้นเมื่อฉันผสมฟังก์ชั่นการเปิดใช้งาน ฉันเพิ่งพบว่า Google ได้พัฒนาฟังก์ชั่นเปิดใช้งาน Swish ซึ่งเป็น (x * sigmoid) โดยการเปลี่ยนฟังก์ชั่นการเปิดใช้งานมันสามารถเพิ่มความแม่นยำให้กับปัญหาเครือข่ายประสาทขนาดเล็กเช่นปัญหา XOR ได้หรือไม่?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

ฉันเพิ่งสะดุดแนวคิดของการครอบคลุมเซลล์ประสาทซึ่งเป็นอัตราส่วนของเซลล์ประสาทที่เปิดใช้งานและเซลล์ประสาททั้งหมดในเครือข่ายประสาท แต่มันหมายถึงอะไรสำหรับเซลล์ประสาทที่จะ "เปิดใช้งาน"? ฉันรู้ว่าฟังก์ชั่นการเปิดใช้งานคืออะไร แต่การเปิดใช้งานหมายถึงอะไรเช่นในกรณีของ ReLU หรือฟังก์ชัน sigmoid

10 neural-networks  ai-basics  concepts  activation-function 

ฉันคิดว่าข้อดีของการใช้ Leaky ReLU แทนที่จะเป็น ReLU คือด้วยวิธีนี้เราไม่สามารถไล่ระดับสีได้ Parametric ReLU มีข้อได้เปรียบเดียวกันกับความแตกต่างเพียงอย่างเดียวที่ความชันของเอาต์พุตสำหรับอินพุตเชิงลบเป็นพารามิเตอร์ที่เรียนรู้ได้ใน Leaky ReLU มันเป็นพารามิเตอร์ อย่างไรก็ตามฉันไม่สามารถบอกได้ว่ามีหลายกรณีที่สะดวกกว่าที่จะใช้ ReLU แทน Leaky ReLU หรือ Parametric ReLU

10 neural-networks  activation-function  relu