การเปิดใช้งานเซลล์ประสาทในเครือข่ายประสาทหมายความว่าอย่างไร

ฉันเพิ่งสะดุดแนวคิดของการครอบคลุมเซลล์ประสาทซึ่งเป็นอัตราส่วนของเซลล์ประสาทที่เปิดใช้งานและเซลล์ประสาททั้งหมดในเครือข่ายประสาท แต่มันหมายถึงอะไรสำหรับเซลล์ประสาทที่จะ "เปิดใช้งาน"? ฉันรู้ว่าฟังก์ชั่นการเปิดใช้งานคืออะไร แต่การเปิดใช้งานหมายถึงอะไรเช่นในกรณีของ ReLU หรือฟังก์ชัน sigmoid

เซลล์ประสาทถูกเปิดใช้งานเมื่อเอาต์พุตเกินกว่าขีด จำกัด โดยทั่วไปคือ 0

ตัวอย่าง :

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ เมื่อไหร่ $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

กันไปสำหรับ sigmoid หรือฟังก์ชั่นการเปิดใช้งานอื่น ๆ

คำว่า "เปิดใช้งาน" ส่วนใหญ่จะใช้เมื่อพูดถึงฟังก์ชั่นการเปิดใช้งานซึ่งจะส่งออกเฉพาะค่า (ยกเว้น 0) เมื่ออินพุตไปยังฟังก์ชั่นการเปิดใช้งานมีค่ามากกว่า treshold ที่แน่นอน

โดยเฉพาะอย่างยิ่งเมื่อพูดถึง ReLU อาจใช้คำว่า "เปิดใช้งาน" ReLU จะเป็น "เปิดใช้งาน" เมื่อเอาต์พุตมีค่ามากกว่า 0 ซึ่งก็คือเมื่ออินพุตนั้นมากกว่า 0

ฟังก์ชั่นการเปิดใช้งานอื่น ๆ เช่น sigmoid จะส่งคืนค่าที่มากกว่า 0 เสมอและไม่มี treshold พิเศษใด ๆ ดังนั้นคำว่า "เปิดใช้งาน" จึงมีความหมายน้อยกว่าที่นี่

แม้ว่าเราจะรู้เพียงเล็กน้อยเกี่ยวกับพวกมันเซลล์ประสาทในสมองก็ดูเหมือนจะมีบางสิ่งบางอย่างที่คล้ายกับฟังก์ชั่นการเปิดใช้งานด้วย "treshold การเปิดใช้งาน" บางประเภท