อนุพันธ์ของฟังก์ชันการเปิดใช้งาน ReLU คืออะไร

อนุพันธ์ของฟังก์ชันการเปิดใช้งาน ReLU คืออะไร:

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

แล้วกรณีพิเศษที่ฟังก์ชันมีความไม่ต่อเนื่องที่ไหร่? $x=0$

self-study neural-networks

— ทอมเฮล
แหล่งที่มา

อนุพันธ์คือ:

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

และไม่ได้กำหนดใน 0 $x=0$

เหตุผลที่ไม่ได้กำหนดที่คืออนุพันธ์ของซ้าย - ขวาไม่เท่ากัน $x=0$

— จิม
แหล่งที่มา

0

$0$

1

$1$

x = 0

$x=0$

อนุสัญญาฉบับนี้คือ drdx = 1 (x> 0)

— neuroguy123

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

@ TomHale โดยวิธีดูคำตอบของ Nouroz Rahman ที่quora.com/ ...tf.nn.relu()

— Jim