บล็อกการเรียนรู้ที่เหลือคืออะไรในบริบทของเครือข่ายที่หลงเหลืออยู่ลึกในการเรียนรู้อย่างลึก

ฉันกำลังอ่านการเรียนรู้ส่วนที่เหลือลึกเพื่อการจดจำรูปภาพและฉันมีปัญหาในการทำความเข้าใจกับความมั่นใจ 100% สิ่งที่บล็อกส่วนเหลือตกค้างคำนวณ อ่านกระดาษของพวกเขาพวกเขามีรูปที่ 2:

ซึ่งแสดงให้เห็นถึงสิ่งที่บล็อกส่วนที่เหลือควรจะเป็น การคำนวณของส่วนที่เหลือเป็นเพียงบล็อกเดียวกับ:

y = σ (W_{2} σ (W_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

หรือมันเป็นอย่างอื่น?

ในคำอื่น ๆ อาจจะพยายามที่จะตรงกับสัญกรณ์ของกระดาษคือ:

F (x) + x = [W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

มันเป็นเรื่องจริงเหรอ?

โปรดสังเกตว่าหลังจากการรวมกลุ่มวงกลมคำว่า ReLU จะปรากฏบนกระดาษดังนั้นผลลัพธ์ของบล็อกส่วนที่เหลือ (ซึ่งฉันแทนด้วย ) ควรเป็น: $\mathbf{y}$

σ (F (x) + x) = σ ([W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

มีเพิ่มเติม Relu ไม่ใช่เชิงเส้นหนึ่ง\ $\sigma$

— ชาร์ลีปาร์คเกอร์
แหล่งที่มา

is x is positive relu (x) = x

— Ray Tayek

ใช่นั่นเป็นความจริงคุณสามารถดูรูปแบบคาเฟอีนของพวกเขาเพื่อดูว่ามีการนำไปใช้อย่างไร

— dontloo
แหล่งที่มา