ฉันมีซีเอ็นเอ็นต่อไปนี้:

1. ฉันเริ่มต้นด้วยภาพอินพุตขนาด 5x5
2. จากนั้นฉันใช้การแปลงโดยใช้เคอร์เนล 2x2 และ stride = 1 ซึ่งสร้างแผนที่คุณลักษณะขนาด 4x4
3. จากนั้นฉันใช้ 2x2 max-pooling ร่วมกับ stride = 2 ซึ่งจะลดขนาดของแผนที่ขนาด 2x2
4. จากนั้นฉันก็ใช้ sigmoid โลจิสติก
5. จากนั้นหนึ่งเลเยอร์ที่เชื่อมต่ออย่างเต็มที่กับ 2 เซลล์ประสาท
6. และชั้นเอาท์พุท

เพื่อความเรียบง่ายสมมติว่าฉันได้ทำพาสพาสไปแล้วและคำนวณδH1 = 0.25และ δH2 = -0.15

ดังนั้นหลังจากผ่านไปข้างหน้าอย่างสมบูรณ์และทำย้อนหลังผ่านบางส่วนเครือข่ายของฉันมีลักษณะเช่นนี้:

จากนั้นฉันคำนวณ delta สำหรับเลเยอร์ที่ไม่ใช่เชิงเส้น (sigmoid โลจิสติก):

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

จากนั้นฉันเผยแพร่เดลตาไปที่เลเยอร์ 4x4 และตั้งค่าทั้งหมดที่กรองออกโดยการรวมกำไรสูงสุดเป็น 0 และแผนที่ไล่ระดับสีจะมีลักษณะดังนี้:

ฉันจะอัปเดตน้ำหนักเคอร์เนลจากที่นั่นได้อย่างไร และถ้าเครือข่ายของฉันมีเลเยอร์ Convolutional อีกชั้นหนึ่งก่อนหน้า 5x5 ฉันควรใช้ค่าใดในการอัปเดตน้ำหนักเคอร์เนล และโดยรวมแล้วการคำนวณของฉันถูกต้องหรือไม่

การชักชวนนั้นใช้หลักการแบ่งปันน้ำหนักซึ่งจะทำให้คณิตศาสตร์ซับซ้อนขึ้นอย่างมาก แต่ลองพยายามผ่านวัชพืช ฉันกำลังอธิบายส่วนใหญ่ของฉันจากแหล่งนี้

---

ส่งต่อ

ในขณะที่คุณสังเกตผ่านไปข้างหน้าของชั้น convolutional สามารถแสดงเป็น

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

$k_1$$k_2$$k_1=k_2=2$$x_{0,0} = 0.25$$m$$n$

แพร่กระจายย้อนกลับ

สมมติว่าคุณกำลังใช้ค่าเฉลี่ยข้อผิดพลาดกำลังสอง (MSE) ที่กำหนดเป็น

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$

เราต้องการตรวจสอบ

$\frac{\partial E}{\partial w^l_{m', n'}}$$m'$$n'$$w^1_{0,0} = -0.13$$H$$K$

$(H-k_1+1)$$(W-k_2+1)$

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

สิ่งนี้ทำซ้ำข้ามพื้นที่เอาต์พุตทั้งหมดกำหนดข้อผิดพลาดที่เอาต์พุตกำลังสนับสนุนและจากนั้นกำหนดปัจจัยการสนับสนุนของน้ำหนักเคอร์เนลที่เกี่ยวข้องกับเอาต์พุตนั้น

ให้เราเรียกการสนับสนุนข้อผิดพลาดจากพื้นที่ส่งออกเดลต้าเพื่อความง่ายและติดตามข้อผิดพลาด backpropagated

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

การมีส่วนร่วมจากน้ำหนัก

การสนทนานี้ถูกกำหนดให้เป็น

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

ดังนั้น,

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

จากนั้นกลับมาในเทอมข้อผิดพลาดของเรา

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$

โคตรลาดลง

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

ลองคำนวณบางส่วน

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

อาร์เรย์ ([[0.044606, 0.094061], [0.011262, 0.068288]])

$\frac{\partial E}{\partial w}$

---

กรุณาแจ้งให้เราทราบหากมีข้อผิดพลาดในการได้รับมา

---

อัปเดต: รหัสที่ถูกต้อง