รูปแบบเมทริกซ์ของการแพร่กระจายย้อนกลับพร้อมการทำให้เป็นมาตรฐาน

การทำให้เป็นมาตรฐานของแบทช์ได้รับเครดิตด้วยการปรับปรุงประสิทธิภาพอย่างมากในอวนตาข่ายประสาท วัสดุจำนวนมากบนอินเทอร์เน็ตแสดงวิธีใช้งานบนพื้นฐานการเปิดใช้งานโดยการเปิดใช้งาน ฉันใช้ backprop ไปแล้วโดยใช้พีชคณิตเมทริกซ์และเนื่องจากฉันทำงานในภาษาระดับสูง (ในขณะที่พึ่งพาRcpp(และในที่สุด GPU ของ) สำหรับการคูณเมทริกซ์หนาแน่น) การฉีกทุกอย่างออกไปและหันไปใช้forลูปของฉัน อย่างมีนัยสำคัญนอกเหนือไปจากความเจ็บปวดขนาดใหญ่

ฟังก์ชั่นการปรับสภาพแบทช์คือ โดยที่

$$b(x_p) = \gamma \left(x_p - \mu_{x_p}\right) \sigma^{-1}_{x_p} + \beta$$

• คือ Pโหนด, th ก่อนที่มันจะได้รับการเปิดใช้งาน$x_p$$p$
• และ βเป็นพารามิเตอร์สเกลาร์$\gamma$$\beta$
• และ σ x พีมีค่าเฉลี่ยและ SD ของ xพี (โปรดสังเกตว่าปกติใช้สแควร์รูทของความแปรปรวนบวกกับฟัดจ์แฟคเตอร์ - สมมติว่าองค์ประกอบที่ไม่ใช่ศูนย์เพื่อความกะทัดรัด)$\mu_{x_p}$$\sigma_{x_p}$$x_p$

ในรูปแบบเมทริกซ์ฟื้นฟูชุดสำหรับชั้นทั้งจะ ที่

$$b(\mathbf{X}) = \left(\gamma\otimes\mathbf{1}_p\right)\odot \left(\mathbf{X} - \mu_{\mathbf{X}}\right) \odot\sigma^{-1}_{\mathbf{X}} + \left(\beta\otimes\mathbf{1}_p\right)$$

• คือ N × $\mathbf{X}$$N\times p$
• คือเวกเตอร์คอลัมน์ของอัน$\mathbf{1}_N$
• และ βเป็นแถว p -vector ของพารามิเตอร์การทำให้เป็นมาตรฐานสำหรับแต่ละชั้น$\gamma$$\beta$$p$
• และ σ Xคือเมทริกซ์ N × pโดยที่แต่ละคอลัมน์คือ N -vector ของค่าเฉลี่ยของคอลัมน์และส่วนเบี่ยงเบนมาตรฐาน$\mu_{\mathbf{X}}$$\sigma_{\mathbf{X}}$$N \times p$$N$
• เป็นผลิตภัณฑ์ของ Kronecker และ ⊙เป็นผลิตภัณฑ์ที่เป็นองค์ประกอบ (Hadamard)$\otimes$$\odot$

โครงข่ายประสาทเดี่ยวชั้นเดียวที่ไม่มีการทำแบตช์ให้เป็นมาตรฐานและผลลัพธ์ต่อเนื่องคือ

$$y = a\left(\mathbf{X\Gamma}_1\right)\Gamma_2 + \epsilon$$

ที่ไหน

• คือ p 1 × p $\Gamma_1$$p_1 \times p_2$
• คือ p 2 × $\Gamma_2$$p_2 \times 1$
• เป็นฟังก์ชั่นการเปิดใช้งาน$a(.)$

หากการสูญเสียคือแล้วการไล่ระดับสีที่มี ∂ $R = N^{-1}\displaystyle\sum\left(y - \hat{y}\right)^2$

$$\begin{array}{lr} \frac{\partial R}{\partial \Gamma_1} = -2\mathbf{V}^T \hat\epsilon\\ \frac{\partial R}{\partial \Gamma_2} = \mathbf{X}^T \left(a'(\mathbf{X}\mathbf{\Gamma}_1) \odot -2\hat\epsilon \mathbf{\Gamma}_2^T\right) \\ \end{array}$$

ที่ไหน

• $\mathbf{V} = a\left(\mathbf{X}\Gamma_1\right)$
• $\hat{\epsilon} = y-\hat{y}$

ภายใต้การฟื้นฟูชุดสุทธิจะกลายเป็น หรือ Y = ( (แกมมา⊗ 1 N ) ⊙ ( X Γ 1 - μ X Γ 1 ) ⊙ σ - 1 X Γ 1 + (บีตา⊗ 1 N ) ) Γ

$$y = a\left(b\left(\mathbf{X}\Gamma_1\right)\right)\Gamma_2$$ $$y = a\Big(\left(\gamma\otimes\mathbf{1}_N\right)\odot \left(\mathbf{X\Gamma_1} - \mu_{\mathbf{X\Gamma_1}}\right) \odot\sigma^{-1}_{\mathbf{X\Gamma_1}} + \left(\beta\otimes\mathbf{1}_N\right)\Big)\mathbf{\Gamma_2}$$ ฉันไม่รู้ว่าจะคำนวณอนุพันธ์ของผลิตภัณฑ์ Hadamard และ Kronecker ได้อย่างไร ในเรื่องของผลิตภัณฑ์ Kronecker วรรณกรรมได้รับความลับอย่างเป็นธรรม

มีวิธีการปฏิบัติของการคำนวณ , ∂ R / ∂ บีตาและ∂ R / ∂ แกมมา1ภายในกรอบเมทริกซ์? นิพจน์ง่าย ๆ โดยไม่ต้องใช้การคำนวณแบบโหนดต่อโหนด?$\partial R/\partial \gamma$$\partial R/\partial \beta$$\partial R/\partial \mathbf{\Gamma_1}$

อัปเดต 1:

$\partial R/\partial \beta$

$$\mathbf{1}_{N}^T \left(a'(\mathbf{X}\mathbf{\Gamma}_1) \odot -2\hat\epsilon \mathbf{\Gamma}_2^T\right)$$

set.seed(1)
library(dplyr)
library(foreach)

#numbers of obs, variables, and hidden layers
N <- 10
p1 <- 7
p2 <- 4
a <- function (v) {
  v[v < 0] <- 0
  v
}
ap <- function (v) {
  v[v < 0] <- 0
  v[v >= 0] <- 1
  v
}

# parameters
G1 <- matrix(rnorm(p1*p2), nrow = p1)
G2 <- rnorm(p2)
gamma <- 1:p2+1
beta <- (1:p2+1)*-1
# error
u <- rnorm(10)

# matrix batch norm function
b <- function(x, bet = beta, gam = gamma){
  xs <- scale(x)
  gk <- t(matrix(gam)) %x% matrix(rep(1, N))
  bk <- t(matrix(bet)) %x% matrix(rep(1, N))
  gk*xs+bk
}
# activation-wise batch norm function
bi <- function(x, i){
  xs <- scale(x)
  gk <- t(matrix(gamma[i]))
  bk <- t(matrix(beta[i]))
  suppressWarnings(gk*xs[,i]+bk)
}

X <- round(runif(N*p1, -5, 5)) %>% matrix(nrow = N)
# the neural net
y <- a(b(X %*% G1)) %*% G2 + u

จากนั้นคำนวณอนุพันธ์:

# drdbeta -- the matrix way
drdb <- matrix(rep(1, N*1), nrow = 1) %*% (-2*u %*% t(G2) * ap(b(X%*%G1)))
drdb
           [,1]      [,2]    [,3]        [,4]
[1,] -0.4460901 0.3899186 1.26758 -0.09589582
# the looping way
foreach(i = 1:4, .combine = c) %do%{
  sum(-2*u*matrix(ap(bi(X[,i, drop = FALSE]%*%G1[i,], i)))*G2[i])
}
[1] -0.44609015  0.38991862  1.26758024 -0.09589582

$\beta \otimes \mathbf{1}_N$

$$\frac{\partial A \otimes B}{\partial A} = \left(I_{nq} \otimes T_{mp}\right)\left(I_n\otimes vec(B) \otimes I_m\right)$$ $m$$n$$p$$q$$A$$B$$T$

# playing with the kroneker derivative rule
A <- t(matrix(beta)) 
B <- matrix(rep(1, N))
diag(rep(1, ncol(A) *ncol(B))) %*% diag(rep(1, ncol(A))) %x% (B) %x% diag(nrow(A))
     [,1] [,2] [,3] [,4]
 [1,]    1    0    0    0
 [2,]    1    0    0    0
 snip
[13,]    0    1    0    0
[14,]    0    1    0    0
snip
[28,]    0    0    1    0
[29,]    0    0    1    0
[snip
[39,]    0    0    0    1
[40,]    0    0    0    1

$\gamma$$\mathbf{\Gamma_1}$$\beta \otimes \mathbf{1}$

อัปเดต 2

$\partial R/\partial \Gamma_1$$\partial R/\partial \gamma$vec()$\partial R/\partial \Gamma_1$$w\odot\mathbf{X\Gamma_1}$$\mathbf{\Gamma_1}$$w \equiv (\gamma \otimes \mathbf{1}) \odot \sigma_{\mathbf{X\Gamma_1}}^{-1}$

$w\odot\mathbf{X}$$w$$\mathbf{X}$

$$\partial(A \odot B) = \partial A \odot B + A \odot \partial B$$

และจากนี้สิ่งนั้น

$$\frac{\partial vec(w \odot \mathbf{X\Gamma_1})}{\partial vec(\mathbf{\Gamma_1})^T} = vec(\mathbf{X\Gamma_1})I\frac{\partial vec(w)}{\partial vec(\mathbf{\Gamma_1})^T} + vec(w)I\frac{\partial vec(\mathbf{X\Gamma_1})}{\partial vec(\mathbf{\Gamma_1})^T}$$

อัปเดต 3

สร้างความก้าวหน้าที่นี่ เมื่อคืนนี้ฉันตื่นนอนตอน 2AM ด้วยความคิดนี้ คณิตศาสตร์ไม่ดีสำหรับการนอนหลับ

$\partial R/\partial \mathbf{\Gamma_1}$

• $w \equiv (\gamma \otimes \mathbf{1}) \odot \sigma_{\mathbf{X\Gamma_1}}^{-1}$
• $\text{"stub"} \equiv a'(b(\mathbf{X\Gamma}_1)) \odot -2\hat\epsilon \mathbf{\Gamma}_2^T$

$$\frac{\partial R}{\partial \Gamma_1} = \frac{\partial w \odot \mathbf{X\Gamma}_1}{\partial \Gamma_1}\left(\text{"stub"}\right)$$ $i$$j$$\mathbf{I}$ $$\frac{\partial R}{\partial \Gamma_{ij}} = \left(w_i \odot \mathbf{X_i}\right)^T\left(\text{"stub"}_j\right)$$ $$\frac{\partial R}{\partial \Gamma_{ij}} = \left(\mathbf{I} w_i \mathbf{X_i}\right)^T\left(\text{"stub"}_j\right)$$ $$\frac{\partial R}{\partial \Gamma_{ij}} = \mathbf{X_i}^T\mathbf{I} w_i\left(\text{"stub"}_j\right)$$ $$\frac{\partial R}{\partial \Gamma} = \mathbf{X}^T\left(\text{"stub"}\odot w\right)$$

และในความเป็นจริงมันคือ:

stub <- (-2*u %*% t(G2) * ap(b(X%*%G1)))
w <- t(matrix(gamma)) %x% matrix(rep(1, N)) * (apply(X%*%G1, 2, sd) %>% t %x% matrix(rep(1, N)))
drdG1 <- t(X) %*% (stub*w)

loop_drdG1 <- drdG1*NA
for (i in 1:7){
  for (j in 1:4){
    loop_drdG1[i,j] <- t(X[,i]) %*% diag(w[,j]) %*% (stub[,j])
  }
}

> loop_drdG1
           [,1]       [,2]       [,3]       [,4]
[1,] -61.531877  122.66157  360.08132 -51.666215
[2,]   7.047767  -14.04947  -41.24316   5.917769
[3,] 124.157678 -247.50384 -726.56422 104.250961
[4,]  44.151682  -88.01478 -258.37333  37.072659
[5,]  22.478082  -44.80924 -131.54056  18.874078
[6,]  22.098857  -44.05327 -129.32135  18.555655
[7,]  79.617345 -158.71430 -465.91653  66.851965
> drdG1
           [,1]       [,2]       [,3]       [,4]
[1,] -61.531877  122.66157  360.08132 -51.666215
[2,]   7.047767  -14.04947  -41.24316   5.917769
[3,] 124.157678 -247.50384 -726.56422 104.250961
[4,]  44.151682  -88.01478 -258.37333  37.072659
[5,]  22.478082  -44.80924 -131.54056  18.874078
[6,]  22.098857  -44.05327 -129.32135  18.555655
[7,]  79.617345 -158.71430 -465.91653  66.851965

อัปเดต 4

$\partial R / \partial \gamma$

• $\widetilde{\mathbf{X\Gamma}} \equiv \left(\mathbf{X\Gamma} - \mu_{\mathbf{X\Gamma}}\right)\odot \sigma^{-1}_\mathbf{X\Gamma}$
• $\tilde\gamma \equiv \gamma \otimes\mathbf{1}_N$

$$\frac{\partial R}{\partial \tilde\gamma} = \frac{\partial \tilde\gamma \odot \widetilde{\mathbf{X\Gamma}}}{\partial \tilde\gamma}\left(\text{"stub"}\right)$$ $$\frac{\partial R}{\partial \tilde\gamma_i} = (\widetilde{\mathbf{X\Gamma}})_i^T \mathbf{I}\tilde\gamma_i \left(\text{"stub"}_i\right)$$ $$\frac{\partial R}{\partial \tilde\gamma} = (\widetilde{\mathbf{X\Gamma}})^T \left(\text{"stub"} \odot \tilde\gamma \right)$$

มันเรียงลำดับของการแข่งขัน:

drdg <- t(scale(X %*% G1)) %*% (stub * t(matrix(gamma)) %x% matrix(rep(1, N)))

loop_drdg <- foreach(i = 1:4, .combine = c) %do% {
  t(scale(X %*% G1)[,i]) %*% (stub[,i, drop = F] * gamma[i])  
}

> drdg
           [,1]      [,2]       [,3]       [,4]
[1,]  0.8580574 -1.125017  -4.876398  0.4611406
[2,] -4.5463304  5.960787  25.837103 -2.4433071
[3,]  2.0706860 -2.714919 -11.767849  1.1128364
[4,] -8.5641868 11.228681  48.670853 -4.6025996
> loop_drdg
[1]   0.8580574   5.9607870 -11.7678486  -4.6025996

$\gamma$

ดูเหมือนว่าฉันได้ตอบคำถามของฉันเอง แต่ฉันไม่แน่ใจว่าถูกต้องหรือไม่ ณ จุดนี้ฉันจะยอมรับคำตอบที่พิสูจน์อย่างจริงจัง (หรือหักล้าง) สิ่งที่ฉันเรียงลำดับของการแฮ็กเข้าด้วยกัน

while(not_answered){
  print("Bueller?")
  Sys.sleep(1)
}

$$b(X)=(X−e_N\mu_X^T)ΓΣ_X^{-1/2}+e_N\beta^T$$ $\Gamma=\mathop{\mathrm{diag}}(\gamma)$$\Sigma_X^{-1/2}=\mathop{\mathrm{diag}}(\sigma_{X_1}^{-1},\sigma_{X_2}^{-1},\dots)$$e_N$ $$\nabla_\beta R=[-2\hat{\epsilon}(\Gamma_2^T\otimes I)J_X(a)(I\otimes e_N)]^T$$ $-2\hat{\epsilon}(\Gamma_2^T\otimes I)=\mathop{\mathrm{vec}}(-2\hat{\epsilon}\Gamma_2^T)^T$และเราเห็นว่าผ่านตัวตน(X) ในทำนองเดียวกัน$J_X(a)=\mathop{\mathrm{diag}}(\mathop{\mathrm{vec}}(a^\prime(b(X\Gamma_1))))$ $$\nabla_\beta R=(I\otimes e_N^T)\mathop{\mathrm{vec}}(a^\prime(b(X\Gamma_1))\odot-2\hat{\epsilon}\Gamma_2^T)=e_N^T(a^\prime(b(X\Gamma_1))\odot-2\hat{\epsilon}\Gamma_2^T)$$ $\mathop{\mathrm{vec}}(AXB)=(B^T\otimes A)\mathop{\mathrm{vec}}(X)$ $$\begin{align}\nabla_\gamma R&=[-2\hat{\epsilon}(\Gamma_2^T\otimes I)J_X(a)(\Sigma_{X\Gamma_1}^{-1/2}\otimes (X\Gamma_1-e_N\mu_{X\Gamma_1}^T))K]^T\\&=K^T\mathop{\mathrm{vec}}((X\Gamma_1-e_N\mu_{X\Gamma_1}^T)^TW\Sigma^{-1/2}_{X\Gamma_1})\\&=\mathop{\mathrm{diag}}((X\Gamma_1-e_N\mu_{X\Gamma_1}^T)^TW\Sigma^{-1/2}_{X\Gamma_1})\end{align}$$ โดยที่ ("ต้นขั้ว") และเป็นเมทริกซ์ไบนารีที่เลือกคอลัมน์ของผลิตภัณฑ์ Kronecker ที่สอดคล้องกับองค์ประกอบเส้นทแยงมุมของเมทริกซ์จตุรัส นี้ต่อไปจากข้อเท็จจริงที่ว่า 0 ไม่เหมือนกับการไล่ระดับสีแรกนิพจน์นี้ไม่เท่ากับนิพจน์ที่คุณได้รับ เมื่อพิจารณาแล้วว่า$W=a^\prime(b(X\Gamma_1))\odot-2\hat{\epsilon}\Gamma_2^T$$K$$Np\times p$b γ i γ i Γ 1 w Σ X μ X$d\Gamma_{i\neq j}=0$$b$เป็นฟังก์ชันเชิงเส้น wrtไม่ควรมีปัจจัยในการไล่ระดับสี ผมออกจากการไล่ระดับสีของเพื่อ OP แต่ฉันจะบอกว่าสำหรับที่มาพร้อมกับการแก้ไขสร้าง "ระเบิด" นักเขียนของบทความพยายามที่จะหลีกเลี่ยง ในทางปฏิบัติคุณจะต้องค้นหา Jacobians ofและ wrtและใช้กฎผลิตภัณฑ์$\gamma_i$$\gamma_i$$\Gamma_1$$w$$\Sigma_X$$\mu_X$$X$