Backpropagation ด้วย Softmax / Cross Entropy

40

ฉันพยายามที่จะเข้าใจวิธีการทำงานของ backpropagation สำหรับเลเยอร์เอาต์พุต softmax / cross-entropy

ฟังก์ชันข้อผิดพลาดข้ามเอนโทรปีคือ

E (t, o) = - \sum_{j} t_{j} \log o_{j}

$E(t,o)=-\sum_j t_j \log o_j$

ด้วยและเป็นเป้าหมายและเอาต์พุตที่เซลล์ประสาทตามลำดับ ผลรวมอยู่เหนือเซลล์ประสาทแต่ละเซลล์ในชั้นเอาต์พุต นั้นเป็นผลมาจากฟังก์ชั่น softmax: $t$ $o$ $j$ $o_j$

o_{j} = s o f t m a x (z_{j}) = \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$o_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}}$

อีกครั้งผลรวมจะอยู่เหนือแต่ละเซลล์ประสาทในเลเยอร์เอาต์พุตและคืออินพุตไปยังเซลล์ประสาท : $z_j$ $j$

z_{j} = \sum_{i} w_{i j} o_{i} + b

$z_j=\sum_i w_{ij}o_i+b$

นั่นคือผลรวมกว่าเซลล์ทั้งหมดในชั้นก่อนหน้านี้กับการส่งออกของพวกเขาที่สอดคล้องกันและน้ำหนักต่อเซลล์ประสาทบวกอคติข $o_i$ $w_{ij}$ $j$ $b$

ตอนนี้เพื่ออัปเดตน้ำหนักที่เชื่อมต่อเซลล์ประสาทในชั้นเลเยอร์เอาท์พุทกับเซลล์ประสาทในชั้นก่อนหน้าฉันต้องคำนวณอนุพันธ์บางส่วนของฟังก์ชันข้อผิดพลาดโดยใช้กฎลูกโซ่: $w_{ij}$ $j$ $i$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

กับเป็น input เพื่อเซลล์ประสาทญ $z_j$ $j$

เทอมสุดท้ายค่อนข้างเรียบง่าย เนื่องจากมีน้ำหนักเพียงหนึ่งเดียวระหว่างและอนุพันธ์คือ: $i$ $j$

\frac{\partial z_{j}}{\partial w_{i j}} = o_{i}

$\frac{\partial z_j} {\partial w_{ij}}=o_i$

เทอมแรกคือการสืบทอดของฟังก์ชันข้อผิดพลาดเกี่ยวกับเอาต์พุต : $o_j$

\frac{\partial E}{\partial o_{j}} = \frac{- t_{j}}{o_{j}}

$\frac{\partial E} {\partial o_j} = \frac{-t_j}{o_j}$

ระยะกลางคือการได้มาของฟังก์ชั่น softmax ที่เกี่ยวกับอินพุตของมันนั้นยากขึ้น: $z_j$

\frac{\partial o_{j}}{\partial z_{j}} = \frac{\partial}{\partial z_{j}} \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$\frac{\partial o_j} {\partial z_{j}}=\frac{\partial} {\partial z_{j}} \frac{e^{z_j}}{\sum_j e^{z_j}}$

สมมติว่าเรามีเซลล์ประสาทเอาต์พุตสามเซลล์ที่สอดคล้องกับคลาสจากนั้นคือ: $a,b,c$ $o_b = softmax(b)$

o_{b} = \frac{e^{z_{b}}}{\sum e^{z}} = \frac{e^{z_{b}}}{e^{z_{a}} + e^{z_{b}} + e^{z_{c}}}

$o_b=\frac{e^{z_b}}{\sum e^{z}}=\frac{e^{z_b}}{e^{z_a}+e^{z_b}+e^{z_c}}$

และการสืบทอดโดยใช้กฎความฉลาดทาง:

\frac{\partial o_{b}}{\partial z_{b}} = \frac{e^{z_{b}} * \sum e^{z} - (e^{z_{b}})^{2}}{(\sum_{j} e^{z})^{2}} = \frac{e^{z_{b}}}{\sum e^{z}} - \frac{(e^{z_{b}})^{2}}{(\sum e^{z})^{2}}

$\frac{\partial o_b} {\partial z_{b}}=\frac{e^{z_b}*\sum e^z - (e^{z_b})^2}{(\sum_j e^{z})^2}=\frac{e^{z_b}}{\sum e^z}-\frac{(e^{z_b})^2}{(\sum e^z)^2}$

= s o f t m a x (b) - s o f t m a x^{2} (b) = o_{b} - o_{b}^{2} = o_{b} (1 - o_{b})

$=softmax(b)-softmax^2(b)=o_b-o_b^2=o_b(1-o_b)$ กลับไปที่เทอมกลางสำหรับการแพร่กระจายย้อนหลังสิ่งนี้หมายถึง:

\frac{\partial o_{j}}{\partial z_{j}} = o_{j} (1 - o_{j})

$\frac{\partial o_j} {\partial z_{j}}=o_j(1-o_j)$

นำมารวมกันฉันได้

\frac{\partial E}{\partial w_{i j}} = \frac{- t_{j}}{o_{j}} * o_{j} (1 - o_{j}) * o_{i} = - t_{j} (1 - o_{j}) * o_{i}

$\frac{\partial E} {\partial w_{ij}}= \frac{-t_j}{o_j}*o_j(1-o_j)*o_i=-t_j(1-o_j)*o_i$

ซึ่งหมายความว่าหากเป้าหมายของคลาสนี้คือดังนั้นฉันจะไม่อัปเดตตุ้มน้ำหนักสำหรับสิ่งนี้ นั่นไม่ได้เสียงที่ถูกต้อง $t_j=0$

การตรวจสอบเกี่ยวกับเรื่องนี้ผมพบว่าคนที่มีสองสายพันธุ์สำหรับรากศัพท์ softmax หนึ่งที่และอื่น ๆ สำหรับเช่นที่นี่หรือที่นี่ $i=j$ $i\ne j$

แต่ฉันไม่สามารถเข้าใจได้จากเรื่องนี้ นอกจากนี้ฉันไม่แน่ใจด้วยซ้ำว่านี่เป็นสาเหตุของข้อผิดพลาดของฉันซึ่งเป็นสาเหตุที่ฉันโพสต์การคำนวณทั้งหมดของฉัน ฉันหวังว่าบางคนสามารถชี้แจงให้ฉันทราบว่าฉันกำลังพลาดบางสิ่งบางอย่างหรือผิดไป

— ปาสเตอร์
แหล่งที่มา

ลิงก์ที่คุณให้ไว้กำลังคำนวณอนุพันธ์เทียบกับอินพุตในขณะที่คุณกำลังคำนวณอนุพันธ์เทียบกับน้ำหนัก

— Jenkar

35

หมายเหตุ:ฉันไม่ใช่ผู้เชี่ยวชาญด้าน backprop แต่ตอนนี้ฉันได้อ่านนิดหน่อยฉันคิดว่าข้อควรระวังต่อไปนี้เหมาะสม เมื่ออ่านเอกสารหรือหนังสือเกี่ยวกับประสาทมันไม่ได้เป็นเรื่องแปลกสำหรับสัญญาซื้อขายล่วงหน้าที่จะเขียนโดยใช้การผสมผสานของมาตรฐานสัญกรณ์บวก / ดัชนี , สัญกรณ์เมทริกซ์และสัญกรณ์หลายดัชนี (รวมถึงไฮบริดของสุดท้ายสองอนุพันธ์เมตริกซ์-เมตริกซ์ ) โดยทั่วไปแล้วความตั้งใจคือสิ่งนี้ควร "เข้าใจจากบริบท" ดังนั้นคุณต้องระวัง!

ฉันสังเกตเห็นความไม่สอดคล้องกันสองอย่างในที่มาของคุณ ฉันไม่ได้ทำโครงข่ายประสาทเทียมจริงๆดังนั้นสิ่งต่อไปนี้อาจไม่ถูกต้อง อย่างไรก็ตามนี่คือวิธีที่ฉันจะไปเกี่ยวกับปัญหา

ขั้นแรกคุณต้องคำนึงถึงผลรวมในและคุณไม่สามารถสรุปได้ว่าแต่ละคำขึ้นอยู่กับน้ำหนักเพียงหนึ่งเดียว ดังนั้นการไล่ระดับสีของเทียบกับองค์ประกอบของเรามี $E$ $E$ $k$ $z$

E = - \sum_{j} t_{j} \log o_{j} ⟹ \frac{\partial E}{\partial z_{k}} = - \sum_{j} t_{j} \frac{\partial \log o_{j}}{\partial z_{k}}

$E=-\sum_jt_j\log o_j\implies\frac{\partial E}{\partial z_k}=-\sum_jt_j\frac{\partial \log o_j}{\partial z_k}$

จากนั้นแสดงเป็น เรามี โดยที่คือKronecker เดลต้า จากนั้นการไล่ระดับสีของ softmax-denominator คือ ซึ่งให้ หรือขยาย log โปรดทราบว่าอนุพันธ์เกี่ยวข้องกับการโดยพลการ $o_j$

o_{j} = \frac{1}{Ω} e^{z_{j}}, Ω = \sum_{i} e^{z_{i}} ⟹ \log o_{j} = z_{j} - \log Ω

$o_j=\tfrac{1}{\Omega}e^{z_j} \,,\, \Omega=\sum_ie^{z_i} \implies \log o_j=z_j-\log\Omega$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - \frac{1}{Ω} \frac{\partial Ω}{\partial z_{k}}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-\frac{1}{\Omega}\frac{\partial\Omega}{\partial z_k}$

δ_{j k}

$\delta_{jk}$

\frac{\partial Ω}{\partial z_{k}} = \sum_{i} e^{z_{i}} δ_{i k} = e^{z_{k}}

$\frac{\partial\Omega}{\partial z_k}=\sum_ie^{z_i}\delta_{ik}=e^{z_k}$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - o_{k}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-o_k$

\frac{\partial o_{j}}{\partial z_{k}} = o_{j} (δ_{j k} - o_{k})

$\frac{\partial o_j}{\partial z_k}=o_j(\delta_{jk}-o_k)$

z_{k}

$z_k$ ส่วนประกอบของซึ่งให้คำว่า term (เฉพาะเมื่อ )

z

$z$

δ_{j k}

$\delta_{jk}$

= 1

$=1$

k = j

$k=j$

ดังนั้นการไล่ระดับสีของเทียบกับจึงเป็น โดยที่ เป็นค่าคงที่ (สำหรับเวกเตอร์กำหนด) $E$ $z$

\frac{\partial E}{\partial z_{k}} = \sum_{j} t_{j} (o_{k} - δ_{j k}) = o_{k} (\sum_{j} t_{j}) - t_{k} ⟹ \frac{\partial E}{\partial z_{k}} = o_{k} τ - t_{k}

$\frac{\partial E}{\partial z_k}=\sum_jt_j(o_k-\delta_{jk})=o_k\left(\sum_jt_j\right)-t_k \implies \frac{\partial E}{\partial z_k}=o_k\tau-t_k$

τ = \sum_{j} t_{j}

$\tau=\sum_jt_j$

t

$t$

นี้แสดงให้เห็นความแตกต่างครั้งแรกจากผลคุณ:ไม่มีอีกต่อไปคูณo_kโปรดทราบว่าสำหรับกรณีทั่วไปที่คือ "one-hot" เรามี (ดังที่ระบุไว้ในลิงก์แรกของคุณ) $t_k$ $o_k$ $t$ $\tau=1$

ความไม่ลงรอยกันครั้งที่สองถ้าฉันเข้าใจอย่างถูกต้องคือ " " ที่ป้อนไปยังดูเหมือนว่าไม่น่าจะเป็น " " ที่ส่งออกจาก softmax ฉันคิดว่ามันสมเหตุสมผลดีกว่าที่จริงแล้วนี่คือ "ถอยห่าง" ในสถาปัตยกรรมเครือข่ายใช่หรือไม่ $o$ $z$ $o$

การเรียกเวกเตอร์นี้เรามี $y$

z_{k} = \sum_{i} w_{i k} y_{i} + b_{k} ⟹ \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{i} y_{i} \frac{\partial w_{i k}}{\partial w_{p q}} = \sum_{i} y_{i} δ_{i p} δ_{k q} = δ_{k q} y_{p}

$z_k=\sum_iw_{ik}y_i+b_k \implies \frac{\partial z_k}{\partial w_{pq}}=\sum_iy_i\frac{\partial w_{ik}}{\partial w_{pq}}=\sum_iy_i\delta_{ip}\delta_{kq}=\delta_{kq}y_p$

ในที่สุดเพื่อให้การไล่ระดับสีของเทียบกับน้ำหนักเมทริกซ์เราใช้กฎลูกโซ่ ให้การแสดงออกสุดท้าย (สมมติหนึ่ง -hot , คือ ) โดยที่คืออินพุตในระดับต่ำสุด (ตัวอย่างของคุณ) $E$ $w$

\frac{\partial E}{\partial w_{p q}} = \sum_{k} \frac{\partial E}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{k} (o_{k} τ - t_{k}) δ_{k q} y_{p} = y_{p} (o_{q} τ - t_{q})

$\frac{\partial E}{\partial w_{pq}}=\sum_k\frac{\partial E}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}=\sum_k(o_k\tau-t_k)\delta_{kq}y_p=y_p(o_q\tau-t_q)$

t

$t$

τ = 1

$\tau=1$

\frac{\partial E}{\partial w_{i j}} = y_{i} (o_{j} - t_{j})

$\frac{\partial E}{\partial w_{ij}}=y_i(o_j-t_j)$

y

$y$

ดังนั้นสิ่งนี้แสดงให้เห็นถึงความแตกต่างที่สองจากผลลัพธ์ของคุณ: " " น่าจะมาจากระดับที่ต่ำกว่าซึ่งฉันเรียกว่ามากกว่าระดับที่สูงกว่า (ซึ่งก็คือ ) $o_i$ $z$ $y$ $z$ $o$

หวังว่านี่จะช่วยได้ ผลลัพธ์นี้ดูเหมือนสอดคล้องกันมากขึ้นหรือไม่

อัปเดต:ในการตอบกลับข้อความค้นหาจาก OP ในความคิดเห็นนี่คือการขยายตัวของขั้นตอนแรก ก่อนอื่นโปรดทราบว่ากฎลูกโซ่เวกเตอร์ต้องมีการสรุป (ดูที่นี่ ) ประการที่สองเพื่อให้แน่ใจว่าได้รับส่วนประกอบการไล่ระดับสีทั้งหมดคุณควรแนะนำตัวอักษรห้อยใหม่สำหรับองค์ประกอบในตัวหารของอนุพันธ์บางส่วน ดังนั้นเพื่อเขียนการไล่ระดับสีแบบเต็มด้วยกฎลูกโซ่ทั้งหมดเรามี และ ดังนั้น
$\frac{\partial E}{\partial w_{p q}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial w_{p q}}$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial w_{pq}}$ $\frac{\partial o_{i}}{\partial w_{p q}} = \sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}}$ $\frac{\partial o_i}{\partial w_{pq}}=\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}$ $\frac{\partial E}{\partial w_{p q}} = \sum_{i} [\frac{\partial E}{\partial o_{i}} (\sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}})]$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \left[ \frac{\partial E}{\partial o_i}\left(\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}\right) \right]$ ในทางปฏิบัติการลดยอดรวมทั้งหมดเนื่องจากคุณได้รับมาก แม้ว่ามันจะเกี่ยวข้องกับการสรุปและตัวเสริม "พิเศษ" จำนวนมากการใช้กฎลูกโซ่แบบเต็มจะช่วยให้คุณได้รับผลลัพธ์ที่ถูกต้องเสมอ $\delta_{ab}$

— GeoMatt22
แหล่งที่มา

ฉันไม่แน่ใจว่าชุมชน "Backprop / AutoDiff" ทำปัญหาเหล่านี้อย่างไร แต่ฉันพบว่าเมื่อใดก็ตามที่ฉันพยายามใช้ทางลัดฉันต้องรับผิดชอบต่อข้อผิดพลาด ดังนั้นฉันเลยลงเอยทำที่นี่เขียนทุกอย่างในรูปของการสรุปด้วยการห้อยเต็มและแนะนำการห้อยใหม่สำหรับอนุพันธ์ทุกตัว (คล้ายกับคำตอบของฉันที่นี่ ... ฉันหวังว่าอย่างน้อยฉันก็ให้ผลลัพธ์ที่ถูกต้องในที่สุด!)

— GeoMatt22

โดยส่วนตัวแล้วฉันพบว่าการเขียนทุกอย่างลงไปนั้นทำให้ง่ายต่อการติดตามมากขึ้น ผลลัพธ์ดูถูกต้องสำหรับฉัน

— Jenkar

แม้ว่าฉันจะยังคงพยายามที่จะเข้าใจแต่ละขั้นตอนของคุณอย่างเต็มที่ แต่ฉันก็ได้รับข้อมูลเชิงลึกที่มีค่าซึ่งช่วยให้ฉันเห็นภาพรวม ฉันเดาว่าฉันต้องอ่านเพิ่มเติมในหัวข้อของการสืบทอดและผลรวม แต่จากคำแนะนำของคุณที่จะคำนึงถึงผลรวมใน E ฉันจึงได้สิ่งนี้:

— micha

สำหรับเอาต์พุตสองรายการและมีข้อผิดพลาดข้ามของเอนโทรปีคือ จากนั้นอนุพันธ์คือ ที่สอดคล้องกับผลลัพธ์ของคุณ ... โดยคำนึงถึงว่าคุณไม่มีเครื่องหมายลบก่อนหน้าข้อผิดพลาด

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

Ω = e^{z_{j_{1}}} + e^{z_{j_{2}}}

$\Omega=e^{z_{j_1}}+e^{z_{j_2}}$

E = - (t_{1} l o g o_{j_{1}} + t_{2} l o g o_{j_{2}}) = - (t_{1} (z_{j_{1}} - l o g (Ω)) + t_{2} (z_{j_{2}} - l o g (Ω)))

$E=-(t_1 log o_{j_1}+t_2 log o_{j_2})=-(t_1(z_{j_1}-log(\Omega))+t_2(z_{j_2}-log(\Omega)))$

\frac{\partial E}{\partial (z_{j_{1}}} = - (t_{1} - t_{1} \frac{e^{z_{j_{1}}}}{Ω} - t_{2} \frac{e^{z_{j_{2}}}}{Ω}) = - t_{1} + o_{j_{1}} (t_{1} + t_{2})

$\frac{\partial E}{\partial (z_{j_1}}=-(t_1-t_1 \frac{e^{z_{j_1}}}{\Omega}-t_2 \frac{e^{z_{j_2}}}{\Omega})=-t_1+o_{j_1}(t_1+t_2)$

— มิชา

แต่คำถามเพิ่มเติมที่ฉันมีคือ: แทนที่จะ ซึ่งโดยทั่วไปแล้วสิ่งที่คุณแนะนำด้วย backpropagation คุณคำนวณ:เหมือนจะยกเลิกการออกo_j ทำไมวิธีนี้นำไปสู่ผลลัพธ์ที่ถูกต้อง?

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\partial o_{j}

$\partial o_j$

— มิชา

12

ในขณะที่คำตอบของ @ GeoMatt22 นั้นถูกต้องฉันพบว่ามันมีประโยชน์มากในการลดปัญหาลงในตัวอย่างของเล่นและวาดภาพ:

ฉันกำหนดการดำเนินการของแต่ละโหนดว่ากำลังประมวลผลโดยปฏิบัติ 's และ ' s เป็นอินพุตไปยัง "เครือข่าย" (เป็นเวกเตอร์หนึ่งอันที่เป็นตัวแทนของคลาสป้ายของจุดข้อมูล): $h$ $w$ $\mathbf{t}$

L = - t_{1} \log o_{1} - t_{2} \log o_{2}

$L=-t_1\log o_1 -t_2\log o_2$

o_{1} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})}

$o_1 = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}$

o_{2} = \frac{\exp (y_{2})}{\exp (y_{1}) + \exp (y_{2})}

$o_2 = \frac{\exp(y_2)}{\exp(y_1) + \exp(y_2)}$

y_{1} = w_{11} h_{1} + w_{21} h_{2} + w_{31} h_{3}

$y_1 = w_{11}h_1 + w_{21}h_2 + w_{31}h_3$

y_{2} = w_{12} h_{1} + w_{22} h_{2} + w_{32} h_{3}

$y_2 = w_{12}h_1 + w_{22}h_2 + w_{32}h_3$

บอกว่าผมต้องการที่จะคำนวณอนุพันธ์ของการสูญเสียที่เกี่ยวกับ{21} ฉันสามารถใช้รูปภาพของฉันเพื่อติดตามเส้นทางกลับจากการสูญเสียน้ำหนักที่ฉันสนใจ (ลบคอลัมน์ที่สองของเพื่อความชัดเจน): $w_{21}$ $w$

จากนั้นฉันก็สามารถคำนวณอนุพันธ์ที่ต้องการ โปรดทราบว่ามีสองเส้นทางผ่านที่นำไปสู่ดังนั้นฉันจึงต้องรวมอนุพันธ์ที่ผ่านแต่ละเส้นทาง $y_1$ $w_{21}$

\frac{\partial L}{\partial o_{1}} = - \frac{t_{1}}{o_{1}}

$\frac{\partial L}{\partial o_1} = -\frac{t_1}{o_1}$

\frac{\partial L}{\partial o_{2}} = - \frac{t_{2}}{o_{2}}

$\frac{\partial L}{\partial o_2} = -\frac{t_2}{o_2}$

\frac{\partial o_{1}}{\partial y_{1}} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})} - {(\frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})})}^{2} = o_{1} (1 - o_{1})

$\frac{\partial o_1}{\partial y_1} = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)} - \left(\frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}\right)^2 = o_1(1 - o_1)$

\frac{\partial o_{2}}{\partial y_{1}} = \frac{- \exp (y_{2}) \exp (y_{1})}{(\exp (y_{1}) + \exp (y_{2}))^{2}} = - o_{2} o_{1}

$\frac{\partial o_2}{\partial y_1} = \frac{-\exp(y_2)\exp(y_1)}{(\exp(y_1) + \exp(y_2))^2} = -o_2o_1$

\frac{\partial y_{1}}{\partial w_{21}} = h_{2}

$\frac{\partial y_1}{\partial w_{21}} = h_2$

ในที่สุดให้วางกฎลูกโซ่เข้าด้วยกัน:

\begin{aligned} \frac{\partial L}{\partial w_{21}} & = \frac{\partial L}{\partial o_{1}} \frac{\partial o_{1}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} + \frac{\partial L}{\partial o_{2}} \frac{\partial o_{2}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} \\ = \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2} \\ = h_{2} (t_{2} o_{1} - t_{1} + t_{1} o_{1}) \\ = h_{2} (o_{1} (t_{1} + t_{2}) - t_{1}) \\ = h_{2} (o_{1} - t_{1}) \end{aligned}

$\begin{align} \frac{\partial L}{\partial w_{21}} &= \frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial y_1}\frac{\partial y_1}{\partial w_{21}} + \frac{\partial L}{\partial o_2}\frac{\partial o_2}{\partial y_1}\frac{\partial y_1}{\partial w_{21}}\\ &= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\ &= h_2(t_2 o_1 - t_1 + t_1 o_1)\\ &= h_2(o_1(t_1 + t_2) - t_1)\\ &= h_2(o_1 - t_1) \end{align}$

โปรดทราบว่าในขั้นตอนสุดท้ายเพราะเวกเตอร์เป็นเวกเตอร์ที่ร้อนแรง $t_1 + t_2 = 1$ $\mathbf{t}$

— Vivek Subramanian
แหล่งที่มา

นี่คือสิ่งที่ในที่สุดก็เคลียร์สำหรับฉัน! คำอธิบายที่ยอดเยี่ยมและสง่างาม !!!!

— SantoshGupta7

2

ฉันดีใจที่คุณทั้งสนุกและได้รับประโยชน์จากการอ่านโพสต์ของฉัน! มันก็มีประโยชน์สำหรับฉันที่จะเขียนมันออกมาและอธิบายมัน

— Vivek Subramanian

@VivekSubramanian ควรเป็น แทนไหม

= \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2}

$= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\$

— koryakinp

คุณพูดถูก - มันพิมพ์ผิด! ฉันจะทำการเปลี่ยนแปลง

— Vivek Subramanian

สิ่งที่ฉันไม่เข้าใจที่นี่ก็คือคุณยังกำหนดบันทึก (คะแนนไม่ได้สัดส่วน) ให้กับเซลล์ประสาทบางส่วน (o คือการบันทึก softmaxed (การคาดการณ์) และ y เป็นการบันทึกในกรณีของคุณ) อย่างไรก็ตามนี่ไม่ใช่กรณีปกติใช่ไหม? ดูรูปนี้ (o_out1 เป็นคำทำนายและ o_in1 เป็น logits) ดังนั้นเป็นไปได้อย่างไรในกรณีนี้คุณจะหาอนุพันธ์บางส่วนของ o2 เทียบกับ y1 ได้อย่างไร?

— ARAT

6

แทนที่ฉันต้องการจดหมายที่มีตัวพิมพ์ใหญ่แตกต่างจากภาพโดยใช้ตัวพิมพ์เล็ก เพื่อให้ฉันแทน\} นอกจากนี้ลองใช้ตัวแปรเพื่อกำหนดจากเลเยอร์ก่อนหน้า $\{o_i\},\,$ $\{y_i\}$ $\{p_i\}$ $\{o_i\}$

Letเป็นเมทริกซ์ทแยงมุมซึ่งเท่ากับเวกเตอร์เส้นทแยงมุมคือ นี้โดยใช้ตัวแปรเมทริกซ์ใหม่และFrobenius Inner สินค้าเราสามารถคำนวณการไล่ระดับสีของ WRT W $Y$ $y$

Y = D i a g (y)

$Y={\rm Diag}(y)$

E

$E$

W

$W$

\begin{aligned} z & = W p + b & d z = d W p \\ y & = s o f t m a x (z) & d y = (Y - y y^{T}) d z \\ E & = - t : \log (y) & d E = - t : Y^{- 1} d y \\ d E & = - t : Y^{- 1} (Y - y y^{T}) d z \\ = - t : (I - 1 y^{T}) d z \\ = - t : (I - 1 y^{T}) d W p \\ = (y 1^{T} - I) t p^{T} : d W \\ = ((1^{T} t) y p^{T} - t p^{T}) : d W \\ \frac{\partial E}{\partial W} & = (1^{T} t) y p^{T} - t p^{T} \end{aligned}

$\eqalign{ z &= Wp+b &dz= dWp \cr y &= {\rm softmax}(z) &dy = (Y-yy^T)\,dz \cr E &= -t:\log(y) &dE = -t:Y^{-1}dy \cr\cr dE &= -t:Y^{-1}(Y-yy^T)\,dz \cr &= -t:(I-1y^T)\,dz \cr &= -t:(I-1y^T)\,dW\,p \cr &= (y1^T-I)tp^T:dW \cr &= ((1^Tt)yp^T - tp^T):dW \cr\cr \frac{\partial E}{\partial W} &= (1^Tt)yp^T - tp^T \cr }$

— ตรงไปตรงมา
แหล่งที่มา

6

นี่คือหนึ่งในบันทึกที่สะอาดและเขียนได้ดีที่ผมมาในเว็บที่อธิบายเกี่ยวกับ"การคำนวณของสัญญาซื้อขายล่วงหน้าในขั้นตอนวิธีการแพร่กระจายย้อนกลับที่มีฟังก์ชั่นการสูญเสียข้ามเอนโทรปี"

— yottabytt
แหล่งที่มา

ใน pdf ที่กำหนดสมการ 22 กลายเป็นสมการ 23 ได้อย่างไร เช่นเดียวกับที่การสรุป (k! = i) ได้รับเครื่องหมายลบ มันจะไม่ได้รับสัญญาณบวกหรือไม่? เช่นเดียวกับSummation(Fn)(For All K) = Fn(k=i) + Summation(Fn)(k!=i)ที่ควรจะเกิดขึ้นตามความเข้าใจของผม

— faizan

1

นี่คือลิงค์อธิบาย softmax และอนุพันธ์ของมัน

มันอธิบายถึงเหตุผลในการใช้ i = j และ i! = j

— S. Muhammad H. Mustafa
แหล่งที่มา

ขอแนะนำให้ระบุคำตอบแบบสแตนด์อะโลนเพียงเล็กน้อยในกรณีที่ลิงก์เสียในอนาคต ไม่เช่นนั้นอาจไม่ช่วยผู้ใช้รายอื่นในอนาคต

— luchonacho

0

คำตอบอื่น ๆ ได้ให้วิธีที่ถูกต้องในการคำนวณอนุพันธ์ แต่พวกเขาไม่ได้ชี้ให้เห็นว่าคุณผิดไปไหน ในความเป็นจริงเป็น 1 เสมอในสมการสุดท้ายของคุณทำให้คุณสันนิษฐานว่าใช้โหนดของเป้าหมาย 1 ในผลลัพธ์ของคุณ ของโหนดอื่นมีรูปแบบของฟังก์ชันความน่าจะเป็นที่แตกต่างกันดังนั้นจึงนำไปสู่รูปแบบต่าง ๆ ของอนุพันธ์ดังนั้นคุณควรเข้าใจว่าทำไมคนอื่น ๆ จึงปฏิบัติต่อและแตกต่างกัน $t_j$ $o_j$ $o_j$ $i=j$ $i\neq j$

— kuixiong
แหล่งที่มา