การไล่ระดับสีของโครงข่ายประสาทชั้นเดียวนั้นมีอินพุตเป็นตัวดำเนินการในกฎลูกโซ่คืออะไร

ปัญหาคือ:

สืบทอดการไล่ระดับสีสำหรับเลเยอร์อินพุตสำหรับเน็ตเวิร์กโครงข่ายประสาทชั้นเดียวที่ซ่อนอยู่โดยใช้ sigmoid สำหรับอินพุต -> ซ่อน, ซอฟต์แม็กซ์สำหรับซ่อน -> เอาต์พุต, ด้วยการสูญเสียเอนโทรปี

ฉันสามารถผ่านมาส่วนใหญ่โดยใช้กฎลูกโซ่ แต่ฉันไม่แน่ใจเกี่ยวกับวิธี "โซ่" พวกเขาจริง ๆ กัน

กำหนดสัญลักษณ์บางอย่าง

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , $\sigma$ เป็นฟังก์ชัน sigmoid

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , $S$ คือฟังก์ชัน softmax

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , $y$ เป็นป้ายกำกับของเวกเตอร์แบบหนึ่งร้อน

จากนั้นตามกฎลูกโซ่

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

การไล่ระดับสีส่วนบุคคลคือ:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

ตอนนี้เราต้องเชื่อมโยงคำจำกัดความเข้าด้วยกัน ในตัวแปรเดียวสิ่งนี้ง่ายเราแค่คูณทุกอย่างเข้าด้วยกัน ในเวกเตอร์ฉันไม่แน่ใจว่าจะใช้การคูณด้วยองค์ประกอบที่ชาญฉลาดหรือการคูณเมทริกซ์

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

โดยที่คือการคูณเวกเตอร์องค์ประกอบที่ชาญฉลาดและคือเมทริกซ์ทวีคูณ การรวมกันของการดำเนินการนี้เป็นวิธีเดียวที่ฉันจะดูเหมือนจะร่วมกันสตริงเหล่านี้จะได้รับมิติเวกเตอร์ซึ่งฉันรู้ว่าจะต้องมี $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

คำถามของฉันคือ: อะไรคือวิธีที่หลักการสำหรับฉันที่จะคิดออกว่าผู้ประกอบการที่จะใช้? ฉันสับสนโดยเฉพาะความจำเป็นในการองค์ประกอบหนึ่งที่ชาญฉลาดระหว่างและH $W_2^T$ $h$

ขอบคุณ!

neural-networks gradient

— amatsukawa
แหล่งที่มา

ฉันตระหนักดีว่าการค้นหาการไล่ระดับสีไปยังอินพุตนั้นไม่ได้กระทำบ่อยครั้ง ฉันเชื่อว่านี่เป็นผู้นำในการคำนวณคำว่าแต่งงานซึ่งคุณมีตัวเลือกเพื่อปรับเวกเตอร์คำว่า "อินพุต" ให้เหมาะสม

— amatsukawa

คุณเป็นอย่างไรบ้าง dervie dJ / deta

— raaj

คำตอบ:

ฉันเชื่อว่ากุญแจสำคัญในการตอบคำถามนี้คือการชี้ให้เห็นว่าการคูณองค์ประกอบที่ชาญฉลาดนั้นจดชวเลขและดังนั้นเมื่อคุณได้รับสมการที่คุณไม่เคยใช้จริง

การดำเนินงานที่เกิดขึ้นจริงไม่ได้เป็นคูณองค์ประกอบที่ชาญฉลาด แต่แทนที่จะคูณเมทริกซ์มาตรฐานของการไล่ระดับสีที่มีจาโคเบียน , เสมอ

ในกรณีของความไม่เชิงเส้นจาโคเบียนของเวกเตอร์เอาท์พุทของความไม่เป็นเชิงเส้นเทียบกับเวกเตอร์ของความไม่เชิงเส้นที่เกิดขึ้นเป็นเมทริกซ์ทแยงมุม มันจึงเป็นความจริงที่การไล่ระดับสีคูณด้วยเมทริกซ์นี้เทียบเท่ากับการไล่ระดับสีของเอาท์พุทของความไม่เชิงเส้นเทียบกับองค์ประกอบการสูญเสียที่ชาญฉลาดคูณด้วยเวกเตอร์ที่มีอนุพันธ์ย่อยทั้งหมดของความไม่เชิงเส้น แต่สิ่งนี้ตามมาจากยาโคบเบียนแนวทแยง คุณต้องผ่านขั้นตอนของยาโคเบียนเพื่อไปที่การคูณองค์ประกอบที่ฉลาดซึ่งอาจอธิบายความสับสนของคุณ

ในวิชาคณิตศาสตร์เรามีความไม่เชิงเส้น , การสูญเสียและการป้อนข้อมูลไปยังความไม่เชิงเส้น (นี่อาจเป็นเทนเซอร์ใด ๆ ) เอาต์พุตของความไม่เชิงเส้นมีขนาดเดียวกัน --- ตามที่ @Logan บอกว่าฟังก์ชั่นการเปิดใช้งานถูกกำหนดเป็นองค์ประกอบที่ชาญฉลาด $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

เราต้องการ

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

ที่ไหนเป็นจาโคเบียนของsการขยาย Jacobian นี้เราจะได้รับ $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

เราเห็นว่ามันมีอยู่ทุกหนทุกแห่งที่เป็นศูนย์ยกเว้นเส้นทแยงมุม เราสามารถสร้างเวกเตอร์ขององค์ประกอบในแนวทแยงทั้งหมดของ

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

แล้วใช้ตัวดำเนินการองค์ประกอบที่ชาญฉลาด

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— user0
แหล่งที่มา

เมื่อใดก็ตามที่สัดส่วนกลับไปที่ฟังก์ชั่นการเปิดใช้งานการดำเนินการจะกลายเป็นองค์ประกอบที่ชาญฉลาด โดยเฉพาะอย่างยิ่งการใช้ตัวอย่างของคุณเป็นอนุพันธ์ backpropagation และเป็นอนุพันธ์การเปิดใช้งานและผลิตภัณฑ์ของพวกเขาเป็นผลิตภัณฑ์ตามองค์ประกอบa' เนื่องจากฟังก์ชั่นการเปิดใช้งานนั้นถูกกำหนดให้เป็นการทำงานแบบองค์ประกอบที่ฉลาดในเครือข่ายประสาท $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

ดูสไลด์บรรยาย cs224d หน้า 30 มันอาจช่วยได้เช่นกัน

— โลแกน
แหล่งที่มา