ใครช่วยอธิบายอัลกอริธึมการเผยแพร่กลับได้ไหม [ซ้ำ]

13

อัลกอริทึมการเผยแพร่กลับคืออะไรและทำงานอย่างไร

algorithms optimization neural-networks

1

ฉันรวบรวมคำตอบสำหรับคำถามนี้ที่นี่ถ้าใครสนใจ (ฉันไม่ต้องการ repost)

— Phylliida

14

อัลกอริธึมการแพร่กระจายกลับเป็นอัลกอริธึมการไล่ระดับสีสำหรับการปรับโมเดลเครือข่ายประสาท (ตามที่กล่าวถึงโดย @Dikran) ให้ฉันอธิบายวิธี

อย่างเป็นทางการ:การใช้การคำนวณของการไล่ระดับสีที่ส่วนท้ายของโพสต์นี้ภายในสมการ [1] ด้านล่าง (นั่นคือคำจำกัดความของการไล่ระดับสีลาด) ให้อัลกอริทึมการแพร่กระจายกลับเป็นกรณีเฉพาะของการใช้การไล่ระดับสี

โมเดลโครงข่ายประสาทเทียม อย่างเป็นทางการเราแก้ไขความคิดด้วยโมเดลเลเยอร์เดี่ยวแบบง่าย:

f (x) = g (A^{1} (s (A^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$ โดยที่และเป็นที่รู้จักสำหรับทั้งหมด , , และ ,เป็นฟังก์ชันเลียนแบบที่ไม่รู้จัก ฟังก์ชั่นเรียกว่าฟังก์ชั่นการเปิดใช้งานในกรอบการจำแนกประเภท

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

ฟังก์ชั่นการสูญเสียกำลังสองถูกนำมาใช้เพื่อแก้ไขความคิด ดังนั้นการป้อนข้อมูลเวกเตอร์ของสามารถติดตั้งกับเอาท์พุทที่แท้จริง ของ (อาจเป็นเวกเตอร์) โดยลดการทดลอง การสูญเสีย: ที่เกี่ยวกับทางเลือกของและ 2 $(x_1,\dots,x_n)$ $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$

R_{n} (A^{1}, A^{2}) = \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

Gradient descent เชื้อสาย Grandient สำหรับการย่อขนาดเป็นอัลกอริทึมที่ย้ำ: สำหรับขนาดขั้นตอนที่เลือกไว้อย่างดี(เรียกอีกอย่างว่าอัตราการเรียนรู้ในกรอบของการขยายพันธุ์ด้านหลัง) มันต้องมีการคำนวณการไล่ระดับสีของ{R} ในกรณีที่ถือว่าเป็น{L}) $\mathcal{R}$

a_{l + 1} = a_{l} - γ_{l} \nabla R (a_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

การไล่ระดับของ $\mathcal{R}$ (สำหรับแบบจำลองโครงข่ายประสาทอย่างง่าย) ให้เราแสดงโดยการไล่ระดับของเป็นฟังก์ชันของและลาดของเป็นหน้าที่ของ 2 การคำนวณมาตรฐาน (ใช้กฎสำหรับการหาองค์ประกอบของฟังก์ชัน) และการใช้สัญกรณ์ให้ สำหรับทั้งหมด $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R [1 : M] = - 2 \times \sum_{i = 1}^{n} z_{i} g^{'} (z_{i}) (y_{i} - f (x_{i}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R [1 : p, m] = - 2 \times \sum_{i = 1}^{n} x_{i} g^{'} (z_{i}) z_{i} [m] σ^{'} (A^{2} (x_{i}) [m]) (y_{i} - f (x_{i}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

นี่ผมใช้สัญกรณ์การ R:เป็นเวกเตอร์ประกอบด้วยพิกัดของจากดัชนีเพื่อจัดทำดัชนีข $x[a:b]$ $x$ $a$ $b$

— โรบินกีร์ด
แหล่งที่มา

11

Back-Propogation เป็นวิธีการหาอนุพันธ์ของฟังก์ชันข้อผิดพลาดเกี่ยวกับน้ำหนักเพื่อให้แบบจำลองสามารถได้รับการฝึกอบรมโดยวิธีการหาค่าเหมาะที่สุดสำหรับการไล่ระดับสีแบบลาดชัน - มันเป็นเพียงการประยุกต์ใช้ "กฎลูกโซ่" ไม่มีอะไรมากไปกว่านั้นดังนั้นหากคุณพอใจกับแคลคูลัสที่เป็นวิธีที่ดีที่สุดในการดู

หากคุณไม่สะดวกกับแคลคูลัสวิธีที่ดีกว่าคือการบอกว่าเรารู้ว่าหน่วยเอาต์พุตกำลังทำงานแย่เพียงใดเพราะเรามีเอาต์พุตที่ต้องการเพื่อเปรียบเทียบเอาต์พุตจริง อย่างไรก็ตามเราไม่มีเอาต์พุตที่ต้องการสำหรับหน่วยที่ซ่อนอยู่ดังนั้นเราจะทำอย่างไร กฎการแพร่กระจายย้อนกลับนั้นเป็นวิธีการพูดถึงความผิดสำหรับข้อผิดพลาดของหน่วยส่งออกไปยังหน่วยที่ซ่อนอยู่ ยิ่งยูนิตที่ซ่อนอยู่มีผลต่อยูนิตเอาต์พุตเฉพาะมากเท่าใดก็ยิ่งมีความผิดมากขึ้นเท่านั้น ความผิดทั้งหมดที่เกี่ยวข้องกับหน่วยที่ซ่อนอยู่นั้นจะแสดงให้เห็นว่าน้ำหนักของเลเยอร์ที่นำเข้าและซ่อนต้องเปลี่ยนไปมากน้อยเพียงใด สองสิ่งที่ควบคุมว่าจะส่งความผิดได้มากน้อยเพียงใดคือน้ำหนักที่เชื่อมต่อน้ำหนักที่ซ่อนอยู่และน้ำหนักเลเยอร์เอาท์พุท (ชัด) และเอาต์พุตของหน่วยที่ซ่อนอยู่ (ถ้ามันตะโกนมากกว่าที่จะกระซิบ ส่วนที่เหลือเป็นเพียงคณิตศาสตร์ที่เปลี่ยนสัญชาตญาณให้กลายเป็นอนุพันธ์ของเกณฑ์การฝึกอบรม

ฉันขอแนะนำหนังสือบาทหลวงเพื่อคำตอบที่เหมาะสม! ; o)

— Dikran Marsupial
แหล่งที่มา

2

มันเป็นอัลกอริทึมสำหรับการฝึกอบรมเครือข่ายประสาทหลายชั้นแบบป้อนต่อเนื่อง มีหลาย applets ดี Java รอบเว็บที่แสดงให้เห็นถึงสิ่งที่เกิดขึ้นเช่นนี้คือ: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html นอกจากนี้หนังสือของ Bishop ใน NNsยังเป็นข้อมูลอ้างอิงมาตรฐานสำหรับสิ่งที่เกี่ยวข้องกับ NNs

— สตีเฟ่นเทอร์เนอร์
แหล่งที่มา

ในความพยายามที่จะสร้างพื้นที่เก็บข้อมูลถาวรของข้อมูลสถิติที่มีคุณภาพสูงในรูปแบบของคำถามและคำตอบที่เราพยายามที่จะหลีกเลี่ยงการตอบเชื่อมโยงเท่านั้น หากคุณสามารถคุณสามารถขยายสิ่งนี้อาจโดยการสรุปข้อมูลที่ลิงค์?

— Glen_b -Reinstate Monica