คำว่าโมเมนตัมสำหรับอัลกอริธึม backpropagation ทำงานอย่างไร

เมื่ออัปเดตน้ำหนักของเครือข่ายนิวรัลโดยใช้อัลกอริธึม backpropagation กับโมเมนตัมอัตราการเรียนรู้ควรถูกนำไปใช้กับเทอมโมเมนตัมเช่นกันหรือไม่?

ข้อมูลส่วนใหญ่ที่ฉันพบเกี่ยวกับการใช้โมเมนตัมมีสมการที่มีลักษณะดังนี้:

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

โดยที่คืออัตราการเรียนรู้และคือศัพท์โมเมนตัม$\alpha$$\mu$

หากคำว่ามีขนาดใหญ่กว่าคำว่าดังนั้นในการทำซ้ำครั้งถัดไปจากการทำซ้ำครั้งก่อนหน้าจะมีผลต่อน้ำหนักมากกว่าที่เป็นอยู่ในปัจจุบัน$\mu$$\alpha$$\Delta W$

นี่คือจุดประสงค์ของคำว่าโมเมนตัมหรือไม่? หรือสมการควรมีลักษณะเช่นนี้มากกว่านี้หรือไม่

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

กล่าวคือ ปรับขนาดทุกอย่างตามอัตราการเรียนรู้?

การใช้ Backpropagation พร้อมโมเมนตัมในเครือข่ายที่มีน้ำหนักที่แตกต่างกันการแก้ไข -th สำหรับน้ำหนักนั้นได้รับจาก$n$$W_k$$i$$W_k$

$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ โดยที่คือการเปลี่ยนแปลงของ การสูญเสีย WRT W_k$\frac{\partial E}{\partial W_k}$$W_k$

การแนะนำของอัตราโมเมนตัมช่วยให้การลดทอนของความผันผวนในการไล่ระดับสี แนวคิดทางเรขาคณิตที่อยู่เบื้องหลังความคิดนี้สามารถเข้าใจได้ดีที่สุดในแง่ของการวิเคราะห์ eigenspace ในกรณีเชิงเส้น หากอัตราส่วนระหว่างค่าลักษณะเฉพาะต่ำสุดและใหญ่ที่สุดนั้นมีขนาดใหญ่แล้วการดำเนินการลดความลาดชันจะช้าแม้ว่าอัตราการเรียนรู้จะสูงเนื่องจากการปรับเมทริกซ์ โมเมนตัมแนะนำการทรงตัวบางอย่างในการอัพเดทระหว่างไอเก็นผู้ประกอบการที่เกี่ยวข้องกับค่าลักษณะเฉพาะที่ต่ำกว่าและใหญ่กว่า

สำหรับรายละเอียดเพิ่มเติมฉันหมายถึง

http://page.mi.fu-berlin.de/rojas/neural/chapter/K8.pdf