ประมาณอันดับที่สองของฟังก์ชั่นการสูญเสีย (หนังสือการเรียนรู้ลึก, 7.33)

ในหนังสือ Goodfellow (ปี 2559) เกี่ยวกับการเรียนรู้อย่างลึกซึ้งเขาได้พูดคุยเกี่ยวกับความเท่าเทียมกันของการหยุดการเข้าสู่ช่วงปกติของ L2 ( https://www.deeplearningbook.org/contents/regularization.htmlหน้า 247)

การประมาณกำลังสองของฟังก์ชันต้นทุนถูกกำหนดโดย:$j$

$$\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*)$$

โดยที่คือเมทริกซ์ของ Hessian (Eq. 7.33) สิ่งนี้หายไปในระยะกลางหรือไม่ การขยายตัวของเทย์เลอร์ควรเป็น: $H$

$$f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2$$

พวกเขาพูดถึงน้ำหนักที่เหมาะสม:

เราสามารถสร้างแบบจำลองฟังก์ชั่นค่าใช้จ่ายด้วยการประมาณกำลังสองในพื้นที่ใกล้เคียงของค่าที่เหมาะสมเชิงประจักษ์ของน้ำหนัก$J$$w^∗$

ณ จุดนั้นอนุพันธ์อันดับแรกคือศูนย์ - เทอมกลางจึงถูกปล่อยออกมา