ทำไมขั้นตอนของฉันถึงเล็กลงเมื่อใช้ขนาดขั้นตอนคงที่ในการไล่ระดับสีแบบลาดชัน

สมมติว่าเรากำลังทำตัวอย่างของเล่นในการไล่ระดับสีที่ดีลดฟังก์ชันกำลังสองโดยใช้ขั้นตอนขนาดคงที่\( )$x^TAx$$\alpha=0.03$$A=[10, 2; 2, 3]$

ถ้าเราพล็อตการติดตามของในการวนซ้ำแต่ละครั้งเราจะได้ตัวเลขดังต่อไปนี้ ทำไมคะแนนจึงมีความหนาแน่นสูงเมื่อเราใช้ขนาดขั้นตอนคงที่ โดยสังหรณ์ใจมันไม่ได้ดูเหมือนขนาดขั้นตอนคงที่ แต่ขนาดขั้นตอนลดลง$x$

---

PS: รหัส R รวมถึงพล็อต

A=rbind(c(10,2),c(2,3))
f <-function(x){
  v=t(x) %*% A %*% x
  as.numeric(v)
}
gr <-function(x){
  v = 2* A %*% x
  as.numeric(v)
}

x1=seq(-2,2,0.02)
x2=seq(-2,2,0.02)
df=expand.grid(x1=x1,x2=x2)
contour(x1,x2,matrix(apply(df, 1, f),ncol=sqrt(nrow(df))), labcex = 1.5, 
        levels=c(1,3,5,10,20,40))
grid()

opt_v=0
alpha=3e-2
x_trace=c(-2,-2)
x=c(-2,-2)
while(abs(f(x)-opt_v)>1e-6){
  x=x-alpha*gr(x)
  x_trace=rbind(x_trace,x)
}
points(x_trace, type='b', pch= ".", lwd=3, col="red")
text(x_trace, as.character(1:nrow(x_trace)), col="red")

ให้โดยที่มีความสมมาตรและเป็นบวกแน่นอน (ฉันคิดว่าสมมติฐานนี้ปลอดภัยตามตัวอย่างของคุณ) แล้วและเราสามารถ diagonalize เป็น T ใช้การเปลี่ยนแปลงของพื้นฐานx จากนั้นเรามี $f(x) = \frac 12 x^T A x$$A$$\nabla f(x) = Ax$$A$$A = Q\Lambda Q^T$$y =Q^T x$

$$f(y) = \frac 12 y^T \Lambda y \implies \nabla f(y) = \Lambda y.$$

$\Lambda$เป็นแนวทแยงดังนั้นเราจึงได้รับการอัปเดตเป็น

$$y^{(n+1)} = y^{(n)} - \alpha \Lambda y^{(n)} = (I - \alpha \Lambda)y^{(n)} = (I - \alpha \Lambda)^{n+1}y^{(0)}.$$

ซึ่งหมายความว่าควบคุมการบรรจบกันและเราจะได้รับการลู่เข้าถ้า<1ในกรณีของคุณเรามี ดังนั้น $1 - \alpha \lambda_i$$|1 - \alpha \lambda_i| < 1$

$$\Lambda \approx \left(\begin{array}{cc} 10.5 & 0 \\ 0 & 2.5\end{array}\right)$$ $$I - \alpha \Lambda \approx \left(\begin{array}{cc} 0.89 & 0 \\ 0 & 0.98\end{array}\right).$$

เราได้รับการบรรจบกันค่อนข้างเร็วในทิศทางที่สอดคล้องกับไอเก็นเวกเตอร์กับไอเกนแวลูเท่าที่เห็นโดยการวนซ้ำลงส่วนที่ชันชันของพาราโบลาค่อนข้างเร็ว แต่การบรรจบกันช้าในทิศทางของไอเกนใกล้เคียงกับมาก ดังนั้นแม้ว่าอัตราการเรียนรู้คงที่ แต่ขนาดที่แท้จริงของขั้นตอนในทิศทางนี้จะลดลงตามประมาณ$\lambda \approx 10.5$$0.98$$1$$\alpha$$(0.98)^n$ซึ่งช้าลงและช้าลง นั่นคือสาเหตุของการชะลอตัวของการดูแบบเอ็กซ์โปเนนเชียลในความคืบหน้าในทิศทางนี้ (มันเกิดขึ้นในทั้งสองทิศทาง แต่ทิศทางอื่นใกล้เข้ามาเร็วพอที่เราจะไม่สังเกตหรือไม่สนใจ) ในกรณีนี้การลู่เข้าจะเร็วขึ้นมากถ้าเพิ่มขึ้น$\alpha$

สำหรับการอภิปรายที่ดีมากและทั่วถึงมากกว่านี้ผมขอแนะนำhttps://distill.pub/2017/momentum/

สำหรับฟังก์ชั่นที่ราบรื่นที่ local minima$\nabla f=0$

เนื่องจากรูปแบบการอัปเดตของคุณคือ , ขนาดควบคุมขนาดขั้นตอน ในกรณีของสมการกำลังสองของคุณเช่นกัน (เพียงคำนวณ hessian ของกำลังสองในกรณีของคุณ) โปรดทราบว่าสิ่งนี้ไม่จำเป็นต้องเป็นจริงเสมอไป ตัวอย่างเช่นลองโครงการเดียวกันใน x จากนั้นขนาดขั้นตอนของคุณจะเป็นเสมอดังนั้นจะไม่ลดลง หรือน่าสนใจกว่านั้นคือซึ่งการไล่ระดับสีไปที่ 0 ในพิกัด y แต่ไม่ใช่พิกัดดูคำตอบของ Chaconne สำหรับวิธีการสำหรับ quadratics$\alpha \nabla f$$|\nabla f|$$|\Delta f|\rightarrow 0$$f(x)=x$$\alpha$$f(x,y)=x+y^2$$x$