ความไวของ BFGS ถึงการประมาณค่าเริ่มต้นของ Hessian

ฉันพยายามใช้วิธี Broyden-Fletcher-Goldfarb-Shanno เพื่อค้นหาฟังก์ชันขั้นต่ำ ฉันต้องการการเดาเริ่มต้นสองครั้ง$x_{-1}$ & $x_0$ และการประมาณค่าเริ่มต้นของ Hessian Matrix $B_0$. ข้อกำหนดเฉพาะที่ฉันค้นหา$B_0$ คือถ้า Hessian เป็นสมมาตรเชิงบวกแน่นอนก็ควรเช่นกัน $B_0$. เมื่อมองไปที่วิกิพีเดียฉันเห็นว่าการประมาณเบื้องต้นเบื้องต้นคือ$B_0=I$(เมทริกซ์เอกลักษณ์) นี่เป็นครั้งแรกที่ดีเสมอ$B_0$? มีเหตุผลใดบ้างที่ฉันอาจต้องการเลือกสิ่งอื่นนอกเหนือจากนี้$I$? ตัวเลือกอื่น ๆ ของ B ซึ่งจะทำให้คุณสมบัติเมทริกซ์เดียวกันเป็นที่น่าพอใจมีผลกระทบอย่างมากต่อการรวมกันของวิธีการนี้หรือไม่?

หากคุณมีการประเมินแบบ Hessian อย่างเป็นธรรมจะดีกว่าที่จะใช้มันแทนการใช้โดยพลการ $B_0=I$.

แก้ไข: เหตุผลคือถ้าคุณเริ่มใกล้กับโซลูชัน $x^*$อัตราเริ่มต้นของการบรรจบกันคือ (สำหรับใด ๆ ) $r>0$) $r+1$- ขั้นตอนเชิงเส้นด้วย $r+1$ขั้นตอนการบรรจบกันของ $q=\|B_0^{-1}f''(x^*)-G\|$ถ้านี่คือสำหรับการจัดอันดับการแก้ไขของเมทริกซ์เอกลักษณ์ ดังนั้นการพยายามทำให้สิ่งเล็ก ๆ นี้มีค่ามาก (สิ่งนี้เทียบเท่ากับการปรับสภาพระบบล่วงหน้า) ปัจจัยการลู่เข้าจะปรับปรุงให้ดีขึ้นตามเวลาและในที่สุดก็เข้าใกล้ศูนย์ (การบรรจบกันแบบ Superlinear) แต่ในปัญหาที่แท้จริงหลายประการ ดังนั้นความเร็วเริ่มต้นจึงค่อนข้างสำคัญ$<1$$r$$G$

กรณีที่สำคัญอย่างหนึ่งคือเมื่อแก้ไขปัญหากำลังสองน้อยที่สุด (ลด ) ซึ่งการประมาณ Gauss-Newtonของ Hessian เริ่มต้น คำนวณโดยไม่จำเป็นต้องมีอนุพันธ์อันดับสอง การใช้มันทำให้วิธีการ BFGS เลียนแบบค่าคงที่คือค่าคงที่ภายใต้การแปลงเชิงเส้นของเช่นวิธีของนิวตันซึ่งมักจะเป็นประโยชน์มาก$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

อีกกรณีที่สำคัญคือเมื่อคุณแก้ไขลำดับของปัญหาที่เกี่ยวข้อง บ่อยครั้งที่การเริ่มต้นตัวแก้ปัญหาใหม่ด้วยการประเมิน Hessian ขั้นสุดท้ายของปัญหาก่อนหน้านี้ช่วยลดจำนวนการทำซ้ำที่จำเป็นลงอย่างมาก