สเกลค่าคงที่สำหรับอัลกอริธึมการค้นหาบรรทัดและภูมิภาคที่เชื่อถือได้

ในหนังสือของ Nocedal & Wright เกี่ยวกับการเพิ่มประสิทธิภาพเชิงตัวเลขมีคำสั่งในหัวข้อ 2.2 (หน้า 27) "โดยทั่วไปการพูดง่ายกว่าที่จะรักษาระดับความไม่แปรเปลี่ยนของอัลกอริธึมการค้นหาบรรทัด ในส่วนเดียวกันพวกเขาพูดคุยเกี่ยวกับการมีตัวแปรใหม่ที่เป็นรุ่นดั้งเดิมของตัวแปรดั้งเดิมซึ่งสามารถช่วยในการค้นหาทั้งสองและภูมิภาคที่เชื่อถือได้ อีกวิธีคือการปรับสภาพล่วงหน้า สำหรับวิธีการภูมิภาคที่เชื่อถือได้นั้นการปรับสภาพล่วงหน้านั้นเทียบเท่ากับการมีภูมิภาคที่เชื่อถือได้รูปไข่และทำให้เกิดความแปรปรวนของสเกล อย่างไรก็ตามสัญชาตญาณที่คล้ายกันไม่ชัดเจนสำหรับการกำหนดเงื่อนไขสำหรับการค้นหาบรรทัด การค้นหาบรรทัดเหมาะกว่าสำหรับขนาด invariance อย่างไร มีข้อควรพิจารณาในทางปฏิบัติบ้างไหม?

นอกจากนี้ฉันมีคำถามเกี่ยวกับเงื่อนไขเบื้องต้นสำหรับวิธีภูมิภาคที่เชื่อถือได้ สำหรับปัญหาที่มีเงื่อนไขไม่ดีนักเงื่อนไขที่ดีจะลดจำนวนการทำซ้ำรอบนอกของนิวตันและการทำซ้ำ CG ภายในหรือเฉพาะหลังเท่านั้น? เนื่องจากภูมิภาคที่ไว้วางใจนั้นเป็นรูปวงรีในพื้นที่ดั้งเดิมผู้มีเงื่อนไขเบื้องต้นที่ดีควรนำไปสู่รูปวงรีที่จะเข้ากับภูมิทัศน์ได้ดีขึ้น ฉันรู้สึกว่านี่อาจลดจำนวนการทำซ้ำรอบนอกของนิวตันโดยบังคับให้อัลกอริทึมไปยังทิศทางที่ดีขึ้น ถูกต้องหรือไม่

linear-algebra optimization numerical-analysis

— haripkannan
แหล่งที่มา

ฉันคิดว่าอาจมีความแตกต่างบางอย่างระหว่างวิธีการค้นหาบรรทัดและภูมิภาคที่เชื่อถือได้ที่ปรับขนาดได้ แต่ฉันไม่เห็นวิธีการปฏิบัติจริง ๆ ตราบใดที่เราตระหนักถึงการปรับขนาด และเพื่อความชัดเจนหนังสือ Nocedal และ Wright กำลังพูดถึงการปรับขนาดเลียนแบบ การวัดแบบไม่เชิงเส้นนั้นค่อนข้างยากกว่าในการหาปริมาณ

เพื่อดูว่าทำไมบอกว่าเราต้องการที่จะลดแต่เราต้องการที่จะไต่ตัวแปรโดยชนิดของ nonsingular ตนเอง adjoint ผู้ประกอบการบาง )กำหนดเป็นฟังก์ชันวัตถุประสงค์ที่ปรับขนาด จากนั้น $f:X\rightarrow \mathbb{R}$ $A\in\mathscr{L}(X)$ $J:X\rightarrow \mathbb{R}$ แตกต่างที่แท้จริงในขั้นตอนวิธีคือสิ่งที่เกิดขึ้นกับการปรับ ในวิธีการของนิวตันเราแก้ หรือ สมมติว่า Hessian เป็น nonsingular เรามี

\begin{aligned} J (x) = & f (A x) \\ \nabla J (x) = & A \nabla f (A x) \\ \nabla^{2} J (x) = & A \nabla^{2} f (A x) A \end{aligned}

$\begin{align*} J(x) =& f(Ax)\\ \nabla J(x) =& A\nabla f(Ax)\\ \nabla^2 J(x) =& A\nabla^2 f(Ax) A \end{align*}$

A

$A$

\nabla^{2} J (x) δ x = - \nabla J (x)

$\nabla^2 J(x) \delta x = -\nabla J(x)$

A \nabla^{2} f (A x) A δ x = - A \nabla f (A x)

$A\nabla^2 f(Ax) A \delta x = -A\nabla f(Ax)$

โดยทั่วไปการปรับจะยกเลิกและหายไปดังนั้นจึงไม่มีผลต่อทิศทาง นั่นเป็นเหตุผลที่เราพูดว่าวิธีการของนิวตันคือค่าคงที่ของเลียนแบบ

A δ x = - \nabla^{2} f (A x)^{- 1} \nabla f (A x)

$A \delta x = -\nabla^2 f(Ax)^{-1} \nabla f(Ax)$

H δ x = - \nabla J (x)

$H \delta x = -\nabla J(x)$

H

$H$

H δ x = - A \nabla f (A x)

$H \delta x = -A \nabla f(Ax)$

A

$A$

H

$H$

$\phi$

δ x = ϕ (- A \nabla f (A x))

$\delta x = \phi(-A\nabla f(Ax))$

ϕ

$\phi$

ϕ

$\phi$

ϕ

$\phi$

A

$A$

\nabla^{2} J (x) δ x = - \nabla J (x)

$\nabla^2 J(x) \delta x = -\nabla J(x)$ ไม่แน่นอนโดยใช้ CG นี่คือการใช้ Steihaug-Toint อย่างแม่นยำในการตั้งค่าภูมิภาคที่เชื่อถือได้ (หน้า 171 ใน Nocedal และ Wright) หรือ Newton-CG สำหรับการค้นหาบรรทัด (หน้า 169 ใน Nocedal และ Wright) พวกเขาทำงานใกล้เคียงกันและพวกเขาไม่สนใจเกี่ยวกับการลอกเลียนแบบ พวกเขายังไม่ต้องการจัดเก็บ Hessian เพียงต้องการผลิตภัณฑ์ Hessian-vector จริงๆแล้วอัลกอริธึมเหล่านี้ควรเป็นผู้เขียนสำหรับปัญหาส่วนใหญ่และพวกเขาไม่สนใจเกี่ยวกับการเลียนแบบการปรับขนาด

สำหรับผู้ที่มีปัญหาเกี่ยวกับภูมิภาคที่เชื่อถือได้ผมไม่คิดว่าจะมีวิธีใดที่จะบอก apriori ได้ง่ายถ้าคุณจะปรับปรุงจำนวนการเพิ่มประสิทธิภาพการทำซ้ำโดยรวมหรือไม่ จริงๆแล้วในตอนท้ายของวันวิธีการเพิ่มประสิทธิภาพทำงานในสองโหมด ในโหมดที่หนึ่งเราอยู่ไกลจากวิธีการของนิวตันมาบรรจบกันดังนั้นเราจึงทำให้โลกาภิวัตน์และบังคับให้ทำซ้ำเพื่อให้มั่นใจว่าเป้าหมายจะลดลง ภูมิภาคที่น่าเชื่อถือเป็นวิธีหนึ่ง การค้นหาสายเป็นอีกเรื่องหนึ่ง ในโหมดที่สองเราอยู่ในวิธีการของนิวตันที่รวมกันเป็นรัศมีดังนั้นเราจึงพยายามที่จะไม่ยุ่งกับมันและปล่อยให้วิธีการของนิวตันทำงานได้ ในความเป็นจริงเราสามารถเห็นสิ่งนี้ในบทพิสูจน์การลู่เข้าของสิ่งต่าง ๆ เช่นวิธีการที่เชื่อถือได้ ตัวอย่างเช่นดูทฤษฎีบท 4.9 (p.93 ใน Nocedal และ Wright) อย่างชัดเจนพวกเขาระบุว่าภูมิภาคที่เชื่อถือได้จะไม่ทำงาน ในบริบทนี้สิ่งที่เป็นประโยชน์ของ preconditioner หรือไม่ แน่นอนว่าเมื่อเราอยู่ในรัศมีการลู่เข้าของวิธีการของนิวตันเราทำงานได้น้อยลงและจำนวนการทำซ้ำ CG จะลดลง จะเกิดอะไรขึ้นเมื่อเราอยู่นอกรัศมีนี้ มันขึ้นอยู่กับประเภทของ หากเราคำนวณขั้นตอนแบบนิวตันเต็มรูปแบบประโยชน์ก็คือเราทำงานได้น้อยลง ถ้าเราตัดขั้นตอนก่อนเนื่องจากการตัดจาก CG ที่ถูกตัดทอนทิศทางของเราจะอยู่ในพื้นที่ย่อย Krylov

{- P \nabla J (x), - (P H) (P \nabla J (x)), \dots, - (P H)^{k} (P \nabla J (x))}

$\{-P\nabla J(x),-(PH)(P\nabla J(x)),\dots,-(PH)^k(P\nabla J(x))\}$

P

$P$

H

$H$

{- \nabla J (x), - (H) (\nabla J (x)), \dots, - (H)^{k} (\nabla J (x))} ?

$\{-\nabla J(x),-(H)(\nabla J(x)),\dots,-(H)^k(\nabla J(x))\}?$

นี่ไม่ได้หมายความว่าไม่มีค่าในการกำหนดเงื่อนไขเบื้องต้นที่ดี อย่างไรก็ตามฉันไม่แน่ใจว่าจะมีคนกำหนดเงื่อนไขเบื้องต้นเพื่อช่วยในการปรับให้เหมาะสมสำหรับจุดที่นิวตันใช้วิธีการลู่เข้าหากัน โดยทั่วไปแล้วเราออกแบบผู้กำหนดเงื่อนไขล่วงหน้าเพื่อจัดกลุ่มค่าลักษณะเฉพาะของการประเมินแบบ Hessian ซึ่งเป็นเป้าหมายที่จับต้องได้และวัดผลได้

TLDR; การพูดจริงมีวิธีการที่หลากหลายกว่าสำหรับวิธีการค้นหาบรรทัดเพื่อสร้างการวนซ้ำมากกว่าวิธีการที่เชื่อถือได้ดังนั้นจึงเป็นไปได้ว่ามีวิธีที่น่าทึ่งในการจัดการการปรับขนาดเลียนแบบ อย่างไรก็ตามเพียงแค่ใช้วิธีของนิวตันที่ไม่แน่นอนและไม่เป็นไร preconditioner ส่งผลกระทบต่อประสิทธิภาพการทำงานของอัลกอริทึมที่อยู่ห่างจากวิธีการของนิวตันมาบรรจบกัน แต่ก็ยากที่จะหาจำนวนวิธีดังนั้นเพียงแค่ออกแบบตัวปรับสภาพล่วงหน้าเพื่อจัดกลุ่มค่าลักษณะเฉพาะของการประมาณ Hessiasn

— wyer33
แหล่งที่มา