ปรับขนาดขั้นตอนสืบเชื้อสายลาดลาดเมื่อคุณไม่สามารถทำการค้นหาบรรทัด

ฉันมีฟังก์ชั่นวัตถุประสงค์ขึ้นอยู่กับค่าโดยที่\ phi (x, t)คือคำตอบของ PDE ฉันกำลังเพิ่มประสิทธิภาพEโดยสายเลือดลาดในสภาวะเริ่มต้นของ PDE นี้: \ พี (x, t = 0.0) นั่นคือฉันอัปเดต\ phi (x, t = 0.0)แล้วต้องรวม PDE เพื่อคำนวณส่วนที่เหลือของฉัน นั่นหมายความว่าถ้าฉันทำการค้นหาบรรทัดสำหรับขนาดขั้นตอนการไล่ระดับสีไล่ระดับ (เรียกว่า\ alpha ) สำหรับทุกค่าที่เป็นไปได้ของ\ alphaฉันจะต้องรวม PDE ทั้งหมดอีกครั้ง$E$$\phi(x, t = 1.0)$$\phi(x, t)$$E$$\phi(x, t = 0.0)$$\phi(x, t = 0.0)$$\alpha$$\alpha$

ในกรณีของฉันที่จะมีราคาแพง มีตัวเลือกอื่นสำหรับขนาดขั้นบันไดที่มีการไล่ระดับสีที่ปรับได้

ฉันไม่เพียงแค่มองหาโครงร่างหลักการทางคณิตศาสตร์ที่นี่ (แม้ว่าแน่นอนว่าจะดีกว่าถ้ามีอยู่) แต่จะมีความสุขกับสิ่งที่โดยทั่วไปดีกว่าขนาดคงที่

ขอบคุณ!

ฉันจะเริ่มต้นด้วยคำพูดทั่วไป: ข้อมูลการสั่งซื้อครั้งแรก (เช่นการใช้การไล่ระดับสีเพียงอย่างเดียวซึ่งการเข้ารหัสลาดชัน) สามารถให้ข้อมูลทิศทางคุณเท่านั้น: มันสามารถบอกคุณได้ว่าค่าฟังก์ชั่นลดลงในทิศทางการค้นหา . ในการตัดสินใจว่าจะไปตามทิศทางการค้นหานานแค่ไหนคุณต้องการข้อมูลเพิ่มเติม (การไล่ระดับสีด้วยความยาวขั้นตอนคงที่อาจล้มเหลวแม้จะเกิดปัญหาสมการกำลังสองนูน) สำหรับเรื่องนี้คุณมีสองทางเลือก:

1. ใช้ข้อมูลลำดับที่สอง (ซึ่งเข้ารหัสความโค้ง) ตัวอย่างเช่นโดยใช้วิธีของนิวตันแทนการไล่ระดับสีแบบไล่ระดับ (ซึ่งคุณสามารถใช้ความยาวขั้นตอนที่ใกล้เพียงพอกับตัวลดขนาดได้เสมอ)$1$
2. การทดลองและข้อผิดพลาด (ซึ่งแน่นอนว่าฉันหมายถึงการใช้การค้นหาบรรทัดที่เหมาะสมเช่น Armijo)

ถ้าในขณะที่คุณเขียนคุณไม่สามารถเข้าถึงอนุพันธ์อันดับสองและการประเมินฟังก์ชั่น obejctive นั้นมีราคาแพงมากความหวังเดียวของคุณคือการประนีประนอม: ใช้ข้อมูลลำดับที่สองโดยประมาณที่เพียงพอเพื่อให้ได้ความยาวขั้นตอนที่เหมาะสม การค้นหาต้องการเพียงการประเมิน (เช่นอย่างน้อยที่สุดคงที่หลายเท่าของความพยายามที่คุณต้องประเมินการไล่ระดับสี)$\mathcal{O}(1)$

ความเป็นไปได้อย่างหนึ่งคือการใช้Barzilai - Borwein step length (ดูเช่น Fletcher: บนวิธี Barzilai-Borwein การปรับให้เหมาะสมและควบคุมด้วยแอปพลิเคชัน 235–256, Appl. Optimized, 96, Springer, New York, 2005 ) แนวคิดคือใช้การประมาณความแตกต่างอัน จำกัด ของความโค้งตามทิศทางการค้นหาเพื่อให้ได้ขนาดโดยประมาณ โดยเฉพาะให้เลือก$\alpha_0>0$ โดยพลการตั้ง $g^0:=\nabla f(x^0)$ แล้วสำหรับ $k=0,...$:

1. ชุด $s^k = -\alpha_k^{-1} g^k$ และ $x^{k+1}=x^k+s^k$
2. ประเมินผล $g^{k+1}=\nabla f(x^{k+1})$ และตั้งค่า $y^k = g^{k+1}-g^{k}$
3. ชุด $\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$

ตัวเลือกนี้สามารถแสดงให้เห็นว่ามาบรรจบกัน (ในทางปฏิบัติอย่างรวดเร็ว) สำหรับฟังก์ชั่นสมการกำลังสอง แต่คอนเวอร์เจนซ์ไม่ได้เป็นเสียงเดียว (เช่นค่าฟังก์ชัน$f(x^{k+1})$ สามารถมีขนาดใหญ่กว่า $f(x^k)$แต่เพียงครั้งเดียว ดูพล็อตหน้า 10 ในกระดาษของลูกธนู สำหรับฟังก์ชั่นที่ไม่ใช่สมการกำลังสองคุณจะต้องรวมสิ่งนี้เข้ากับการค้นหาสายซึ่งจำเป็นต้องได้รับการแก้ไขเพื่อจัดการกับความไม่เป็นโมโนโพนิค ความเป็นไปได้อย่างหนึ่งคือการเลือก$\sigma_k \in (0,\alpha_k^{-1})$ (เช่นโดยการย้อนรอย) เช่นนั้น

$$f(x^k - \sigma_k g^k) \leq \max_{\max(k-M,1)\leq j\leq k} f(x^j) - \gamma \sigma_k (g^k)^Tg^k,$$ ที่ไหน $\gamma\in(0,1)$ เป็นพารามิเตอร์ Armijo ทั่วไปและ $M$ ควบคุมระดับของความน่าเบื่อ (เช่น $M=10$) นอกจากนี้ยังมีตัวแปรที่ใช้ค่าการไล่ระดับสีแทนค่าฟังก์ชั่น แต่ในกรณีของคุณการไล่ระดับสีนั้นมีราคาแพงกว่าในการประเมินมากกว่าฟังก์ชั่นดังนั้นจึงไม่สมเหตุสมผล (หมายเหตุ: แน่นอนคุณสามารถลองยอมรับขั้นตอน BB ยาว ๆ และเชื่อในโชคของคุณได้ แต่ถ้าคุณต้องการความทนทานแบบใด ๆ - ตามที่คุณเขียนไว้ในความคิดเห็นของคุณ - นั่นเป็นความคิดที่แย่จริงๆ)

ทางเลือกอื่น (และในความคิดของฉันวิธีที่ดีกว่ามาก) จะใช้การประมาณผลต่างอัน จำกัด นี้แล้วในการคำนวณทิศทางการค้นหา นี้เรียกว่าวิธีการกึ่งนิวตัน ความคิดคือการสร้างการประมาณของ Hessian ทีละน้อย$\nabla^2 f(x^k)$โดยใช้ความแตกต่างของการไล่ระดับสี ตัวอย่างเช่นคุณสามารถรับ$H_0=\mathrm{Id}$ (เมทริกซ์เอกลักษณ์) และสำหรับ $k=0,\dots$ แก้

$$H_{k}s^{k} = -g^{k},\label{cc1}\tag{1}$$ และตั้งค่า $$H_{k+1} = H_k + \frac{(y^k-H_ks^k)^T(s^k)^T}{(s^k)^Ts^k}$$ กับ $y^k$ ดังกล่าวข้างต้นและ $x^{k+1} = x^k +s^k$. (นี่เรียกว่าการปรับปรุง Broydenและไม่ค่อยได้ใช้ในทางปฏิบัติการปรับปรุงที่ดีกว่า แต่ซับซ้อนกว่าเล็กน้อยคือการอัพเดท BFGSซึ่ง - และข้อมูลเพิ่มเติม - ฉันอ้างถึงการเพิ่มประสิทธิภาพเชิงตัวเลขของหนังสือของ Nocedal และ Wright ) ข้อเสียคือ ) สิ่งนี้จะต้องมีการแก้ไขระบบเชิงเส้นในแต่ละขั้นตอน (แต่มีเพียงขนาดที่ไม่รู้จักซึ่งในกรณีของคุณเป็นเงื่อนไขเริ่มต้นดังนั้นความพยายามควรถูกครอบงำโดยการแก้ PDE เพื่อให้ได้ระดับความชัน; การประมาณค่าของinverse Hessian ซึ่งต้องการเพียงการคำนวณผลิตภัณฑ์ matrix-vector เดียว) และ b) คุณยังต้องการการค้นหาบรรทัดเพื่อรับประกันการบรรจบกัน ...

โชคดีที่ในบริบทนี้มีวิธีการทางเลือกที่ใช้ประโยชน์จากการประเมินทุกฟังก์ชั่น ความคิดคือสำหรับ$H_k$ สมมาตรและแน่นอนแน่นอน (ซึ่งรับประกันสำหรับการอัพเดต BFGS) การแก้ไข $\eqref{cc1}$ เทียบเท่ากับการลดขนาดกำลังสองของโมเดล

$$q_k(s) = \frac12 s^T H_k s + s^T g^k.$$ ในวิธีการภูมิภาคที่เชื่อถือได้คุณจะทำได้โดยมีข้อ จำกัด เพิ่มเติมที่$\|s\| \leq \Delta_k$ที่ไหน $\Delta_k$ เป็นรัศมีภูมิภาคที่เชื่อถือได้ที่เลือกอย่างเหมาะสม (ซึ่งเล่นบทบาทของความยาวขั้นตอน $\sigma_k$) แนวคิดหลักในขณะนี้คือการเลือกรัศมีนี้แบบปรับตามขั้นตอนที่คำนวณ โดยเฉพาะอย่างยิ่งคุณดูอัตราส่วน $$\rho_k := \frac{f(x^k)-f(x^k+s^k)}{f(x^k)-q_k(s^k)}$$ ของการลดลงตามจริงและที่คาดการณ์ไว้ในค่าฟังก์ชัน ถ้า$\rho_k$ มีขนาดเล็กมากแบบจำลองของคุณไม่ดีและคุณละทิ้ง $s^k$ และลองอีกครั้งด้วย $\Delta_{k+1}<\Delta_k$. ถ้า$\rho_k$ อยู่ใกล้กับ $1$แบบของคุณดีและคุณตั้งค่า $x^{k+1}=x^k+s^k$ และเพิ่มขึ้น $\Delta_{k+1}>\Delta_k$. มิฉะนั้นคุณเพิ่งตั้ง$x^{k+1}=x^k+s^k$ และออกจาก $\Delta_k$คนเดียว เพื่อคำนวณ minimizer จริง$s^k$ ของ $\min_{\|s\|\leq \Delta_k} q_k(s)$มีกลยุทธ์หลายอย่างที่จะหลีกเลี่ยงไม่ให้แก้ปัญหาการเพิ่มประสิทธิภาพที่ จำกัด อย่างเต็มที่; ที่ชื่นชอบคือตัดทอนวิธีการกำกับดูแลกิจการของ Steihaug สำหรับรายละเอียดเพิ่มเติมฉันอ้างอิง Nocedal และ Wright อีกครั้ง