ช่วยในการตัดสินใจระหว่างการแก้ไขลูกบาศก์และกำลังสองในการค้นหาบรรทัด

ฉันกำลังค้นหาสายเป็นส่วนหนึ่งของอัลกอรึทึมของ BFGS เสมือน ในขั้นตอนเดียวของการค้นหาบรรทัดฉันใช้การแก้ไขลูกบาศก์เพื่อเลื่อนเข้าใกล้กับเครื่องมือลดขนาด

ปล่อย $f : R \rightarrow R, f \in C^1$เป็นหน้าที่ของดอกเบี้ย ฉันต้องการหา$x^*$ ดังนั้น $f'(x^*) \approx 0$.

ปล่อย $f(x_k)$, $f'(x_k)$, $f(x_{k+1})$ และ $f'(x_{k+1})$เป็นที่รู้จัก ยังถือว่า$0\le x_k<x^*<x_{k+1}$. ฉันพอดีกับพหุนามลูกบาศก์$Q(x)=ax^3+bx^2+cx+d$ ดังนั้น $Q(0)=f(x_k)$, $Q'(0)=f'(x_k)$, $Q(x_{k+1}-x_{k})=f(x_{k+1})$ และ $Q'(x_{k+1}-x_{k})=f'(x_{k+1})$.

ฉันแก้สมการกำลังสอง: $(1): Q'(x^*-x_k) = 0$ สำหรับฉันขอ $x^*$ ใช้โซลูชั่นแบบปิด

การทำงานด้านบนในกรณีส่วนใหญ่ยกเว้นเมื่อใด $f(x)=\mathcal{O}(x^2)$ เป็นโซลูชันแบบปิดสำหรับ $(1)$ หารด้วย $a$ ซึ่งใกล้เคียงหรือใกล้เคียงที่สุด $0$.

ทางออกของฉันคือดู $a$ และถ้ามันเป็น "เล็กเกินไป" เพียงแค่ใช้วิธีแก้ปัญหาแบบปิดสำหรับ minimizer ของพหุนามกำลังสอง $Q_2(x)=bx^2+cx+d$ ซึ่งฉันมีสัมประสิทธิ์อยู่แล้ว $b,c,d$ จากก่อนหน้านี้พอดีกับ $Q(x)$.

คำถามของฉันคือฉันจะสร้างแบบทดสอบที่ดีได้อย่างไรเมื่อจะทำการแก้ไขกำลังสองเหนือลูกบาศก์? วิธีการที่ไร้เดียงสาในการทดสอบ$a \equiv 0$ ไม่ดีเนื่องจากเหตุผลที่เป็นตัวเลขดังนั้นฉันจึงดู $|a| < \epsilon\tau$ ที่ไหน $\epsilon$ คือความแม่นยำของเครื่องจักร แต่ฉันไม่สามารถตัดสินใจได้ดี $\tau$ ขนาดคงที่ของ $f$.

คำถามโบนัส:มีปัญหาเรื่องตัวเลขใด ๆ หรือไม่เมื่อใช้สัมประสิทธิ์$b,c,d$จากความล้มเหลวของลูกบาศก์แบบเต็มหรือฉันควรทำการหาค่ากำลังสองแบบใหม่ด้วยวิธีการที่เหมาะสมในการคำนวณค่าสัมประสิทธิ์?

แก้ไขเพื่อความกระจ่าง: ในคำถามของฉัน$f$ เป็นสิ่งที่เรียกกันโดยทั่วไปว่า $\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$ในวรรณคดี ฉันทำให้การตั้งคำถามง่ายขึ้น ปัญหาการปรับให้เหมาะสมที่ฉันแก้ไขอยู่นั้นไม่ใช่เชิงเส้นใน 6 มิติ และฉันตระหนักดีว่าเงื่อนไขของ Wolfe นั้นเพียงพอสำหรับการค้นหาบรรทัด BFGS ดังนั้นจึงระบุว่าฉันสนใจ$f'(x^*) \approx 0$; ฉันกำลังมองหาบางอย่างที่จะสนองเงื่อนไขวูล์ฟที่แข็งแกร่งและการใช้ตัวย่อของการประมาณลูกบาศก์เป็นขั้นตอนที่ดีตลอดทาง

คำถามไม่ได้เกี่ยวกับ BFGS แต่จะกำหนดได้อย่างไรว่าสัมประสิทธิ์ลูกบาศก์มีขนาดเล็กพอที่การประมาณกำลังสองมีความเหมาะสมมากกว่า

แก้ไข 2:สัญกรณ์การปรับปรุงสมการไม่เปลี่ยนแปลง

อืม ... การแก้ไขคิวบ์ไม่ได้ไม่เคยได้ยินจากการค้นหาสาย แต่มักจะเกินความจำเป็น

ถ้าฉันอ่านปัญหาของคุณถูกต้อง $x$เป็นแค่เซนต์คิตส์และเนวิส? ในกรณีนี้ BFGS อาจไม่ใช่วิธีที่มีประสิทธิภาพที่สุดในการแก้ปัญหาของคุณ อัลกอริธึมการปรับให้เหมาะสมแบบสเกลาร์อย่างวิธีของเบรนท์มีแนวโน้มที่จะแก้ปัญหาของคุณได้เร็วขึ้น

มีอัลกอริธึมการค้นหาบรรทัดจำนวนมากสำหรับ BFGS สำหรับแอปพลิเคชันของฉันเองการใช้หน่วยความจำ จำกัด ของ BFGS (L-BFGS) การค้นหานี้ทำงานได้ดีมาก จำไว้ว่าคุณเพียงแค่ต้องทำตามเงื่อนไขของ Wolfe และคุณไม่น่าจะได้รับมากนักจากการหาตัวย่อขนาดที่แน่นอน

อย่างไรก็ตามเพื่อตอบคำถามของคุณจริง ๆ : ฉันจะพิจารณาเปลี่ยนเป็นพหุนามกำลังสองหากการแก้ลูกบาศก์หนึ่งให้ค่า "ไม่ดี" เช่น NaN หรือ Inf (ตามที่ทำที่นี่ )

ฉันไม่แน่ใจว่าคุณหมายถึงอะไรโดยใช้ $b,c,d$? สัมประสิทธิ์เหล่านี้สำหรับลูกบาศก์พอดีจะไม่เหมือนกับค่ากำลังสองดังนั้นคุณไม่สามารถใช้ซ้ำได้

สุดท้ายคุณอาจต้องการใช้ $f(x_{k-1})$ , ค่อนข้างมากกว่า $f(x_0)$ฟังก์ชั่นของคุณจะ (อาจ) เพียงประมาณลูกบาศก์หรือกำลังสองในพื้นที่เท่านั้นและ $x_k$ และ $x_{k-1}$ ควรใกล้ชิดกัน (และวิธีแก้ปัญหา) มากกว่า $x_0$.

หวังว่านี่จะช่วยได้

มีกระดาษโดยMoréนำมาใช้โดย Nocedal เกี่ยวกับที่:

Jorge J. Moréและ David J. Thuente 1994. อัลกอริธึมการค้นหาบรรทัดที่มีการลดลงอย่างเพียงพอ ACM Trans คณิตศาสตร์. Softw 20, 3 (กันยายน 2537), 286-307 DOI http://dx.doi.org/10.1145/192115.192132 ( preprint )