วิธีการของนิวตันในการหาค่าเหมาะที่สุดเทียบกับการแก้ระบบสมการไม่เชิงเส้น

ฉันขอคำชี้แจงเกี่ยวกับคำถามล่าสุดเกี่ยวกับ minpackและได้รับความคิดเห็นต่อไปนี้:

ระบบสมการใด ๆ นั้นเทียบเท่ากับปัญหาการหาค่าเหมาะที่สุดซึ่งเป็นสาเหตุที่วิธีการของนิวตันที่ใช้ในการหาค่าเหมาะที่สุดมีลักษณะคล้ายกับวิธีที่นิวตันใช้สำหรับการแก้ระบบสมการไม่เชิงเส้น

สิ่งที่สร้างความสับสนให้ฉันเกี่ยวกับความคิดเห็นนี้ (และที่เกี่ยวข้องกับความคิดเห็นในเชิงลบเกี่ยวกับเฉพาะการไม่เชิงเส้นสี่เหลี่ยมน้อยแก้เช่น minpack) อาจจะดีที่สุดในการอธิบายตัวอย่างของวิธีการผันลาด วิธีนี้เป็นวิธีที่ใช้บังคับกับระบบมีสมมาตรบวกแน่นอนเมทริกซ์ นอกจากนี้ยังสามารถนำมาใช้ในการแก้ปัญหาทั่วไปอย่างน้อยตารางสำหรับเมทริกซ์โดยพล $Ax=b$ $A$ $\operatorname{min}_x||Ax-b||^2$ $A$ แต่ไม่แนะนำให้ทำเช่นนั้น คำอธิบายอย่างหนึ่งที่ทำไมเราไม่ควรทำเช่นนี้คือจำนวนเงื่อนไขของระบบจะเพิ่มขึ้นอย่างมีนัยสำคัญ

แต่ถ้าการเปลี่ยนระบบสมการให้เป็นปัญหาการหาค่าเหมาะที่สุดนั้นถือเป็นปัญหาแม้ในกรณีเชิงเส้นเหตุใดจึงเป็นปัญหาน้อยกว่าสำหรับกรณีทั่วไป ดูเหมือนว่าจะมีความเกี่ยวข้องกับการใช้อัลกอริธึมการหาค่าเหมาะที่สุดแทนการใช้ตัวแก้สแควร์สแบบไม่เชิงเส้นที่มีอายุน้อยกว่าเล็กน้อย แต่ปัญหาที่เกี่ยวข้องกับการทิ้งข้อมูลและการเพิ่มจำนวนเงื่อนไขของระบบค่อนข้างเป็นอิสระจากอัลกอริทึมการเพิ่มประสิทธิภาพที่ใช้จริงหรือไม่

optimization least-squares

— โทมัสคลิมเพล
แหล่งที่มา

คำตอบ:

เนื่องจากหนึ่งในคำตอบของฉันถูกอ้างถึงฉันจะพยายามอธิบายว่าทำไมฉันแนะนำให้ใช้ IPOPT แทนที่จะเป็น MINPACK

การคัดค้านการใช้ MINPACK นั้นไม่มีส่วนเกี่ยวข้องกับอัลกอริทึมที่ MINPACK ใช้และทุกสิ่งที่เกี่ยวข้องกับการใช้งาน ข้อคัดค้านหลักของฉันคือซอฟต์แวร์มีอายุย้อนไปถึงปี 1980 และได้รับการปรับปรุงล่าสุดในปี 1999 Jorge Moréถูกยกเลิก ฉันสงสัยว่าเขาหรือผู้เขียนคนอื่น ๆ ของซอฟท์แวร์จะคอยติดตามดูอีกต่อไปและไม่มีทีมงานที่คอยสนับสนุนพวกเขา เอกสารเดียวที่ฉันสามารถหาได้บนซอฟต์แวร์คือต้นฉบับรายงานทางเทคนิคของ Argonne ในปี 1980 เขียนโดย Jorge Moréและผู้เขียน MINPACK รายอื่น (บทที่ 1-3 สามารถพบได้ที่นี่และบทที่ 4 สามารถพบได้ที่นี่.) หลังจากค้นหาซอร์สโค้ด MINPACK และอ่านเอกสาร (อ่านไฟล์ PDF เป็นภาพสแกนและไม่สามารถค้นหาได้) ฉันไม่เห็นตัวเลือกใด ๆ เพื่อรองรับข้อ จำกัด เนื่องจากโปสเตอร์ต้นฉบับของปัญหาสี่เหลี่ยมจัตุรัสแบบไม่เชิงเส้นต้องการแก้ปัญหาสี่เหลี่ยมจัตุรัสแบบไม่เชิงเส้นแบบ จำกัด MINPACK จะไม่แก้ปัญหานั้นด้วยซ้ำ

ถ้าคุณมองไปที่ IPOPT รายการจดหมายของผู้ใช้บางคนจะแสดงประสิทธิภาพของแพคเกจที่สี่เหลี่ยมน้อยไม่เชิงเส้น (NLS) ปัญหาที่เป็นญาติผสมอัลกอริทึม Levenberg-Marquardt และความเชี่ยวชาญมากขึ้นขั้นตอนวิธีการ NLS (ดูที่นี่ , ที่นี่และที่นี่ ) ประสิทธิภาพของ IPOPT ที่สัมพันธ์กับอัลกอริทึม NLS นั้นแน่นอนขึ้นอยู่กับปัญหา จากความคิดเห็นของผู้ใช้นั้น IPOPT ดูเหมือนเป็นคำแนะนำที่สมเหตุสมผลเมื่อเทียบกับอัลกอริทึม NLS

อย่างไรก็ตามคุณควรระบุว่าควรตรวจสอบอัลกอริทึม NLS ฉันเห็นด้วย. ฉันคิดว่าควรใช้แพ็คเกจที่ทันสมัยกว่า MINPACK เพราะฉันเชื่อว่ามันจะทำงานได้ดีขึ้นใช้งานได้ดีขึ้นและได้รับการสนับสนุน เซเรสดูเหมือนเป็นแพคเกจผู้สมัครที่น่าสนใจ แต่ตอนนี้มันไม่สามารถจัดการกับปัญหาที่ จำกัด ได้ TAOจะทำงานกับปัญหากำลังสองน้อยที่สุดแบบ จำกัด กล่องถึงแม้ว่ามันจะไม่ได้ใช้ Levenberg-Marquardt แบบคลาสสิก แต่ใช้อัลกอริธึมที่ปราศจากอนุพันธ์ อัลกอริทึมที่ไม่มีอนุพันธ์อาจทำงานได้ดีสำหรับปัญหาขนาดใหญ่ แต่ฉันจะไม่ใช้มันสำหรับปัญหาขนาดเล็ก ฉันไม่พบแพ็คเกจอื่น ๆ ที่เป็นแรงบันดาลใจให้เกิดความมั่นใจอย่างมากในด้านวิศวกรรมซอฟต์แวร์ของพวกเขา ตัวอย่างเช่น GALAHAD ดูเหมือนจะไม่ใช้การควบคุมเวอร์ชันหรือการทดสอบอัตโนมัติใด ๆ ได้อย่างรวดเร็วก่อน MINPACK ดูเหมือนจะไม่ทำสิ่งเหล่านั้นเช่นกัน หากคุณมีประสบการณ์กับ MINPACK หรือคำแนะนำเกี่ยวกับซอฟต์แวร์ที่ดีขึ้น

เมื่อนึกถึงทั้งหมดนี้กลับไปที่คำพูดของความคิดเห็นของฉัน:

ระบบสมการใด ๆ นั้นเทียบเท่ากับปัญหาการหาค่าเหมาะที่สุดซึ่งเป็นสาเหตุที่วิธีการของนิวตันที่ใช้ในการหาค่าเหมาะที่สุดมีลักษณะคล้ายกับวิธีที่นิวตันใช้สำหรับการแก้ระบบสมการไม่เชิงเส้น

ความคิดเห็นที่ดีกว่าอาจเป็นผลของ:

$n$ $n$ $g(x) = 0$

คำแถลงนี้ยังคงใช้สำหรับการแก้ระบบสมการภายใต้ข้อ จำกัด ฉันไม่รู้อัลกอริธึมที่พิจารณาว่า "สมการแก้สมการ" สำหรับกรณีที่มีข้อ จำกัด เกี่ยวกับตัวแปร วิธีการทั่วไปที่ฉันรู้จักบางทีอาจเกิดจากหลายภาคเรียนของหลักสูตรการปรับให้เหมาะสมและการวิจัยในห้องปฏิบัติการเพิ่มประสิทธิภาพคือการรวมข้อ จำกัด ในระบบของสมการไว้ในสูตรการเพิ่มประสิทธิภาพ หากคุณพยายามใช้ข้อ จำกัด ในรูปแบบเหมือน Newton-Raphson สำหรับการแก้สมการคุณอาจท้ายด้วยวิธีไล่ระดับสีที่คาดการณ์ไว้หรือวิธีที่ไว้วางใจภูมิภาค

— Geoff Oxberry
แหล่งที่มา

ฉันมีประสบการณ์กับ MINPACK มันดีพอสำหรับวิธีการในท้องถิ่น ฉันชอบที่มันเป็นเกณฑ์การหยุดทำงานได้ดีโดยไม่ต้องปรับแต่ง ฉันรู้ว่าสิ่งที่มีข้อ จำกัด อาจสร้างความรำคาญได้โดยเฉพาะอย่างยิ่งเนื่องจากมันจะไม่เป็นการเปลี่ยนแปลงครั้งสำคัญของอัลกอริทึมเอง ฉันรู้ว่าการใช้งาน LM ที่ให้ขอบเขตกับตัวแปรและข้อ จำกัด เชิงเส้นทั่วไป แต่การใช้งานเหล่านี้ไม่ได้อายุน้อยกว่า MINPACK มากและฉันไม่ได้ใส่ใจที่จะประเมินพวกเขา

— โทมัสคลิมเพล

g (x) = 0

$g(x)=0$

‖ g (x) ‖^{2}

$\lVert g(x) \rVert^2$

@JedBrown: ฉันควรเปลี่ยนภาษารอบ ๆ ในมุมมองของฉันการเพิ่มประสิทธิภาพที่ปราศจากอนุพันธ์ (DFO) จะดีกว่าก็ต่อเมื่อการประเมินฟังก์ชั่นมีราคาแพงมาก ด้วยเหตุผลบางอย่างกรณีน้ำเชื้อที่อยู่ในใจคือเมื่อวัตถุประสงค์เกี่ยวข้องกับการแก้ไข PDE ซึ่งเป็นสาเหตุที่ฉันพูดว่า "ขนาดใหญ่" (แน่นอนสำหรับฉันในการเพิ่มประสิทธิภาพ "PDE ขนาดใหญ่" หมายถึงบางสิ่งที่แตกต่างจาก สำหรับคุณที่จะแก้ปัญหา PDE แบบขนานเป็นประจำ) เมื่อฉันคิดว่า "การแก้สมการกับข้อ จำกัด " ปัญหาที่ฉันมีอยู่ในใจคือ{n} (ต่อ)

g (x) = 0, x \in S, S \subset R^{n}, S \neq R^{n}

$g(x) = 0, x \in S, S \subset \mathbb{R}^{n}, S \neq \mathbb{R}^{n}$

— Geoff Oxberry

@JedBrown: เป็นวิธีมาตรฐานในการแก้ปัญหาปัญหาที่คือการแก้ 2 อาจมีวิธีอื่น แต่ฉันไม่รู้อะไรเลย ฉันไม่แนะนำให้ทิ้ง ; minima ที่มีค่าฟังก์ชันที่ไม่ใช่ศูนย์อย่างชัดเจนไม่สามารถแก้ระบบสมการที่ถูกแก้ไขได้ ในกรณี nonconvex วิธีการเพิ่มประสิทธิภาพทั่วโลกมีความจำเป็นเพื่อรับรองการมีอยู่หรือไม่มีการดำรงอยู่ของโซลูชั่น ฉันไม่ได้มีประสบการณ์มากมายเกี่ยวกับความไม่เท่าเทียมกันที่แปรปรวนดังนั้นจึงไม่ชัดเจนสำหรับฉันที่ VIs จะเข้ามาเล่นที่นี่โดยเฉพาะอย่างยิ่งเนื่องจากไม่จำเป็นต้องเป็นรูปกรวย

min_{x \in S} ‖ g (x) ‖^{2}

$\min_{x \in S} \|g(x)\|^2$

g (x) = 0

$g(x) = 0$

S

$S$

— Geoff Oxberry

ดังนั้นคุณยังจะต้องสามารถที่จะกำหนดได้อย่างแม่นยำสิ่งที่คุณหมายถึงวิธีการแก้ปัญหาที่โกหกในเขตแดนของSVIs ซึ่งมักเขียนเป็นสูตรผสมทำอย่างนั้น ฉันมีความเห็นตรงข้ามกับการปราศจากอนุพันธ์โดยเฉพาะเมื่อพื้นที่การออกแบบมีขนาดใหญ่ หากวัตถุประสงค์เกี่ยวข้องกับการแก้ปัญหา PDE ที่มีราคาแพงฉันก็เห็นว่าเป็นข้อกำหนดที่เรามี adjoint เพื่อให้เราสามารถใช้การไล่ระดับสีเพื่อสำรวจพื้นที่การออกแบบ PDE adjoint มีค่าใช้จ่ายเพียงเล็กน้อยในการแก้ปัญหาไปข้างหน้าโดยไม่ขึ้นกับมิติของพื้นที่ สิ่งนี้ต้องการข้อกำหนดเพิ่มเติมเกี่ยวกับความเรียบของโมเดล

S

$S$

— Jed Brown

หากระบบไม่เชิงเส้นที่กำหนดเป็นเงื่อนไขการปรับให้เหมาะสมอันดับแรกสำหรับปัญหาการปรับให้เหมาะสมเรามักจะสามารถสร้างอัลกอริทึมที่มีประสิทธิภาพมากขึ้นโดยใช้ข้อมูลนั้น ตัวอย่างเช่นพิจารณาสมการ

f (x) = x^{2} - \exp (- 4 (x - 2)^{2}) [click for Wolfram Alpha]

$f(x) = x^2 - \exp\big(-4(x-2)^2 \big) \qquad \text{[click for Wolfram Alpha]}$

พล็อตของวัตถุประสงค์เดิม

สิ่งนี้มีค่าต่ำสุดที่ไม่ซ้ำกันอย่างชัดเจนและเราคาดหวังว่าวิธีการเพิ่มประสิทธิภาพของเราจะค้นหาโดยไม่คำนึงถึงจุดเริ่มต้น แต่ถ้าเราดูที่เงื่อนไขการปรับให้เหมาะสมอันดับแรกเท่านั้นเรากำลังมองหาทางออกของ [Wolfram Alpha] $x$ $\nabla f(x) = 0$

ลาด

ซึ่งมีวิธีแก้ปัญหาที่ไม่ซ้ำกัน แต่วิธีการรูทฟิวด์จำนวนมากสามารถติดที่ต่ำที่สุดในท้องถิ่น

หากเราปรับแก้ปัญหาการปรับให้เหมาะสมใหม่เพื่อลดบรรทัดฐานของการไล่ระดับกำลังสองเรากำลังมองหาค่าขั้นต่ำทั่วโลกของ [Wolfram Alpha]ซึ่งมีหลายท้องถิ่นน้อยที่สุด $x$ $\lVert\nabla f(x)\rVert^2$

ป้อนคำอธิบายรูปภาพที่นี่

เพื่อสรุปเราเริ่มต้นด้วยปัญหาการปรับให้เหมาะสมที่มีวิธีแก้ปัญหาที่ไม่ซ้ำกันซึ่งเราสามารถรับประกันได้ว่าวิธีการจะหา เราปรับรูปแบบเป็นปัญหาการค้นหารูทแบบไม่เชิงเส้นที่มีวิธีแก้ปัญหาเฉพาะที่เราสามารถระบุได้ในท้องถิ่น แต่วิธีการรูทติ้ง (เช่นนิวตัน) อาจนิ่งเมื่อยก่อนที่จะถึง จากนั้นเราปรับโครงสร้างปัญหาการค้นหารูทเป็นปัญหาการเพิ่มประสิทธิภาพที่มีวิธีแก้ปัญหาในท้องถิ่นหลายแห่ง (ไม่สามารถใช้การวัดในท้องถิ่นเพื่อระบุว่าเราไม่ได้อยู่ในระดับต่ำสุดของโลก)

โดยทั่วไปในแต่ละครั้งที่เราแปลงปัญหาจากการปรับให้เหมาะสมเป็นการรูทติ้งหรือในทางกลับกันเราได้จัดทำวิธีการที่มีอยู่และการบรรจบกันที่เกี่ยวข้องรับประกันว่าจะอ่อนแอกว่า กลไกที่แท้จริงของวิธีการมักจะคล้ายกันมากดังนั้นจึงเป็นไปได้ที่จะนำรหัสจำนวนมากกลับมาใช้ใหม่ระหว่างตัวแก้ปัญหาแบบไม่เชิงเส้นและการเพิ่มประสิทธิภาพ

— เจดบราวน์
แหล่งที่มา

เจด, ลิงค์ WA เหล่านั้นไม่ได้ไปที่สิ่งที่คุณพูดว่าทำ วงเล็บถูกละเว้นหรือส่งผ่านอย่างไม่ถูกต้องใน URL

— Bill Barth

แปลกลิงค์ทำงานสำหรับฉัน มันขึ้นอยู่กับเว็บเบราว์เซอร์หรือไม่? มีข้อเสนอแนะสำหรับวิธีอื่นในการนำเสนอสิ่งนี้หรือไม่?

— Jed Brown

ไม่แน่ใจ. การตัดและวางลิงก์ที่จัดรูปแบบใหม่จากแท็บหนึ่งไปยังแท็บถัดไปทำให้เกิดการขันสกรู WA เพื่อขันขึ้นอีกครั้งด้วยตนเอง!

— Bill Barth

มีใครมีปัญหากับลิงค์หรือไม่ ฉันลองใช้เบราว์เซอร์หลายตัวและใช้งานได้ดีในทุกกรณี

— Jed Brown

นี่เป็นคำตอบที่ดี อย่างไรก็ตามฉันตัดสินใจยอมรับคำตอบของ Geoff Oxberry แทนเนื่องจากส่วนหนึ่งของสิ่งที่ฉันพยายามเข้าใจคือประเด็น "โลกแห่งความจริง" ที่เกี่ยวข้องกับคำถาม ซึ่งรวมถึงคนที่ฉันใช้และแนะนำ MINPACK แม้จะรู้เรื่องข้อบกพร่องของมันและคนอื่น ๆ ก็ขอคำแนะนำเกี่ยวกับการแก้ปัญหาระบบที่ไม่ใช่เชิงเส้น "เล็ก ๆ น้อย ๆ " แต่ไม่สามารถทดสอบแม้แต่ตัวแก้เพียงหนึ่งตัวในสามเดือน กรอบเวลา.

— โทมัสคลิมเพล