เกณฑ์การหยุดสำหรับตัวแก้เชิงเส้นแบบวนซ้ำที่ใช้กับระบบเกือบเอกพจน์

$Ax=b$ $A$ $\lambda_0$ $A$ $r_n:=b-Ax_n$ $\|r_n\|/\|r_0\|<tol$ $n$ $v$ $\lambda_0$ $Av=\lambda_0v$ . สมมติว่าส่วนที่เหลือเริ่มต้น $r_0$ มีขนาดใหญ่แล้วมันอาจเกิดขึ้นที่เราหยุดที่ $\|r_n\|/\|r_0\|<tol$ แต่ข้อผิดพลาด $x_n-x$ ยังคงมีขนาดใหญ่ ตัวบ่งชี้ข้อผิดพลาดที่ดีกว่าคืออะไรในกรณีนี้ คือ $\|x_{n}-x_{n-1}\|$ ผู้สมัครที่ดี?

linear-algebra

— ฮุ่ยจาง
แหล่งที่มา

คุณอาจต้องการคิดถึงนิยามของคำว่า "เกือบเป็นเอกเทศ" เมทริกซ์

I \cdot ϵ

$I \cdot \epsilon$ (กับ

ϵ ≪ 1

$\epsilon\ll 1$ และ

I

$I$ เมทริกซ์เอกลักษณ์) มีค่าเฉพาะขนาดเล็กมาก แต่เท่าจากเอกพจน์เป็นเมทริกซ์ใด ๆ ที่อาจจะ

— David Ketcheson

นอกจากนี้

| | r_{n} / r_{0} | |

$||r_n/r_0||$ ดูเหมือนว่าเครื่องหมายผิด

| | r_{n} | | / | | r_{0} | |

$||r_n||/||r_0||$ เป็นเรื่องปกติมากขึ้นไม่?

— Bill Barth

ใช่คุณพูดถูกบิล! ฉันจะแก้ไขข้อผิดพลาดนี้

— Hui Zhang

เกี่ยวกับ? และอัลกอริทึมของคุณคืออะไร

‖ b - A x ‖ / ‖ b ‖

$\| b - Ax \| / \| b \|$

— shuhalo

ภาคผนวก: ฉันคิดว่าบทความต่อไปนี้ค่อนข้างอยู่ใกล้กับระบบปรับอากาศที่คุณต้องกังวลอย่างน้อยถ้าคุณใช้ CG: Axelson, Kaporin: การประมาณค่าบรรทัดฐานผิดพลาดและการหยุดเกณฑ์ในการทำลาดเอียงแบบผันผันเงื่อนไขร่วมกัน DOI: 10.1002 / nla.244

— shuhalo

คำตอบ:

โปรดอย่าใช้ความแตกต่างระหว่างการวนซ้ำต่อเนื่องเพื่อกำหนดเกณฑ์การหยุด การวินิจฉัยนี้ซบเซาสำหรับการลู่เข้า การทำซ้ำเมทริกซ์แบบไม่สมมาตรส่วนใหญ่ไม่ใช่แบบโมโนโทนและแม้แต่ GMRES ในเลขคณิตที่แน่นอนที่ไม่มีการรีสตาร์ทอาจซบเซาสำหรับจำนวนการทำซ้ำโดยพลการ (ขึ้นอยู่กับมิติของเมทริกซ์) ก่อนที่จะมาบรรจบกันทันที ดูตัวอย่างในNachtigal เรดดี้และ Trefethen (1993)

วิธีที่ดีกว่าในการกำหนดคอนเวอร์เจนซ์

เรามักจะสนใจในความถูกต้องของวิธีแก้ปัญหาของเรามากกว่าขนาดของส่วนที่เหลือ โดยเฉพาะเราอาจต้องการรับประกันว่าความแตกต่างระหว่างโซลูชันโดยประมาณและโซลูชันที่แน่นอนตามสำหรับผู้ใช้ระบุบางคปรากฎว่าสามารถทำได้โดยการหาเช่นนั้นโดยที่เป็นค่าเอกพจน์ที่เล็กที่สุดของเนื่องจาก $x_n$ $x$

| x_{n} - x | < ค

$|x_n - x| < c$

c

$c$

x_{n}

$x_n$

| A x_{n} - ข | < ค ε

$|A x_n - b| < c\epsilon$

ϵ

$\epsilon$

A

$A$

\begin{aligned} | x_{n} - x | & = | A^{- 1} A (x_{n} - x) | \\ \leq \frac{1}{ε} | A x_{n} - A x | \\ = \frac{1}{ε} | A x_{n} - ข | \\ < \frac{1}{ε} \cdot ค ε = ค \end{aligned}

$\begin{align} |x_n - x| &= |A^{-1} A (x_n - x)| \\ & \le \frac 1 \epsilon |A x_n - A x| \\ & = \frac 1 \epsilon |A x_n - b| \\ & < \frac 1 \epsilon \cdot c \epsilon = c \end{align}$

โดยที่เราใช้ว่าเป็นค่าเอกพจน์ที่ใหญ่ที่สุดของ (บรรทัดที่สอง) และนั้นแก้ปัญหา (บรรทัดที่สาม) ได้อย่างแน่นอน $1/\epsilon$ $A^{-1}$ $x$ $A x = b$

การประมาณค่าเอกพจน์ที่เล็กที่สุด $\epsilon$

การประมาณค่าที่ถูกต้องแม่นยำของค่าเอกพจน์ที่น้อยที่สุดมักไม่สามารถใช้ได้โดยตรงจากปัญหา แต่สามารถประมาณได้ว่าเป็นผลพลอยได้จากการไล่ระดับสีแบบคอนจูเกตหรือการวนซ้ำ GMRES โปรดทราบว่าแม้ว่าค่าประมาณค่าลักษณะเฉพาะที่ใหญ่ที่สุดและค่าเอกพจน์มักจะค่อนข้างดีหลังจากการทำซ้ำเพียงไม่กี่ครั้งการประมาณค่าที่ถูกต้องของค่า eigen / เอกพจน์ที่เล็กที่สุดมักจะได้รับเมื่อถึงการลู่เข้าเท่านั้น ก่อนการบรรจบกันการประมาณโดยทั่วไปจะมีขนาดใหญ่กว่ามูลค่าที่แท้จริง นี้แสดงให้เห็นว่าคุณจริงต้องแก้สมการก่อนที่คุณจะสามารถกำหนดความอดทนที่ถูกต้องคอดทนลู่อัตโนมัติที่จะใช้เวลาที่ผู้ใช้ให้ความถูกต้อง $\epsilon$ $c\epsilon$ $c$ สำหรับการแก้ปัญหาและประมาณการค่าเอกพจน์เล็กที่สุดกับสถานะปัจจุบันของวิธี Krylov อาจจะมาบรรจบกันเร็วเกินไปเพราะการประมาณนั้นใหญ่กว่าค่าที่แท้จริงมาก $\epsilon$ $\epsilon$

หมายเหตุ

การสนทนาข้างต้นยังทำงานกับถูกแทนที่ด้วยตัวดำเนินการที่กำหนดเงื่อนไขไว้ล่วงหน้าและเงื่อนไขที่เหลือล่วงหน้าหรือด้วยตัวดำเนินการที่ถูกต้องล่วงหน้าและข้อผิดพลาดx) หากเป็นผู้มีเงื่อนไขเบื้องต้นที่ดีผู้ดำเนินการที่มีเงื่อนไขล่วงหน้าจะมีสภาพดี สำหรับการปรับสภาพซ้าย - ซ้ายนี่หมายความว่าสารตกค้างที่เหลืออยู่สามารถทำได้เพียงเล็กน้อย แต่สารตกค้างที่แท้จริงอาจไม่ใช่ สำหรับการปรับสภาพล่วงหน้าให้ถูกต้องทำเล็กง่าย แต่ข้อผิดพลาดที่แท้จริง $A$ $P^{-1}A$ $P^{-1} (A x^n - b)$ $A P^{-1}$ $P (x_n - x)$ $P^{-1}$ $|P(x_n - x)|$ $|x_n-x|$ อาจจะไม่ สิ่งนี้อธิบายได้ว่าทำไมการปรับสภาพซ้ายสุดดีกว่าสำหรับการทำข้อผิดพลาดเล็ก ๆ ในขณะที่การปรับสภาพขวาจะดีกว่าสำหรับการทำสิ่งที่เหลือเล็ก ๆ
ดูคำตอบนี้สำหรับการสนทนาเพิ่มเติมเกี่ยวกับบรรทัดฐานที่ลดลงโดย GMRES และ CG
การประเมินค่าเอกพจน์สุดขั้วสามารถตรวจสอบได้โดยใช้-ksp_monitor_singular_valueกับโปรแกรม PETSc ใด ๆ ดูKSPComputeExtremeSingularValues ()เพื่อคำนวณค่าเอกพจน์จากรหัส
เมื่อใช้ GMRES เพื่อประเมินค่าเอกพจน์เป็นสิ่งสำคัญที่ไม่ต้องใช้การเริ่มระบบใหม่ (เช่น-ksp_gmres_restart 1000ใน PETSc)

— เจดบราวน์
แหล่งที่มา

'' ยังทำงานร่วมกับแทนที่โดยผู้ประกอบการ preconditioned '' - แต่มันก็ใช้เฉพาะกับที่เหลือ preconditionedถ้าจะใช้ความรับผิดชอบ กับข้อผิดพลาด preconditionedถ้าถูกนำมาใช้

P^{- 1} r

$P^{-1}r$

P^{- 1} A

$P^{-1}A$

P^{- 1} δ x

$P^{-1}\delta x$

A P^{- 1}

$AP^{-1}$

— Arnold Neumaier

จุดดีฉันแก้ไขคำตอบของฉัน โปรดทราบว่ากรณีที่มีการกำหนดเงื่อนไขล่วงหน้าช่วยให้คุณสามารถควบคุมโดยการคลี่คลายเงื่อนไขล่วงหน้า (ใช้ ) โดยทั่วไปจะขยายโหมดพลังงานต่ำในข้อผิดพลาด

P δ x

$P\delta x$

P^{- 1}

$P^{-1}$

— Jed Brown

อีกวิธีหนึ่งในการดูปัญหานี้คือการพิจารณาเครื่องมือจากปัญหาผกผันที่ไม่ต่อเนื่องนั่นคือปัญหาที่เกี่ยวข้องกับการแก้หรือที่มีอาการไม่ดีมาก (เช่นอัตราส่วนระหว่าง ค่าเอกพจน์แรกและสุดท้ายมีขนาดใหญ่) $Ax=b$ $\min ||Ax-b||_2$ $A$ $\sigma_1/\sigma_n$

ที่นี่เรามีหลายวิธีในการเลือกเกณฑ์การหยุดและสำหรับวิธีการวนซ้ำฉันขอแนะนำเกณฑ์ L-curve เนื่องจากมันเกี่ยวข้องกับปริมาณที่มีอยู่แล้วเท่านั้น (หมายเหตุ: ที่ปรึกษาของฉันเป็นผู้บุกเบิกวิธีการนี้ มัน). ฉันใช้สิ่งนี้กับความสำเร็จในวิธีการวนซ้ำ

แนวคิดคือการตรวจสอบบรรทัดฐานที่เหลือและวิธีแก้ปัญหามาตรฐานโดยที่คือการวนซ้ำของในขณะที่คุณวนซ้ำสิ่งนี้จะเริ่มวาดรูปร่างของ L ในพล็อตล็อกล็อก (rho, eta) และจุดที่มุมของ L นั้นเป็นตัวเลือกที่ดีที่สุด $\rho_k=||Ax_k-b||_2$ $\eta_k=||x_k||_2$ $x_k$ $k$

สิ่งนี้ช่วยให้คุณสามารถใช้เกณฑ์ที่คุณจับตามองเมื่อคุณผ่านมุม (เช่นดูที่การไล่ระดับสีของ ) จากนั้นเลือกการวนซ้ำที่อยู่ที่มุม $(\rho_k,\eta_k)$

วิธีที่ฉันทำเกี่ยวข้องกับการจัดเก็บซ้ำ 20 ครั้งล่าสุดและหากการไล่ระดับสีมีขนาดใหญ่กว่าขีด จำกัด สำหรับการวนซ้ำ 20 ครั้งฉันรู้ว่าฉันอยู่ในแนวดิ่งของเส้นโค้งและฉันผ่านมุมแล้ว จากนั้นฉันก็ใช้การวนซ้ำครั้งแรกในอาร์เรย์ของฉัน (เช่นการทำซ้ำ 20 ครั้งก่อน) เป็นโซลูชันของฉัน $abs(\frac{\log(\eta_k)-\log(\eta_{k-1})}{\log(\rho_k)-\log(\rho_{k-1})})$

นอกจากนี้ยังมีวิธีการโดยละเอียดเพิ่มเติมสำหรับการค้นหามุมและวิธีการเหล่านี้ทำงานได้ดีขึ้น แต่ต้องมีการจัดเก็บซ้ำจำนวนมาก เล่นรอบกับมันเล็กน้อย หากคุณอยู่ใน MATLAB คุณสามารถใช้กล่องเครื่องมือ Regularization Tools ซึ่งใช้งานบางอย่างนี้ (โดยเฉพาะฟังก์ชั่น "มุม" ใช้งานได้)

โปรดทราบว่าวิธีการนี้เหมาะอย่างยิ่งสำหรับปัญหาขนาดใหญ่เนื่องจากเวลาในการประมวลผลพิเศษที่เกี่ยวข้องนั้นมีขนาดเล็ก

— OscarB
แหล่งที่มา

ขอบคุณมาก! ดังนั้นในพล็อต loglog (rho, eta) เราเริ่มต้นจากด้านขวาของเส้นโค้ง L และสิ้นสุดที่จุดสูงสุดของ L ใช่ไหม? ฉันไม่ทราบหลักการที่อยู่เบื้องหลังเกณฑ์นี้ คุณช่วยอธิบายได้ไหมว่าทำไมมันถึงทำตัวเหมือนเส้นโค้ง L และทำไมเราถึงเลือกมุม?

— Hui Zhang

ด้วยความยินดี. สำหรับวิธีการวนซ้ำเราเริ่มต้นจากขวาและจบที่ด้านบนเสมอ มันจะทำงานเป็น L เนื่องจากเสียงในปัญหา - ส่วนที่เกิดขึ้นในแนวตั้งที่เป็นเสียงเวกเตอร์ E สำหรับการวิเคราะห์เพิ่มเติมดู Hansen, PC, & O'Leary, DP (1993) การใช้เส้นโค้ง L ในการทำให้เป็นปกติของปัญหาที่ไม่ต่อเนื่อง SIAM Journal on Scientific Computing, 14. โปรดทราบว่าฉันเพิ่งทำการอัพเดทเล็กน้อยกับโพสต์

| | A x - b | |_{2} = | | e | |_{2}

$||Ax-b||_2=||e||_2$

e

$e$

b_{e x a c t} = b + e

$b_{exact}=b+e$

— OscarB

@HuiZhang: ไม่ใช่แอลเสมอหากการกำหนดมาตรฐานไม่ชัดเจนอาจเป็นแอลดับเบิลที่นำไปสู่ผู้สมัครสองคนสำหรับการแก้ปัญหาอันที่มีการแก้ไขขั้นต้นดีกว่าอีกรายที่แก้ไขได้ดีกว่า (และแน่นอนรูปร่างของ ecomplex อาจปรากฏขึ้น)

— Arnold Neumaier

L-curve นำไปใช้กับปัญหาที่ไม่ดีซึ่งควรมีวิธีแก้ไขปัญหาเฉพาะหรือไม่? นั่นคือฉันสนใจในปัญหา Ax = b โดยที่ b รู้จักกันในชื่อ "อย่างแน่นอน" และ A เกือบจะเป็นเอกเทศ แต่ก็ยังกลับด้านเทคนิคได้ ดูเหมือนว่าสำหรับฉันถ้าคุณใช้บางอย่างเช่น GMRES บรรทัดฐานของการคาดเดา x ในปัจจุบันของคุณจะไม่เปลี่ยนแปลงมากเกินไปเมื่อเวลาผ่านไปโดยเฉพาะอย่างยิ่งหลังจากการทำซ้ำครั้งแรก สำหรับฉันแล้วดูเหมือนว่าส่วนแนวตั้งของเส้นโค้ง L เกิดขึ้นเนื่องจากไม่มีวิธีแก้ปัญหาที่ไม่เหมือนใครในปัญหาที่ไม่ถูกต้อง คุณลักษณะตามแนวตั้งนี้จะปรากฏในปัญหาที่ไม่มีเงื่อนไขหรือไม่

— nukeguy

ณ จุดหนึ่งคุณจะถึงเส้นแนวตั้งดังกล่าวซึ่งโดยทั่วไปแล้วเนื่องจากข้อผิดพลาดเชิงตัวเลขในวิธีการแก้ปัญหาของคุณส่งผลให้ | | Ax-b || ไม่ลดลง อย่างไรก็ตามคุณคิดถูกว่าในปัญหาที่ปราศจากสัญญาณรบกวนเส้นโค้งจะไม่เหมือน L เสมอไปซึ่งหมายความว่าโดยทั่วไปคุณจะมีมุมให้เลือกและเลือกมุมที่ไม่เหมือนกัน ฉันเชื่อว่ากระดาษที่ฉันอ้างถึงในความคิดเห็นของฉันข้างต้นกล่าวถึงสถานการณ์ที่ปราศจากเสียงรบกวนสั้น ๆ

— OscarB

เกณฑ์การหยุดสำหรับตัวแก้เชิงเส้นแบบวนซ้ำที่ใช้กับระบบเกือบเอกพจน์

วิธีที่ดีกว่าในการกำหนดคอนเวอร์เจนซ์

การประมาณค่าเอกพจน์ที่เล็กที่สุดεε\epsilon

หมายเหตุ

การประมาณค่าเอกพจน์ที่เล็กที่สุด $\epsilon$