หลักการที่อยู่เบื้องหลังการบรรจบกันของวิธีการสเปซย่อย Krylov สำหรับการแก้ระบบเชิงเส้นของสมการคืออะไร?

ที่ฉันเข้าใจมันมีสองประเภทหลักของวิธีการวนซ้ำสำหรับการแก้ระบบเชิงเส้นของสมการ:

วิธีการหยุดนิ่ง (Jacobi, Gauss-Seidel, SOR, Multigrid)
วิธีการของ Krylov Subspace (Conjugate Gradient, GMRES และอื่น ๆ )

ฉันเข้าใจว่าวิธีการที่อยู่กับที่ส่วนใหญ่ทำงานโดยการทำซ้ำไปเรื่อย ๆ (ปรับให้เรียบ) โหมดฟูริเยร์ของข้อผิดพลาด ตามที่ฉันเข้าใจแล้ววิธีการไล่ระดับสีแบบคอนจูเกต (วิธีการสเปซ Krylov) ทำงานโดย "ก้าว" ผ่านชุดทิศทางการค้นหาที่ดีที่สุดจากพลังของเมทริกซ์ที่นำไปใช้กับส่วนที่เหลือหลักการนี้เป็นเรื่องธรรมดาสำหรับวิธีการทั้งหมดของ Krylov หรือไม่? ถ้าไม่เราจะอธิบายหลักการที่อยู่เบื้องหลังการรวมตัวกันของวิธีการย่อย Krylov โดยทั่วไปได้อย่างไร $n$

— พอล
แหล่งที่มา

การวิเคราะห์วิธีการหยุดนิ่งของคุณนั้นมีความเอนเอียงจากปัญหาแบบง่าย ๆ เพราะสิ่งเหล่านี้สามารถวิเคราะห์ได้ในรูปแบบของฟูริเยร์ นอกจากนี้ยังละเว้นการสลับทิศทางโดยนัย (ADI) และวิธีการอื่น ๆ อีกมากมาย จุดสำคัญที่สุดของ "วิธีการแบบนิ่ง" คือการรวมตัวแก้ "แบบบางส่วนโดยประมาณ" จำนวนมากเข้าไว้ใน ตัวแก้แบบวนซ้ำหนึ่งครั้ง จุดของวิธี Krylov คือการเร่ง (หรือบังคับใช้) การลู่เข้าของการวนซ้ำเชิงเส้นตรงที่กำหนด

— โทมัสคลิมเพล

กระดาษที่ฉันคิดว่าถูกเขียนขึ้นเพื่อตอบคำถามของคุณคือ Ipsen และ Meyer แนวคิดเบื้องหลังวิธี Krylov, Amer คณิตศาสตร์. รายเดือน 105 (1998) หน้า 889-899 มันเป็นกระดาษที่เขียนได้อย่างดีเยี่ยมและกระจ่างชัดมีให้ที่นี่

— Andrew T. Barker

@ AndrewT.Barker: ยอดเยี่ยม! ขอบคุณแอนดรู! :)

— เปาโล

คำตอบ:

โดยทั่วไปแล้ววิธีการ Krylov ทั้งหมดนั้นค้นหาพหุนามที่มีขนาดเล็กเมื่อประเมินสเปกตรัมของเมทริกซ์ โดยเฉพาะอย่างยิ่งวันที่เหลือของวิธี Krylov (กับศูนย์เดาเริ่มต้น) สามารถเขียนในรูปแบบ $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

ที่บางพหุนาม monic ปริญญาn $P_n$ $n$

ถ้าเป็นเส้นทแยงมุมด้วยเรามี $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

ในกรณีที่เป็นเรื่องปกติ (เช่นสมมาตรหรือรวมกัน) เรารู้ว่า GMRES สร้างพหุนามดังกล่าวผ่านการวนซ้ำของ Arnoldi ในขณะที่ CG สร้างพหุนามโดยใช้ผลิตภัณฑ์ด้านในที่แตกต่างกัน (ดูคำตอบนี้สำหรับรายละเอียด ) ในทำนองเดียวกัน BiCG สร้างพหุนามของมันผ่านกระบวนการ Lanczos ที่ไม่สมมาตรในขณะที่การทำซ้ำ Chebyshev ใช้ข้อมูลก่อนหน้าในสเปกตรัม (โดยปกติการประมาณค่าลักษณะเฉพาะที่ใหญ่ที่สุดและเล็กที่สุดสำหรับเมทริกซ์แน่นอนสมมาตร) $A$ $\kappa(V) = 1.$

เป็นตัวอย่างที่ยอดเยี่ยม (ได้รับแรงบันดาลใจจาก Trefethen + Bau) ให้พิจารณาเมทริกซ์ซึ่งสเปกตรัมคือ:

สเปกตรัมของเมทริกซ์

ใน MATLAB ฉันสร้างสิ่งนี้ด้วย:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

หากเราพิจารณา GMRES ซึ่งสร้างพหุนามซึ่งลดจำนวนที่เหลือของพหุนาม monic ทั้งหมดในระดับเราสามารถทำนายประวัติส่วนที่เหลือได้ง่าย ๆ โดยการดูพหุนามผู้สมัคร $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

ซึ่งในกรณีของเราให้

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

สำหรับในสเปกตรัมของ $z$ $A$

ตอนนี้ถ้าเราเรียกใช้ GMRES บน RHS แบบสุ่มและเปรียบเทียบประวัติที่เหลือกับพหุนามนี้พวกมันควรจะค่อนข้างคล้ายกัน (ค่าพหุนามมีค่าน้อยกว่าค่า GMRES ที่เหลือเพราะ ): $\|b\|_2 > 1$

ประวัติศาสตร์ที่เหลือ

— Reid.Atcheson
แหล่งที่มา

คุณช่วยอธิบายสิ่งที่คุณหมายถึงโดย "เล็ก ๆ ในสเปกตรัมของเมทริกซ์"?

— เปาโล

นำมาเป็นพหุนามที่ซับซ้อนพหุนามมีโมดูลัสขนาดเล็กในพื้นที่ของเครื่องบินที่ซับซ้อนซึ่งรวมถึงคลื่นความถี่ของ ลองนึกภาพเส้นโครงร่างทับลงบนพล็อตกระจายของค่าลักษณะเฉพาะ เล็กแค่ไหน มันขึ้นอยู่กับปัญหาที่เกิดขึ้นไม่ว่าจะเป็นเป็นเรื่องปกติและทางด้านขวามือด้านความคิดพื้นฐานว่าเป็นที่ลำดับของพหุนามพยายามที่จะได้รับความก้าวหน้าที่มีขนาดเล็กและขนาดเล็กบนคลื่นความถี่เพื่อให้ประมาณการตกค้างในคำตอบของฉันมีแนวโน้มที่จะ0

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid.Atcheson

@ Reid.Atcheson: ใส่ได้ดีมาก ฉันขอแนะนำให้เขียนเป็นและพูดถึงว่ามันเป็นหนึ่งในเมทริกซ์ปกติหรือไม่?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Jack Poulson

Laplacian preconditioned โดย SOR ที่ดีที่สุดมีสเปกตรัมคล้ายกับเมทริกซ์ตัวอย่างนี้ รายละเอียดที่นี่: scicomp.stackexchange.com/a/852/119

— Jed Brown

การพูดอย่างเคร่งครัด CGNE เป็นอิสระจากสเปกตรัมเนื่องจากมันขึ้นอยู่กับค่าเอกพจน์เท่านั้น

— Jed Brown

บนบรรทัดฐาน

ในฐานะที่เป็นภาคผนวกของ Reid.Atcheson คำตอบของฉันต้องการชี้แจงบางประเด็นเกี่ยวกับบรรทัดฐาน ที่การวนซ้ำ , GMRES พบพหุนามที่ลดรูปแบบของส่วนที่เหลือ $n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

สมมติว่าเป็น SPD ดังนั้นก่อให้เกิดบรรทัดฐานและเพื่อไม่1} แล้วก็ $A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

ที่เราได้ใช้ข้อผิดพลาด

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

ดังนั้นรูปของข้อผิดพลาดจะเทียบเท่ากับบรรทัดฐานของส่วนที่เหลือ Conjugate gradients ช่วยลด -norm ของข้อผิดพลาดซึ่งทำให้มีความแม่นยำมากขึ้นในการแก้ไขโหมดพลังงานต่ำ -norm ของที่เหลือซึ่ง GMRES ลดขนาดเป็นเช่น -norm ของข้อผิดพลาดและทำให้อ่อนแอในแง่ที่ว่าโหมดพลังงานต่ำมีน้อยกว่าที่ได้รับการแก้ไข โปรดทราบว่า -norm ของส่วนที่เหลือนั้นไร้ค่าเพราะมันอ่อนแอกว่าในโหมดพลังงานต่ำ $A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

ความคมชัดของขอบเขตการลู่เข้า

ในที่สุดมีวรรณกรรมที่น่าสนใจเกี่ยวกับวิธีการ Krylov ที่แตกต่างกันและรายละเอียดปลีกย่อยของการลู่เข้า GMRES โดยเฉพาะอย่างยิ่งสำหรับผู้ประกอบการที่ไม่ปกติ

Nachtigal, Reddy และ Trefethen (1992) การทำซ้ำเมทริกซ์แบบไม่สมมาตรเป็นอย่างไร (pdf ของผู้เขียน)ให้ตัวอย่างของเมทริกซ์ซึ่งวิธีการหนึ่งชนะคนอื่นทั้งหมดด้วยปัจจัยขนาดใหญ่ (อย่างน้อยรากที่สองของขนาดเมทริกซ์)
Embree (1999) ขอบเขตการลู่เข้าของ GMRES บรรยายได้อย่างไร? ให้การอภิปรายที่ลึกซึ้งในแง่ของ pseudospectra ที่ให้ขอบเขตที่คมชัดยิ่งขึ้นและยังใช้กับเมทริกซ์ที่ไม่ทแยงมุม
Embree (2003) เต่าและกระต่ายเริ่มต้นใหม่ GMRES (ผู้เขียน pdf)
Greenbaum, PtákและStrakoš (1996) เส้นโค้งคอนเวอร์เจนซ์ที่ไม่มีการเพิ่มใด ๆ เป็นไปได้สำหรับ GMRES

— เจดบราวน์
แหล่งที่มา

คุณออกจากหนังสือที่ยอดเยี่ยมโดย Olavi Nevanlinna: books.google.co.th/…

— Matt Knepley

วิธีการทำซ้ำอย่างย่อ:

$Ax=b$ $C$
$x = x + C b - C A x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
$U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

นี่คือคำอธิบายอย่างใน Youcef ซาดของหนังสือเกี่ยวกับวิธีการที่กล่าวย้ำ

— คริสเตียนโคลสัน
แหล่งที่มา