ปัญหาที่การไล่ระดับสีแบบคอนจูเกตนั้นดีกว่า GMRES มาก

17

ฉันสนใจในกรณีที่การไล่ระดับสีคอนจูเกตทำงานได้ดีกว่าวิธี GMRES

โดยทั่วไป CG เป็นตัวเลือกที่ดีกว่าในหลาย ๆ กรณีของ SPD (symmetric-positive-definite) เนื่องจากมันต้องการพื้นที่จัดเก็บน้อยกว่าและต้องอาศัยทฤษฎีตามอัตราการลู่เข้าสำหรับ CG เป็นสองเท่าของ GMRES มีปัญหาใดบ้างหรือไม่ที่มีการปฏิบัติตามอัตราดังกล่าวจริง มีลักษณะของกรณีใดบ้างที่ GMRES มีประสิทธิภาพดีกว่าหรือเทียบเคียงกับ CG สำหรับจำนวน spmvs ที่เหมือนกัน (การกระจายเมทริกซ์เมทริกซ์ - เวกเตอร์)

linear-solver conjugate-gradient gmres

— piyush_sao
แหล่งที่มา

8

สิ่งหนึ่งที่ CG มีความโปรดปรานก็คือมันไม่ได้ลดบรรทัดฐานแบบแยกส่วน $l^2$ สำหรับพหุนามที่เหลืออยู่ (สิ่งที่ GMRES ทำ) มันลดบรรทัดฐานที่เหนี่ยวนำให้เกิดเมทริกซ์แทนและบ่อยครั้งที่บรรทัดฐานที่เหนี่ยวนำเมทริกซ์นี้จบลงด้วยความใกล้ชิดกับบรรทัดฐานพลังงานสำหรับการแยกแยะปัญหาทางกายภาพและบ่อยครั้งที่นี่เป็นบรรทัดฐานที่สมเหตุสมผลมากกว่าในการวัดข้อผิดพลาด จากฟิสิกส์

คุณสามารถบรรลุผลเช่นนี้กับ GMRES ได้เช่นกันหากดำเนินการตัวประกอบแบบ Cholesky ของเมทริกซ์มวลไม่แพงเกินไปคุณสามารถบังคับให้ผลิตภัณฑ์ภายในเป็นพลังงานภายในผลิตภัณฑ์ที่คุณต้องการ

จากนั้นกรณีที่เราควรคาดหวังว่า CG จะดำเนินการแตกต่างจาก GMRES อย่างมากแล้วก็คือเมื่อค่าคงที่ที่บอกเป็นนัยในการเทียบเท่าปกตินั้นแตกต่างกันมาก เรื่องนี้อาจเป็นจริงตัวอย่างเช่นในลำดับสูง - วิธี Galerkin ที่แยกออกมาใช้ในบรรทัดฐาน $l^2$ GMRES ปฏิบัติต่อเสรีภาพทุกองศาเท่ากันเมื่ออยู่ในความเป็นจริงพหุนามเรเดียน gradients คมชัดอยู่ใกล้กับเขตแดน (เพราะฉะนั้นการรวมกลุ่มโหนด) และ ค่าคงตัวเชิงบรรทัดฐานระหว่างค่าคงที่นั้นและบอกว่าค่าคงที่ของต่อเนื่องที่ $L^2$ กำหนดโดยเมทริกซ์มวลนั้นมีขนาดใหญ่มาก

— Reid.Atcheson
แหล่งที่มา

ต้องการยกตัวอย่างที่นี่ด้วยวิธีการเรียงลำดับสูงและประวัติการบรรจบกันของ CG, GMRES และ GMRES + เคล็ดลับ Cholesky .. แต่น่าเสียดายที่รหัสเดียวที่ฉันมีในมือสำหรับปัญหาอันดับสองคือ DG ของความหลากหลายที่ไม่สมมาตร .. ดังนั้น CG จึงไม่ ใช้งานได้จริงชอบที่จะเห็นสิ่งนี้ในการดำเนินการ

— Reid.Atcheson

3

ฉันคิดว่าคำตอบของคุณได้รับสิ่งที่สำคัญ แต่ฉันหวังว่าคุณจะชี้แจง โดยเฉพาะอย่างยิ่งคำถามนี้เป็นคำถามพีชคณิตเชิงเส้นที่บริสุทธิ์และคำตอบของคุณพูดถึงบรรทัดฐานทางกายภาพและเมทริกซ์มวลและอื่น ๆ จาก PDE เชิงตัวเลข เราสามารถพูดบางอย่างแม่นยำเกี่ยวกับวิธีลดบรรทัดฐานที่แตกต่างกันภายในพื้นที่ Krylov เดียวกันนำไปสู่ iterates ที่แตกต่างกันได้อย่างไร

— Andrew T. Barker

นอกเหนือจากตัวอย่างที่เป็นตัวเลขฉันไม่คิดว่ายังมีการศึกษาเชิงทฤษฎีอย่างระมัดระวังอธิบายว่าบรรทัดฐานที่แตกต่างกันให้คำตอบที่แตกต่างกันอย่างมีนัยสำคัญอย่างไร ปัญหาที่ฉันคิดว่าเป็นผลหมุนรอบ asymptotics และสำหรับระบบเชิงเส้นคงที่ผลลัพธ์ทางทฤษฎีจะเป็นปัจจัยคงที่โมดูโลเหมือนกัน หากมีการศึกษาเชิงทฤษฎีอยู่ที่นั่นฉันชอบที่จะเห็นพวกเขา แต่หลังจากถามผู้เชี่ยวชาญพีชคณิตเชิงเส้นเชิงตัวเลขในแผนกของฉันดูเหมือนว่ายังไม่มีการวิเคราะห์เชิงทฤษฎีที่แม่นยำแสดงให้เห็นว่าเกิดอะไรขึ้นกับบรรทัดฐานที่แตกต่างกัน

— Reid.Atcheson

4

ฉันสงสัยว่าโดยทั่วไปมีความแตกต่างไม่มากระหว่าง GMRES และ CG สำหรับเมทริกซ์ SPD

สมมติว่าเราจะแก้กับสมมาตรบวกแน่นอนและคาดเดาเริ่มต้นและสร้าง iterates กับ CG และ GMRES เรียกพวกเขาและ kทั้งสองวิธีที่กล่าวย้ำจะสร้างจากที่เดียวกัน Krylov พื้นที่ }พวกเขาจะทำในวิธีที่แตกต่างกันเล็กน้อย $Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

$e_k^c = x - x_k^c$ $A$

(A {อี}_{k}^{ค}, {อี}_{k}^{ค}) = (A (x - x_{k}^{ค}), x - x_{k}^{ค}) = \underset{Y \in K}{นาที} (A (x - Y), x - Y) .

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

GMRES ย่อขนาดเหลือแทนและทำเช่นนั้นในบรรทัดฐานไม่ต่อเนื่องดังนั้น ตอนนี้ใช้สมการข้อผิดพลาด $r_k = b - A x^g_k$ $\ell^2$

(R_{k}, R_{k}) = (ข - A x_{k}^{ก.}, ข - A x_{k}^{ก.}) = \underset{Y \in K}{นาที} (ข - A Y, ข - A Y) .

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$

A e_{k} = r_{k}

$A e_k = r_k$ เรายังสามารถเขียน GMRES เพื่อย่อให้เล็กที่สุด start ที่ฉันต้องการ จะเน้นว่านี้ถือเป็นเพียงการ SPD เมทริกซ์ จากนั้นเรามี CG เพื่อลดข้อผิดพลาดเกี่ยวกับ norm และ GMRES ลดข้อผิดพลาดที่เกี่ยวข้องกับnormหากเราต้องการให้พวกเขาประพฤติแตกต่างกันมากโดยสังเขปเราจะต้องมีฏที่ว่าทั้งสองบรรทัดฐานนั้นแตกต่างกันมาก แต่สำหรับเมจิบรรทัดฐานเหล่านี้จะทำงานค่อนข้างใกล้เคียงกัน

(R_{k}, R_{k}) = (A {อี}_{k}^{ก.}, A {อี}_{k}^{ก.}) = (A^{2} {อี}_{k}^{ก.}, {อี}_{k}^{ก.})

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$

A^{2}

$A^2$

A

$A$

A

$A$

ที่จะได้รับที่เฉพาะเจาะจงมากยิ่งขึ้นในการทำซ้ำครั้งแรกกับพื้นที่ Krylovทั้ง CG และ GMRES จะสร้างประมาณของแบบฟอร์มข CG จะเลือก และ GMRES จะเลือก start ถ้าเป็นเส้นทแยงมุมที่มีรายการและดังนั้นเป็นคนแรก ขั้นตอน CG นั้นใหญ่เป็นสองเท่าของขั้นตอน GMRES อาจเป็นไปได้ว่าคุณสามารถสร้างและ $K_1 = \{ b \}$ $x_1 = \alpha b$

α = \frac{(ข, ข)}{(A ข, ข)}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$

α = \frac{(A ข, ข)}{(A^{2} ข, ข)} .

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$

A

$A$

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$

ϵ \to 0

$\epsilon \rightarrow 0$

A

$A$

b

$b$ เพื่อให้ปัจจัยความแตกต่างสองอย่างนี้ดำเนินต่อไปตลอดการทำซ้ำ แต่ฉันสงสัยว่ามันแย่กว่านั้นอีก

— Andrew T. Barker
แหล่งที่มา

2

ให้

)

จากนั้น

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$

,

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$

และ

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$

ϵ^{- 1}

$\epsilon^{-1}$

3

สิ่งหนึ่งคือ GMRES ไม่เคยถูกใช้งานทุกที่ที่ CG สามารถนำไปใช้ได้ ฉันไม่คิดว่ามันสมเหตุสมผลที่จะเปรียบเทียบทั้งสองนี้ สำหรับเมทริกซ์ SPD CG เป็นผู้ชนะแน่นอนเนื่องจากความต้องการพื้นที่จัดเก็บและเหตุผลที่คุณกล่าวถึงข้างต้น คำถามที่น่าสนใจคือการหาส่วนเสริม CG ที่ใช้กับปัญหาที่ไม่สามารถใช้ CG ได้ มีวิธีการเช่น BiCG-stab ที่ไม่ต้องการหน่วยความจำเพิ่มขึ้นแบบเส้นตรงเช่น GMRES แต่คอนเวอร์เจนซ์นั้นไม่ดีเท่ากับ GMRES (บางครั้งถึงกับ GMRES ที่เริ่มใหม่)

— user1964178
แหล่งที่มา

2

มีแผนการ IDR ที่เชื่อมช่องว่างระหว่าง GMRES และ BiCG ในแง่ของการประหยัดหน่วยความจำความเสถียรและการบรรจบกัน: ta.twi.tudelft.nl/nw/users/gijzen/IDR.html ฉันไม่แน่ใจว่าฉันยอมรับ GMRES ไม่ควรใช้ถ้า CG สามารถทำได้ หากคุณสามารถสร้างเมทริกซ์แบบ cholesky ของเมทริกซ์ที่ทำให้เกิดบรรทัดฐานพลังงานของคุณคุณสามารถป้อนเข้าไปในการคำนวณแบบสมมาตร Lanczos และได้รับการแก้ปัญหาการเกิดซ้ำระยะสามที่จะทำหน้าที่คล้าย CG แน่นอนว่า CG เป็นตัวเลือกที่ง่ายกว่า แต่ตัวเลือกนั้นมีให้ใช้งาน :)

— Reid.Atcheson

2

หากคุณใช้ Krylov ที่นุ่มนวลกว่าเช่นนั้น GMRES นั้นน่าจะดีกว่าเพราะมันใช้บรรทัดฐานที่อ่อนแอกว่าซึ่งกำหนดเป้าหมายค่าลักษณะเฉพาะขนาดใหญ่ซึ่งมีแนวโน้มที่จะมีความถี่สูงกว่า

— Jed Brown