ความซับซ้อนของกรณีที่เลวร้ายที่สุดของ Conjugate Gradient คืออะไร?

9

ปล่อยให้สมมาตรและบวกแน่นอน สมมติว่ามันจะใช้เวลาหน่วยงานการคูณเวกเตอร์โดย เป็นที่ทราบกันดีว่าการดำเนินการกับอัลกอริทึม CG บนพร้อมหมายเลขเงื่อนไขต้องการหน่วยของงาน $A\in \mathbb{R}^{n\times n}$ $m$ $A$ $A$ $\kappa$ $\mathcal{O} (m\sqrt{\kappa})$

ตอนนี้แน่นอนการเป็นคำสั่งนี้เป็นขอบเขตบน และอัลกอริทึม CG สามารถยุติในขั้นตอนที่เป็นศูนย์ด้วยการเดาเริ่มต้นที่โชคดี $\mathcal{O}$

เรารู้หรือไม่ว่ามี RHS อยู่และคาดเดาเริ่มต้น (โชคไม่ดี) ที่จะต้องมีขั้นตอนหรือไม่ อีกวิธีหนึ่งคือกรณีที่เลวร้ายที่สุดความซับซ้อนของ CG จริงๆ ? $\mathcal{\Theta}(\sqrt{\kappa})$ $\Theta( m \sqrt{\kappa})$

คำถามนี้เกิดขึ้นเมื่อฉันพยายามที่จะตรวจสอบว่าประโยชน์ของ preconditioner (ล่าง ) เทียบกับค่าใช้จ่าย (สูงกว่า) หรือไม่ ตอนนี้ฉันกำลังทำงานกับปัญหาของเล่นและต้องการที่จะมีความคิดที่ดีขึ้นก่อนที่ฉันจะใช้ภาษาใด ๆ ในการรวบรวม $\kappa$ $m$

conjugate-gradient

— เฟร็ด
แหล่งที่มา

5

คุณสามารถสร้างการคาดเดาเบื้องต้นได้โดยการเรียกใช้อัลกอริทึม CG "ย้อนกลับ" และวางพลังงานที่เหมาะสมลงในแต่ละเส้นทางการค้นหา -orthogonal ที่อัลกอริทึมต้องการขั้นตอนทั้งหมด

A

$A$

— origimbo

9

คำตอบคือดังก้องใช่ อัตราการลู่ผูกพันของจะคมชัดกว่าชุดของสมมาตรเมทริกซ์ที่ชัดเจนในเชิงบวกที่มีจำนวนสภาพ\กล่าวอีกนัยหนึ่งการรู้อะไรเกี่ยวกับมากกว่าหมายเลขเงื่อนไข CG สามารถใช้ซ้ำเพื่อรวมกันได้ พูดอย่างบนที่ถูกผูกไว้จะบรรลุถ้าค่าลักษณะเฉพาะของมีการกระจายอย่างสม่ำเสมอ (คือ "พริกไทย") ภายในช่วงเวลาของจำนวนสภาพ\ $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ $\kappa$ $A$ $\sim\sqrt{\kappa}$ $A$ $\kappa$

นี่คือคำสั่งที่เข้มงวดมากขึ้น เวอร์ชันกำหนดขึ้นมีส่วนร่วมมากขึ้น แต่ทำงานโดยใช้หลักการเดียวกัน

ทฤษฎีบท (ตัวเลือกที่แย่ที่สุดของ ) เลือกใด ๆ เมทริกซ์มุมฉากสุ่มให้เป็นตัวเลขจริงตัวอย่างสม่ำเสมอจากช่วงเวลาจริงและให้เป็นตัวเลขจริงตัวอย่าง iid จาก Gaussian มาตรฐาน กำหนดจากนั้นในขีด จำกัดคอนจูเกตไล่ระดับสีจะมาบรรจบกันด้วยความน่าจะเป็นหนึ่งในการแก้ปัญหาถูกต้องของในไม่น้อยกว่าซ้ำ $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

พิสูจน์ หลักฐานมาตรฐานอยู่บนพื้นฐานที่ดีที่สุดเซฟประมาณพหุนามโดยใช้เทคนิคที่พบในหลายสถานที่เช่นหนังสือ Greenbaum ของหรือหนังสือซาดของ

— ริชาร์ดจาง
แหล่งที่มา

1

ขอบเขตไม่คมชัดดังที่คำตอบอธิบายในภายหลังหากค่าลักษณะเฉพาะไม่กระจายอย่างสม่ำเสมอ cg จะลู่เข้าเร็วขึ้นเนื่องจากไม่ใช่การวนซ้ำแบบมีเหตุผล ดังนั้นเราจำเป็นต้องรู้เพิ่มเติมเกี่ยวกับเมทริกซ์

— Guido Kanschat

@GuidoKanschat: จุดดีและฉันได้รับการแก้ไขคำสั่งเพื่อชี้แจงความคมชัดที่จะบรรลุมากกว่าทุกที่มีสภาพ\

A

$A$

κ

$\kappa$

— Richard Zhang

หลักฐานเดือดลงมาเพื่อลดขนาดในพื้นที่ของการสั่งพหุนามความพึงพอใจ 1 นี่คือ. ในขีด จำกัด ที่ระบุและวิธีแก้ปัญหาสำหรับปัญหาขั้นต่ำสุดคือพหุนาม Chebyshev ซึ่งข้อผิดพลาดมารวมกันเป็น

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— Richard Zhang

0

การทำสิ่งนี้เป็นคำถามดั้งเดิมของฉัน: เรารู้หรือไม่ว่ามี RHS และการคาดเดาเริ่มต้น (โชคไม่ดี) ที่จะต้องมี ขั้นตอน ? $\Theta(\sqrt{\kappa})$

คำตอบของคำถามคือ "ไม่" แนวคิดของคำตอบนี้มาจากความคิดเห็นของ Guido Kanschat

การอ้างสิทธิ์: สำหรับหมายเลขเงื่อนไขใด ๆ ที่กำหนดจะมีเมทริกซ์พร้อมกับหมายเลขเงื่อนไขนั้นซึ่งอัลกอริทึม CG จะยุติในสองขั้นตอนมากที่สุด (สำหรับ RHS ที่กำหนดและการเดาเริ่มต้น) $k$ $A$

พิจารณาที่คัปปา) แล้วจำนวนสภาพของเป็น\ปล่อยเป็น RHS และแสดงค่าลักษณะเฉพาะของเป็นโดยที่โดยที่ $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

ก่อนอื่นเราพิจารณากรณีที่การคาดเดาเริ่มต้นคือศูนย์ แสดงว่าเป็นค่าประมาณที่สองของจากอัลกอริทึม CG เราแสดงให้เห็นว่าโดยแสดง 0 แน่นอนเรามี $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

ที่เราใช้สั่งซื้อครั้งแรกพหุนามกำหนดเป็น(1 ดังนั้นเราจึงได้รับการพิสูจน์กรณีสำหรับ0 $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

ถ้าดังนั้นโดยที่เป็นประมาณการที่สองของอัลกอริทึม CG กับแทนที่ด้วย{(0)} ดังนั้นเราได้ลดกรณีนี้ไปเป็นคดีก่อนหน้า $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— เฟร็ด
แหล่งที่มา

มีความทนทานเท่าไหร่ที่จะจำกัดความแม่นยำทางคณิตศาสตร์?

— origimbo

@origimbo หากคำถามของคุณถูกส่งตรงถึงฉันคำตอบคือ "ฉันไม่รู้"

— เฟ