แอปพลิเคชันที่ปลอดภัยของวิธีการวนซ้ำในเมทริกซ์ครอบงำ

สมมติว่าระบบเชิงเส้นต่อไปนี้ได้รับ

\begin{matrix} (1) & L x = c, \end{matrix}

$Lx=c,\tag1$ ที่ไหน

L

$L$ Laplacian เป็นน้ำหนักที่รู้จักกันว่าเป็นบวก

s e m i -

$semi-$ แน่นอนด้วยช่องว่างว่างหนึ่งมิติซึ่งถูกขยายโดย

1_{n} = (1, \dots, 1) \in R^{n}

$1_n=(1,\dots,1)\in\mathbb{R}^n$ และความแปรปรวนการแปลของ

x \in R^{n}

$x\in\mathbb{R}^{n}$ คือ

x + a 1_{n}

$x+a1_n$ ไม่เปลี่ยนค่าฟังก์ชัน (ซึ่งอนุพันธ์คือ

(1)

$(1)$ ) รายการเชิงบวกเท่านั้นของ

L

$L$ อยู่ในแนวทแยงมุมซึ่งเป็นผลรวมของค่าสัมบูรณ์ของผลลบนอกแนวทแยงมุม

ฉันพบในงานวิชาการที่อ้างถึงอย่างหนึ่งในสาขานั้นแม้ว่า $L$ คือ $not~strictly$ วิธีการเช่น Conjugate Gradient, Gauss-Seidl, Jacobi ยังคงสามารถนำมาใช้แก้ปัญหาได้อย่างปลอดภัย $(1)$ . เหตุผลก็คือเนื่องจากค่าคงที่ของการแปลมีความปลอดภัยในการแก้ไขหนึ่งจุด (เช่นลบแถวและคอลัมน์แรกของ $L$ และรายการแรกจาก $c$ ) ดังนั้นการแปลง $L$ เพื่อ $strictly$ เมทริกซ์ที่โดดเด่นในแนวทแยงมุม อย่างไรก็ตามระบบดั้งเดิมได้รับการแก้ไขในรูปแบบเต็มของ $(1)$ กับ $L\in\mathbb{R}^{n\times n}$ .

สมมติฐานนี้ถูกต้องและถ้าเป็นเช่นนั้นเหตุผลอื่นคืออะไร ฉันพยายามที่จะเข้าใจว่าการบรรจบกันของวิธีการยังคงอยู่

หากวิธี Jacobi เป็นคอนเวอร์เจนซ์ด้วย $(1)$ สิ่งหนึ่งที่สามารถระบุได้เกี่ยวกับรัศมีสเปกตรัม $\rho$ ของเมทริกซ์การวนซ้ำ $D^{-1}(D-L)$ ที่ไหน $D$ เป็นเมทริกซ์แนวทแยงที่มีรายการของ $L$ บนเส้นทแยงมุมของมัน? คือ $\rho(D^{-1}(D-L)\leq1$ จึงแตกต่างจากการบรรจบกันทั่วไปสำหรับ $\rho(D^{-1}(D-L))<1$ ? ฉันถามสิ่งนี้ตั้งแต่ค่าลักษณะเฉพาะของเมทริกซ์ Laplacian $D^{-1}L$ กับคนที่อยู่ในแนวทแยงควรอยู่ในระยะ $[0, 2]$ .

จากงานต้นฉบับ:

......................................

ในการคำนวณซ้ำแต่ละครั้งเราคำนวณเค้าโครงใหม่ (x (t +1), y (t + 1)) โดยการแก้ระบบเชิงเส้นต่อไปนี้:

\begin{matrix} (8) & L \cdot x (t + 1) = L (x (t), y (t)) \cdot x (t) L \cdot y (t + 1) = L (x (t), y (t)) \cdot y (t) \end{matrix}

$L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8$ โดยไม่สูญเสียความสามารถเราสามารถแก้ไขตำแหน่งของเซ็นเซอร์หนึ่งตัว (ใช้ระดับการแปลความเป็นอิสระของความเครียดในภาษาท้องถิ่น) และรับเมทริกซ์ที่มีความโดดเด่นในแนวทแยงมุมอย่างเคร่งครัด ดังนั้นเราสามารถใช้การวนซ้ำ Jacobi เพื่อการแก้ปัญหาได้อย่างปลอดภัย (8)

.......................................

ในข้างต้นความคิดของ "การทำซ้ำ" เกี่ยวข้องกับขั้นตอนการย่อเล็กสุดพื้นฐานและไม่ให้สับสนกับการทำซ้ำ Jacobi ดังนั้นระบบจึงได้รับการแก้ไขโดย Jacobi (ซ้ำ ๆ ) จากนั้นโซลูชันจะถูกซื้อทางด้านขวาของ (8) แต่ตอนนี้สำหรับการทำซ้ำของการย่อเล็กสุดอีกครั้ง ฉันหวังว่าสิ่งนี้จะช่วยอธิบายเรื่องนี้

โปรดทราบว่าฉันพบตัวแก้ปัญหาเชิงเส้นตัววนซ้ำมาบรรจบกันสำหรับเมทริกซ์กึ่งไม่มีค่าบวก? แต่ฉันกำลังมองหาคำตอบที่ซับซ้อนยิ่งขึ้น

— usero
แหล่งที่มา

คุณสามารถโพสต์ลิงค์หรือการอ้างอิงไปยังงานที่อ้างถึงอย่างมากได้หรือไม่?

— Geoff Oxberry

มันอาจถูกเรียกคืนจาก: citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.164.1421 เนื่องจากคุณไม่ได้คาดหวังว่าจะอ่านงานทั้งหมดลองดูที่ p.7 (ด้านล่าง) ฉันคิดว่าการเลือกตัวแก้ซ้ำ ๆ นั้นมีเหตุผล แต่ฉันรู้สึกว่าจำเป็นต้องมีเหตุผลที่ดีกว่า (หรืออย่างน้อยก็แตกต่างกัน)

— usero

ฉันสงสัยว่าพวกเหล่านี้มาจากชุมชนเดียวกันกับผู้สร้างเงื่อนไขเบื้องต้นหรือไม่

— shuhalo

คำตอบ:

การทำซ้ำ Jacobi สามารถพิสูจน์ได้ว่ามาบรรจบกัน

สิ่งแรกที่คุณควรแน่ใจก็คือ $c^T \mathbf{1}_n = 0$ ซึ่งเป็นเงื่อนไขสำหรับการมีอยู่ของการแก้ปัญหา (ฉันคิดว่า $L=L^T$ มิฉะนั้นคุณต้องการ $c\in (\mathrm{Ker} L^T)^\perp$ ) เพราะคุณพูดว่า $V_0:=\mathrm{Ker} L = \mathrm{span}\{\mathbf{1}_n\}$ . เราจะใช้การประชุมที่ $V_0$ นอกจากนี้ยังเป็นเมทริกซ์ที่มีคอลัมน์เป็นพื้นฐาน orthonormal ของมัน ในกรณีของคุณ $V_0:=\mathbf{1}_n/\sqrt{n}$ .

จากนั้นสำหรับข้อผิดพลาดของการทำซ้ำ Jacobi ในระบบเดิมคุณมี

e_{1} = (I - D^{- 1} L) e_{0} = (I - D^{- 1} L) (P e_{0} + V_{0} a) = (I - D^{- 1} L) P e_{0} + V_{0} a,

$e_1 = (I-D^{-1}L)e_0 = (I-D^{-1}L) (P e_0 + V_0a)=(I-D^{-1}L) P e_0 + V_0a,$ ที่ไหน

P := I - V_{0} V_{0}^{'}

$P:=I-V_0V_0'$ คือการฉายภาพมุมฉากบน

V_{1} := V_{0}^{⊥}

$V_1:=V_0^\perp$ . จากการวนซ้ำข้างต้นเรารู้ว่า

P e_{1} = P (I - D^{- 1} L) P e_{0},

$P e_1 = P (I-D^{-1}L) P e_0,$
จากที่เรามีเมทริกซ์การทำซ้ำ

S

$S$ ใน

V_{1}

$V_1$ ,

S := P (I - D^{- 1} L) P .

$S: = P (I-D^{-1}L) P.$ ไม่ว่า

S

$S$ มีสเปกตรัมเดียวกัน (ยกเว้นศูนย์) ด้วยเมทริกซ์ต่อไปนี้

\tilde{S} := (I - D^{- 1} L) P P = (I - D^{- 1} L) P = (I - D^{- 1} L) (I - V_{0} V_{0}^{'}) = I - D^{- 1} L - V_{0} V_{0}^{'} .

$\tilde{S}:= (I-D^{-1}L) P P=(I-D^{-1}L) P=(I-D^{-1}L)(I-V_0V_0')\\ =I-D^{-1}L-V_0V_0'.$ เราต้องการรัศมีสเปกตรัมของ

S

$S$ น้อยกว่าหนึ่งเพื่อพิสูจน์การบรรจบกัน

ข้อความต่อไปนี้เก่าและเก็บไว้เพื่ออ้างอิงเท่านั้น ดูภายหลังสำหรับหลักฐานใหม่

ในกรณีของคุณ $V_0V_0'=\frac{1}{n}\mathbf{1}_{n\times n}.$ และคุณสามารถตรวจสอบได้ว่า $D^{-1}L+V_0V_0'$ มีความโดดเด่นในแนวทแยงอย่างเคร่งครัดโดยใช้ข้อสมมติที่ว่า $L$ บวกกับเส้นทแยงมุมและลบอย่างอื่น เพื่อแสดงค่าลักษณะเฉพาะของ $D^{-1}L+V_0V_0'$ เป็นเรื่องจริงเราทราบว่าเมทริกซ์นั้นอยู่ติดกันภายใต้ผลิตภัณฑ์ด้านใน $<x,y>:=y^TDx.$

ถ้า $V_0$ ไม่ได้อยู่ในรูปแบบเฉพาะของคุณฉันไม่พบคำตอบสำหรับคำถามเกี่ยวกับการลู่เข้า ใครช่วยอธิบายเรื่องนี้ได้บ้าง

สังเกตได้ว่า $V_0$ เป็น eigen-vector ที่สอดคล้องกับ eigenvalue $1$ ของ $I-D^{-1}L$ . จากการสังเกตเราเรียกทฤษฎีบท 2.1 จากค่าลักษณะเฉพาะของเมทริกซ์ที่ได้รับการปรับปรุงอันดับหนึ่งด้วยการใช้งานบางอย่างโดย Jiu Ding และ Ai-Hui Zhou

ทฤษฎีบท 2.1 ให้ $u$ และ $v$ เป็นสอง $n$ เวกเตอร์คอลัมน์สามมิติเช่นนั้น $u$ เป็นไอเกนวีค $A$ เกี่ยวข้องกับค่าลักษณะเฉพาะ $\lambda_1$ . จากนั้นค่าลักษณะเฉพาะของ $A+uv^T$ เป็น $\{\lambda_1+u^Tv,\lambda_2,\ldots,\lambda_n\}$ การนับพีชคณิตเชิงพีชคณิต

จากนั้นเรารู้ว่าสเปกตรัมของ $\tilde{S}$ เป็นเช่นเดียวกับ $I-D^{-1}L$ ยกเว้นว่าค่าลักษณะเฉพาะ $1$ ในหลังถูกเลื่อนโดย $-1$ ในศูนย์ค่าลักษณะเฉพาะในอดีต ตั้งแต่ $\rho(I-D^{-1}L)\subset (-1,1]$ , เรามี $\rho(\tilde{S})\subset (-1,1)$ .

— ฮุ่ยจาง
แหล่งที่มา

ขอบคุณสำหรับคำตอบ. สิ่งที่คล้ายกันคือสิ่งที่ฉันได้พิจารณา: คือด้วยโครงสร้าง Laplacian ถ่วงน้ำหนักเป็น

D^{- 1} L

$D^{-1}L$ ด้านบนอาจแสดงให้เห็นว่าค่าลักษณะเฉพาะอยู่ภายใน

[0, 2)

$[0, 2)$ ดังนั้นด้วยรัศมีสเปกตรัมภายใน

(0, 2)

$(0, 2)$ (ค่าไอเกนหนึ่งค่ามากกว่า

0

$0$ และอย่างน้อยหนึ่งก็คือ

0

$0$ ) ดังนั้นรัศมีสเปกตรัมของเมทริกซ์การวนซ้ำ

I - D^{- 1} L

$I-D^{-1}L$ น้อยกว่า

1

$1$ ดังนั้นจึงมาพร้อมกับ Jacobi อาจสันนิษฐานข้างต้นในรัศมีสเปกตรัมของ

I - D^{- 1} L

$I-D^{-1}L$ (ไม่รวม

0

$0$ ) ไม่ปลอดภัยหรือ

— usero

ฉันคิดว่าสเปกตรัมของ

D^{- 1} L

$D^{-1}L$ ควรจะอยู่ใน

[0, 2]

$[0,2]$ ที่ถูกปิดที่

2

$2$ . ฉันไม่รู้ว่าคุณจะได้รับ

2

$2$ ได้รับการยกเว้น จากมุมมองของฉันทฤษฎีบทวงกลม (Gershgorin) [ en.wikipedia.org/wiki/Gershgorin_circle_theorem]สามารถให้การประมาณเท่านั้น

2

$2$ . หากเป็นกรณีนี้ค่าประมาณของรัศมีสเปกตรัมของ

I - D^{- 1} L

$I-D^{-1}L$ คือ

\leq 1

$\leq 1$ ด้วยความเสมอภาคที่ทำได้ด้วยเวกเตอร์ในเคอร์เนลของ

L

$L$ . ฉันคิดว่าการลู่เข้าที่คุณต้องการคือในพื้นที่ประกอบฉากมุมฉาก

V_{1}

$V_1$ ตามที่ระบุไว้ใน 'คำตอบ' ข้างต้น

— Hui Zhang

คุณสามารถดู Lemma 1.7 (v) ของ math.ucsd.edu/~fan/research/cb/ch1.pdf เมทริกซ์

D^{- 1} L

$D^{−1}L$ อาจถือได้ว่าเป็น Laplacian ที่มีน้ำหนักในกราฟที่สมบูรณ์

2

$2$ . ฉันเดาว่ามันเป็นข้อโต้แย้งที่เพียงพอสำหรับการพิสูจน์การลู่เข้าหรือไม่ ........... แนวทางของคุณต้องการการประมวลผลก่อน / หลังการประมวลผลอื่น ๆ

c

$c$ . ฉันถามเพราะคุณแนะนำ

V_{0}

$V_0$ และเกี่ยวกับสเปกตรัมของ

I - D^{- 1} L - V_{0} V_{0}^{'}

$I-D^{-1}L-V_0V_0'$ : ระบุว่ารัศมีสเปกตรัม (

s r

$sr$ ) ของ

I - D^{- 1} L

$I-D^{-1}L$ คือ

(0, 1]

$(0, 1]$ นอกเหนือจาก

- \frac{1}{n}

$-\frac{1}{n}$ จะให้ผลผลิต

s r < 1

$sr<1$ . นี่ไม่ใช่ข้อโต้แย้งที่ดีพอใช่ไหม

— usero

สวัสดีขอบคุณสำหรับการชี้ไปที่หนังสือที่ดี แต่ฉันพบว่าฉันไม่สามารถมองอย่างรวดเร็ว เกี่ยวกับการโต้แย้งครั้งสุดท้ายของคุณมันปรากฏเกือบเหมือนกับ "คำตอบ" ด้านบน เพียงระวังคุณไม่ได้เพิ่ม

\frac{1}{n}

$\frac{1}{n}$ แต่

\frac{1}{n} 1_{n \times n}

$\frac{1}{n}\mathbf{1}_{n\times n}$ ดังนั้นจึงไม่ใช่เรื่องง่ายที่จะเพิ่ม

s r

$sr$ ของ

I - D^{- 1} L

$I-D^{-1}L$ . โดยทั่วไปแล้ว

s r

$sr$ ของผลรวมของสองเมทริกซ์ไม่ใช่ผลรวมอย่างง่ายของ

s r

$sr$ การฝึกอบรมของแต่ละบุคคล

— Hui Zhang

ดีที่คุณชี้ให้เห็น วิธีการของคุณต้องการการประมวลผลก่อน / หลังอื่น ๆ ของการวนซ้ำเกินกึ่งกลางค ฉันถามเพราะคุณแนะนำ

V_{0}

$V_0$ และฉันคิดว่าคุณกำลังพูดถึงการฉายพื้นที่ว่าง ถ้าเป็นเช่นนั้นการฉายภาพช่องว่างว่างเปล่าเป็นสิ่งจำเป็นสำหรับการลู่เข้าหรือไม่

— usero

วิธี Krylov ไม่เคยใช้มิติของพื้นที่ที่พวกมันวนซ้ำอย่างชัดเจนดังนั้นคุณสามารถเรียกใช้มันบนระบบเอกพจน์ได้ตราบใดที่คุณยังคงวนซ้ำในพื้นที่ย่อยที่ไม่ใช่ค่าว่าง โดยปกติจะทำโดยการฉายพื้นที่ว่างในแต่ละการวนซ้ำ มีสองสิ่งที่สามารถผิดพลาดได้สิ่งแรกเป็นเรื่องธรรมดามากกว่าสิ่งที่สอง

เครื่องปรับอากาศไม่เสถียรเมื่อใช้กับโอเปอเรเตอร์เอกพจน์ นักแก้ปัญหาโดยตรงและการแยกตัวประกอบที่ไม่สมบูรณ์อาจมีคุณสมบัตินี้ เป็นเรื่องจริงเราก็เลือก preconditioners ที่แตกต่างกัน แต่มีวิธีการหลักการมากขึ้นในการออกแบบสำหรับระบบ preconditioners เอกพจน์เช่นจาง (2010)
ในบางครั้ง $x$ อยู่ในพื้นที่ย่อยที่ไม่ใช่ค่าว่าง แต่ $A x$ อาศัยอยู่ในพื้นที่ว่าง สิ่งนี้เป็นไปได้เฉพาะกับเมทริกซ์แบบไม่สมมาตร ยังไม่มีการแก้ไข GMRES ในสถานการณ์นี้ แต่ดูReichel และ Ye (2005)สำหรับตัวแปรย่อยฟรี

เพื่อแก้ปัญหาระบบเอกพจน์ใช้ PETSc KSPSetNullSpace()ดู วิธีการและเงื่อนไขเบื้องต้นส่วนใหญ่สามารถแก้ปัญหาระบบเอกพจน์ได้ ในทางปฏิบัติพื้นที่ว่างขนาดเล็กสำหรับ PDEs ที่มีเงื่อนไขขอบเขตของ Neumann นั้นแทบจะไม่มีปัญหาตราบใดที่คุณแจ้ง Krylov ตัวแก้ปัญหาของช่องว่างและเลือกเงื่อนไขที่เหมาะสม

จากความคิดเห็นดูเหมือนว่าคุณสนใจ Jacobi เป็นพิเศษ (เพราะเหตุใด Jacobi มีประโยชน์ในฐานะที่เป็นมัลติราบรื่นกว่า แต่มีวิธีการที่ดีกว่ามากในการใช้เป็นนักแก้ปัญหา) $A x = b$ ไม่ได้บรรจบกันเมื่อเวกเตอร์ $b$ มีองค์ประกอบในช่องว่างของ $A$ อย่างไรก็ตามส่วนหนึ่งของการแก้ปัญหามุมฉากกับพื้นที่ว่างจะมาบรรจบกันดังนั้นถ้าคุณคาดการณ์พื้นที่ว่างออกจากการทำซ้ำแต่ละมันจะมาบรรจบกัน อีกทางเลือกหนึ่งถ้าคุณเลือกที่สอดคล้อง $b$ และคาดเดาเริ่มต้น iterates (ในเลขคณิตที่แน่นอน) ไม่สะสมองค์ประกอบในพื้นที่ว่าง

— เจดบราวน์
แหล่งที่มา

คุณสามารถทำการเปลี่ยนแปลงมุมฉากของพื้นฐานเพื่อให้มีศูนย์ในแนวทแยง (หาเมทริกซ์มุมฉากใด ๆ

Q

$Q$ ซึ่งคอลัมน์แรกคือเวกเตอร์คงที่) ภายใต้การเปลี่ยนแปลงครั้งนี้

A_{1} = Q^{T} A Q

$A_1 = Q^T A Q$ เมทริกซ์

A_{1}

$A_1$ ยังคงเป็นสมมาตรกึ่งบวกแน่นอน แต่รายการในแนวทแยงแรกคือ 0 ดังนั้นการประยุกต์โดยตรงของ Jacobi จะล้มเหลว ตั้งแต่

A_{1}

$A_1$ มีความหนาแน่นคุณจะไม่ทำสิ่งนี้ในทางปฏิบัติ แต่สิ่งนี้แสดงให้เห็นว่าพื้นฐานสำคัญ ถ้า

Z

$Z$ เป็นพื้นฐานฉากสำหรับพื้นที่ว่าง, GMRES ที่คาดการณ์เป็นเพียงการแก้

(I - Z) P^{- 1} A x = (I - Z) P^{- 1} b

$(I-Z)P^{-1} A x = (I-Z)P^{-1} b$ .

— Jed Brown

ดูเหมือนว่าฉันตอบความคิดเห็นที่ถูกลบไปแล้ว ฉันจะแสดงความคิดเห็นที่นี่ในกรณีที่มีประโยชน์

— Jed Brown

ขอบคุณสำหรับคำตอบมันอยู่ในระดับที่สูงกว่ามากและฉันก็คาดหวังไว้ ดังนั้นฉันจะต้องการคำแนะนำเกี่ยวกับ: 1) วิธีการประมาณการพื้นที่ว่างในแต่ละรอบ? 2) ในความเข้าใจของฉันคุณระบุว่าแอปพลิเคชัน Jacobi ในระบบตามที่ระบุไว้ในขั้นต้นอาจไม่เข้าหาโซลูชันที่แน่นอน (เช่น iterand ไม่ได้รับการประเมินโซลูชันที่ดีขึ้น) ดังนั้นจึงแนะนำให้เลือกผู้กำหนดเงื่อนไขล่วงหน้าต่างกัน ถ้าเป็นเช่นนั้นนั่นหมายถึงการตรวจสอบพฤติกรรมแบบไดนามิกด้วยหรือไม่

d i a g (A)

$diag(A)$ และเปลี่ยนหากมีปัญหาเกิดขึ้น (กับกรณีของระบบเชิงเส้นด้านบน)?

— usero

1) ของฉันจากด้านบนควรได้รับการพิจารณาว่า: เนื่องจากการวนซ้ำของ Jacobi กับระบบที่โพสต์เป็นหลักนั้นจำเป็นต้องมีการคาดการณ์โมฆะ nullspace หรือไม่และถ้าเป็นเช่นนั้น

X_{k + 1} = D^{- 1} (b - (A - D) X_{k})

$X_{k+1}=D^{-1}(b-(A-D)X_k)$ ? ประมวลผลซ้ำในภายหลัง

X_{k + 1}

$X_{k+1}$ และพิจารณารุ่นที่ประมวลผลแล้วสำหรับ

X_{k}

$X_{k}$ ?

— usero

โดยพื้นฐานแล้ว Jacobi ควรมีเสถียรภาพ นอกจากนี้ยังสามารถใช้ 1 ในแนวทแยงถ้าองค์ประกอบเมทริกซ์แนวทแยงเป็น 0, การฉายยังคงเอาพื้นที่ว่าง คุณวางแผนที่จะใช้วิธี Krylov เช่น CG หรือ GMRES หรือไม่? ถ้าไม่ทำไมล่ะ หากคุณเป็นเช่นนั้นคุณแค่ต้องการพื้นฐานมุมฉากสำหรับพื้นที่ว่าง คุณมีโหมดค่าคงที่ในพื้นที่ว่างของคุณเท่านั้นดังนั้นเครื่องฉายมุมฉากในพื้นที่ว่างคือ

N = Z Z^{T}

$N=ZZ^T$ ที่ไหน

Z

$Z$ เป็นเวกเตอร์คอลัมน์ โปรเจ็กเตอร์แบบมุมฉากที่ลบพื้นที่ว่างดังนั้น

I - N

$I-N$ . (ความคิดเห็นแรกของฉันมีข้อผิดพลาดถ้า

Z

$Z$ เป็นพื้นฐาน

N = I - Z Z^{T}

$N=I-ZZ^T$ เป็นเครื่องฉาย)

— Jed Brown