ระบบเส้นตรงแบบสมมาตรและคงที่สามารถแก้ไขได้ในเวลาสมการกำลังสองหลังจากการคำนวณล่วงหน้าหรือไม่

21

คือมี $O(n^3+n^2 k)$ วิธีการที่จะแก้ปัญหา $k$ เชิงเส้นระบบของฟอร์ม $(D_i + A) x_i = b_i$ ที่เป็นเมทริกซ์เมจิคงที่และเป็นเมทริกซ์ทแยงมุมบวก? $A$ $D_i$

ตัวอย่างเช่นถ้าแต่ละ $D_i$ เป็นสเกลาร์ก็พอเพียงที่จะคำนวณ SVD ของ อย่างไรก็ตามการแบ่งนี้สำหรับทั่วไปเนื่องจากการขาดการสับเปลี่ยน $A$ $D$

อัปเดต : คำตอบคือ "ไม่" ไม่มีใครมีสัญชาตญาณที่น่าสนใจว่าทำไม? ไม่มีคำตอบหมายความว่าไม่มีวิธีที่ไม่จำเป็นในการบีบอัดข้อมูลระหว่างผู้ให้บริการที่ไม่เปิดใช้งานสองคน มันไม่ได้เป็นเรื่องที่น่าประหลาดใจนัก แต่มันเป็นการดีที่จะเข้าใจมันมากขึ้น

— Geoffrey Irving
แหล่งที่มา

SPD = แน่นอนกึ่งบวก?

— rcollyer

ใช่แม้ว่าปัญหาจะเหมือนกันโดยไม่มี SPD ฉันเพิ่มข้อ จำกัด นั้นเพียงเพื่อให้แน่ใจว่าระบบจะไม่มีเอกพจน์

— เจฟฟรีย์เออร์วิง

19

คำตอบในเชิงบวกที่ใกล้เคียงที่สุดสำหรับคำถามของคุณที่ฉันพบได้สำหรับการรบกวนเยื้องในแนวทแยงมุม (ดูด้านล่าง)

จากที่กล่าวมาฉันไม่ทราบถึงอัลกอริธึมใด ๆ สำหรับกรณีทั่วไปแม้ว่าจะมีการวางหลักเกณฑ์ทั่วไปของเทคนิคที่คุณพูดถึงการเลื่อนสเกลาร์จากการฝึก SPD เป็นเมทริกซ์จตุรัสทั้งหมด:

ให้เมทริกซ์จตุรัสใด ๆมีการสลายตัวของ Schur โดยที่มีการรวมกันและคือรูปสามเหลี่ยมด้านบนและให้ Schur สลายตัวของฉันดังนั้นแนวคิดการคำนวณล่วงหน้าของคุณจึงขยายไปถึงเมทริกซ์จตุรัสทั้งหมดผ่านอัลกอริทึม: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

Compute ในที่มากที่สุดการทำงาน $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
แก้ปัญหาแต่ละข้อผ่านในงาน $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

บรรทัดของการให้เหตุผลนี้จะลดวิธีการที่คุณกล่าวถึงเมื่อคือ SPD เนื่องจากการสลายตัวของ Schur จะลดลงเป็น EVD สำหรับเมทริกซ์ปกติและ EVD เกิดขึ้นพร้อมกับ SVD สำหรับเมทริกซ์บวกแน่นอนแบบบวกของเฮอร์มีเชียน $A$

การตอบสนองต่อการอัปเดต: จนกว่าฉันจะมีหลักฐานซึ่งฉันไม่ได้เป็นฉันก็ปฏิเสธที่จะอ้างว่าคำตอบคือ "ไม่" อย่างไรก็ตามฉันสามารถให้ข้อมูลเชิงลึกเกี่ยวกับสาเหตุที่มันยากเช่นเดียวกับเอกสารย่อยอื่นที่คำตอบคือใช่

ปัญหาที่สำคัญคือแม้ว่าการอัพเดตในแนวทแยงจะยังคงอยู่ในอันดับเต็มทั่วไปดังนั้นเครื่องมือหลักสำหรับการอัปเดตผกผันสูตรเชอร์แมน - มอร์ริสัน - วูดเบอรีก็ไม่ปรากฏขึ้นเพื่อช่วย แม้ว่าตัวเรือนสเกลาร์กะลานั้นยังมีตำแหน่งเต็ม แต่มันก็เป็นกรณีที่พิเศษอย่างยิ่งเนื่องจากมันจะส่งสัญญาณกับเมทริกซ์ทุกตัวตามที่คุณพูดถึง

กับที่กล่าวว่าถ้าแต่ละเบาบางคือพวกเขาแต่ละคนมี nonzeros แล้วสูตรเชอร์แมนมอร์ริสันฟอร์ด-อัตราผลตอบแทนถัวแก้ปัญหาด้วยกันทั้งคู่ }ตัวอย่างเช่นด้วยค่าศูนย์เดียวที่รายการแนวทแยงที่ดังนั้น : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

ที่คือ TH เวกเตอร์พื้นฐานมาตรฐาน $e_j$ $j$

การอัปเดตอื่น:ฉันควรพูดถึงว่าฉันได้ลอง preconditioner ที่ @GeoffOxberry แนะนำเกี่ยวกับการสุ่ม SPD เมทริกซ์โดยใช้ PCG และอาจไม่แปลกใจเลยที่มันลดจำนวนการทำซ้ำเมื่อมีขนาดเล็ก แต่ไม่ใช่เมื่อเป็นหรือมากกว่า $A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

— แจ็คโพลสัน
แหล่งที่มา

12

ถ้ามีความโดดเด่นในแนวทแยงมุมสำหรับแต่ละตัวดังนั้นงานล่าสุดโดย Koutis, Miller และ Peng (ดูเว็บไซต์ของ Koutisสำหรับการทำงานกับเมทริกซ์ที่โดดเด่นในแนวทแยงมุมแบบสมมาตร) สามารถใช้แก้ปัญหาแต่ละระบบในเวลา (ที่จริงเวลาที่เป็นจำนวนสูงสุดของรายการในภัณฑ์มากกว่าทุก $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ ดังนั้นคุณสามารถใช้ประโยชน์จาก sparsity เช่นกัน) จากนั้นเวลาทำงานทั้งหมดจะเป็นซึ่งดีกว่าวิธีในการแก้ปัญหาแต่ละระบบโดยใช้พีชคณิตเชิงเส้นหนาแน่น แต่จะแย่กว่าเวลารันกำลังสองของคุณเล็กน้อย ขอให้ $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

$A^{-1}$

การตอบสนองต่อการอัปเดต : @JackPaulson สร้างจุดยอดเยี่ยมจากจุดยืนของพีชคณิตเชิงเส้นเชิงตัวเลขและอัลกอริทึม ฉันจะมุ่งเน้นข้อโต้แย้งที่ซับซ้อนของการคำนวณแทน

$n$

$\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

— Geoff Oxberry
แหล่งที่มา

3

ฉันยังไม่เห็นคำแถลงที่เป็นรูปธรรมถึงจุดที่ครอสโอเวอร์อาจมี แต่แหล่งข้อมูลที่มีชื่อเสียงหลายแห่งระบุว่า (ปัญหาการดำเนินการกัน) Coppersmith-Winograd ไม่สามารถเอาชนะวิธีมาตรฐานสำหรับขนาดเมทริกซ์ที่จะสามารถพอดีกับหน่วยความจำในอนาคต (สองสามทศวรรษ) เนื่องจากมาตรฐาน Linpack ใช้เวลามากกว่าหนึ่งวันในการทำงานกับเครื่องจักรชั้นนำในปัจจุบันจึงไม่น่าจะเป็นไปได้ที่ Coppersmith-Winograd จะถูกนำมาใช้ในทางปฏิบัติ Strassen เป็นจริงสำหรับปัญหาที่มีขนาดใหญ่แม้ว่ามันจะค่อนข้างมีเสถียรภาพตัวเลขน้อย

— Jed Brown

นั่นไม่ได้ทำให้ฉันประหลาดใจ +1 สำหรับรายละเอียดการใช้งาน

— Geoff Oxberry

6

$A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

$A+D$

$D\gtrsim 0$ $D \lesssim \min \sigma(A)$

หากการเปลี่ยนสภาพใน preconditioner มีขนาดใหญ่กว่าในตัวดำเนินการวิธีนี้มีแนวโน้มที่จะสร้างหมายเลขเงื่อนไขประมาณครึ่งหนึ่งของการปรับสภาพล่วงหน้าโดยตัวดำเนินการที่ล้าหลัง (ในการทดสอบแบบสุ่มที่ฉันวิ่งมันอาจจะดีหรือแย่ลง การฝึกอบรม) ตัวคูณของเงื่อนไข 2 ตัวนั้นให้ปัจจัยในการนับซ้ำ หากต้นทุนการทำซ้ำถูกครอบงำโดยการแก้ปัญหาด้วยดังนั้นนี่ไม่ใช่ปัจจัยที่เพียงพอที่จะพิสูจน์การขยายตัวของเทย์เลอร์คำสั่งแรก หากแอปพลิเคชันเมทริกซ์มีราคาแพงตามสัดส่วน (เช่นคุณมีเพียงเงื่อนไขเบื้องต้นที่ไม่แพงสำหรับ ) ดังนั้นวิธีการสั่งซื้อครั้งแรกนี้อาจสมเหตุสมผล $\sqrt 2$ $A+D$ $A+D$

— เจดบราวน์
แหล่งที่มา