วิธีแก้ปัญหาของระบบเชิงเส้นของสมการสามารถประมาณค่าสำหรับตัวแปรแรกเท่านั้นหรือไม่

ฉันมีระบบเชิงเส้นของสมการขนาด mxm โดยที่ m มีขนาดใหญ่ อย่างไรก็ตามตัวแปรที่ฉันสนใจเป็นเพียงตัวแปร n ตัวแรก (n มีค่าน้อยเมื่อเทียบกับ m) มีวิธีที่ฉันสามารถประมาณโซลูชันสำหรับค่า m แรกโดยไม่ต้องแก้ไขระบบทั้งหมดหรือไม่ ถ้าใช่การประมาณนี้จะเร็วกว่าการแก้ระบบเชิงเส้นเต็มหรือไม่

ดังที่คนอื่น ๆ ชี้ว่าสิ่งนี้เป็นเรื่องยากที่จะแก้ไขด้วยตัวแก้ปัญหาโดยตรง ที่กล่าวว่ามันไม่ได้เป็นเรื่องยากที่จะทำอย่างไรกับนักแก้ซ้ำ ด้วยเหตุนี้โปรดทราบว่านักแก้ปัญหาที่วนซ้ำส่วนใหญ่ไม่ทางใดก็ทางหนึ่งให้ลดข้อผิดพลาดที่เกี่ยวข้องกับบรรทัดฐานบางอย่าง บ่อยครั้งที่บรรทัดฐานนี้ถูกเหนี่ยวนำโดยเมทริกซ์เอง แต่บางครั้งมันก็เป็นแค่เวกเตอร์ l2 แต่นั่นไม่ได้เป็นกรณี: คุณสามารถเลือกบรรทัดฐานที่คุณต้องการลดข้อผิดพลาด (หรือส่วนที่เหลือ) ในและตัวอย่างเช่นคุณสามารถเลือกบรรทัดฐานที่คุณชั่งน้ำหนักส่วนประกอบที่คุณสนใจด้วย 1 และ คนอื่น ๆ ทั้งหมดที่มี 1e-12 เช่นตัวอย่างเช่น (1e-24) ∑ N i = 6 x 2 i และผลิตภัณฑ์สเกลาร์ที่สอดคล้องกัน จากนั้นเขียนขั้นตอนทั้งหมดของตัวแก้ซ้ำ ๆ โดยคำนึงถึงบรรทัดฐานและผลิตภัณฑ์สเกลาร์นี้และคุณจะได้รับตัวแก้ซ้ำที่ให้ความสำคัญกับองค์ประกอบเวกเตอร์ที่คุณสนใจมากกว่าคนอื่น ๆ$|| x ||^2 = \sum_{i=1}^5 x_i^2 +$$\sum_{i=6}^N x_i^2$

คำถามของหลักสูตรคือคุณต้องการการวนซ้ำน้อยกว่าการใช้ผลิตภัณฑ์ norm / scalar ที่มีน้ำหนักส่วนประกอบทั้งหมดเท่า ๆ กัน แต่นั่นควรจะเป็นกรณีนี้: สมมุติว่าคุณสนใจองค์ประกอบเวกเตอร์ห้าตัวแรกเท่านั้น จากนั้นคุณควรต้องการการวนซ้ำสูงสุดห้าครั้งเพื่อลดข้อผิดพลาดด้วย 1e12 เนื่องจากการทำซ้ำห้าครั้งเป็นสิ่งที่จำเป็นสำหรับระบบ 5x5 ที่อธิบายพวกเขา นั่นไม่ใช่ข้อพิสูจน์ แต่ฉันค่อนข้างแน่ใจว่าคุณควรหลีกเลี่ยงการวนซ้ำที่น้อยกว่านี้ถ้าน้ำหนักในเกณฑ์ปกติ (1e-12 ด้านบน) มีขนาดเล็กกว่าความอดทนที่คุณต้องการแก้ระบบเชิงเส้นซ้ำ ๆ .

การสร้างส่วนประกอบ Schur

สมมติว่าคุณได้อนุญาตและแบ่งเมทริกซ์ของคุณลงในแบบฟอร์ม

$$A=\left(\begin{array}{cc}A_{11} & A_{12} \\ A_{21} & A_{22}\end{array}\right),$$

เช่นที่มีองศาอิสระในการสนใจของคุณและมีขนาดเล็กกว่าA 11มากจากนั้นคุณสามารถสร้างส่วนประกอบ Schur ได้$A_{22}$$A_{11}$

$$S_{22} := A_{22} - A_{21} A_{11}^{-1} A_{12},$$

ไม่ว่าจะผ่านการแยกตัวประกอบ LU ที่ดูขวาหรือสูตรที่ชัดเจนจากนั้นสามารถเข้าใจได้ในแง่ต่อไปนี้:$S_{22}$

$$S_{22} x = y \;\;\rightarrow\;\; \left(\begin{array}{cc}A_{11} & A_{12}\\ A_{21} & A_{22}\end{array}\right) \left(\begin{array}{c}\star\\ x\end{array}\right)=\left(\begin{array}{c}0\\ y\end{array}\right),$$

โดยที่แสดงถึงส่วน ' uninteresting ' ของโซลูชัน ดังนั้นที่ให้ทางด้านขวาซึ่งไม่ใช่ศูนย์ในองศาอิสระของ Schur เติมเต็มS 22เราต้องการเพียงแก้ไขกับS 22เพื่อให้ได้สัดส่วนของการแก้ปัญหาที่สอดคล้องกับองศาอิสระเหล่านั้น$\star$$S_{22}$$S_{22}$

ความซับซ้อนในการคำนวณในกรณีที่ไม่มีโครงสร้างที่หนาแน่น

การตั้งค่ากับความสูงของและnความสูงของ22แล้ววิธีการมาตรฐานสำหรับการคำนวณS 22แรกคือปัจจัยL 11 U 11 : = 11 (ขอละเว้นแกนตอนนี้) ในประมาณ2 / 3 ( N - n ) 3งานจากนั้นจึงสร้าง$N$$A$$n$$A_{22}$$S_{22}$$L_{11} U_{11} := A_{11}$$2/3 (N-n)^3$

$$S_{22} := A_{22} - (A_{21} U_{11}^{-1})(L_{11}^{-1} A_{12}) = A_{22} - A_{21} A_{11}^{-1} A_{12}$$

ใช้สองแก้สามเหลี่ยมที่กำหนดให้การทำงานในแต่ละและจากนั้นทำการอัพเดตเพื่อ22ใน2 n 2 ( N - n )การทำงาน$n(N-n)^2$$A_{22}$$2n^2 (N-n)$

ดังนั้นการทำงานรวมเป็นประมาณ ) เมื่อnมีขนาดเล็กมากN - n ≈ Nดังนั้นค่าใช้จ่ายที่สามารถมองเห็นจะเป็นประมาณ2 / 3 N 3ซึ่งเป็นค่าใช้จ่ายของตีนเป็ดเต็ม$2/3 (N-n)^3 + 2n(N-n)^2 + 2n^2 (N-n)$$n$$N-n \approx N$$2/3 N^3$

ประโยชน์คือถ้ามีจำนวนมากของด้านขวามือจะได้รับการแก้ไขได้ด้วยระบบเดียวกันของสมการแล้วอาจจะนำกลับมาใช้เป็นจำนวนมากครั้งซึ่งแต่ละแก้เพียงจะต้องมี2 n 2งาน (มากกว่า2 N 2งาน) ถ้าS 22เป็นปัจจัย$S_{22}$$2n^2$$2N^2$$S_{22}$

ความซับซ้อนในการคำนวณในกรณีกระจัดกระจาย (ทั่วไป)

หากระบบกระจายของคุณเกิดขึ้นจากการประมาณค่าความแตกต่างหรือการ จำกัด องค์ประกอบบางชนิดแล้วตัวแก้ปัญหาแบบกระจัดกระจายจะเกือบจะสามารถใช้ประโยชน์จากโครงสร้างบางอย่างได้ ระบบ 2D สามารถแก้ไขได้ด้วยการทำงานและO ( N บันทึกN )การจัดเก็บข้อมูลในขณะที่ระบบ 3D ที่สามารถแก้ไขได้ด้วยO ( N 2 )การทำงานและO ( N 4 / 3 )การจัดเก็บข้อมูล ระบบที่มีการแยกตัวสามารถแก้ไขได้ด้วยปริมาณงานเท่ากันกับข้อกำหนดด้านการจัดเก็บ$O(N^{3/2})$$O(N \log N)$$O(N^2)$$O(N^{4/3})$

จุดนำขึ้นความซับซ้อนในการคำนวณคือว่าถ้าและคุณมีระบบ 2d จากนั้นเนื่องจากส่วนประกอบของ Schur จะมีความหนาแน่นสูงการแก้ปัญหาความซับซ้อนที่ได้รับจากส่วนประกอบ Schur ที่เป็นปัจจัยจะเป็นO(n2)=O(N)ซึ่งหายไปเพียงปัจจัยลอการิทึมเท่านั้น ระบบ! ในแบบ 3 มิติก็ต้องใช้O(N)ทำงานแทนO(N 4 / 3 )$n \approx \sqrt{N}$$O(n^2) = O(N)$$O(N)$$O(N^{4/3})$

ดังนั้นโปรดจำไว้ว่าในกรณีของคุณที่จะมีการออมที่สำคัญหากคุณทำงานในหลายมิติและมีฝ่ายขวามากมายที่จะแก้ไข$n=\sqrt{N}$

แนวทางการลดแบบจำลอง

ตั้งแต่ที่ Paul ถามฉันจะพูดถึงสิ่งที่จะเกิดขึ้นถ้าคุณใช้วิธีการลดแบบจำลองการฉายตามปัญหานี้ สมมติว่าคุณสามารถสร้างโปรเจ็กเตอร์ขึ้นมาได้เช่นช่วงPซึ่งแสดงR ( P )มีคำตอบของระบบเชิงเส้นA x = bและมีมิติkโดยที่kคือจำนวนนิรนามที่คุณ ต้องการที่จะแก้ปัญหาในระบบเชิงเส้น$\mathbf{P}$$\mathbf{P}$$\mathcal{R}(\mathbf{P})$$\mathbf{Ax} = \mathbf{b}$$k$$k$

การสลายตัวของค่าเอกพจน์ของจะให้เมทริกซ์ที่แบ่งพาร์ติชันต่อไปนี้:$\mathbf{P}$

$$\mathbf{P} = \left[ \begin{array}{cc}\mathbf{V} & * \end{array} \right]\left[\begin{array}{cc}\mathrm{diag}(\mathbf{1}_{k}) & \mathbf{0} \\ \mathbf{0} & \mathbf{0}\end{array}\right]\left[\begin{array}{c} \mathbf{W}^{T} \\ *\end{array}\right].$$

เมทริกซ์ที่ถูกบดบังโดยดาวมีความสำคัญสำหรับสิ่งอื่น ๆ (เช่นการประเมินข้อผิดพลาดเป็นต้น) แต่สำหรับตอนนี้เราจะหลีกเลี่ยงการจัดการกับรายละเอียดภายนอก มันติดตามว่า

$$\mathbf{P} = \mathbf{VW}^{T}$$

เป็นอันดับสลายตัวเต็มรูปแบบของP$\mathbf{P}$

เป็นหลักคุณจะแก้ปัญหาระบบ

$$\mathbf{PAx} = \mathbf{Pb}$$

$\mathbf{V}$$\mathbf{W}$$\mathbf{W}^{T}\mathbf{V} = \mathbf{I}$$\mathbf{PAx} = \mathbf{Pb}$$\mathbf{W}^{T}$$\mathbf{y} = \mathbf{V}\widehat{\mathbf{x}}$$\mathbf{x}$

$$\mathbf{W}^{T}\mathbf{A}\widehat{\mathbf{x}} = \mathbf{W}^{T}\mathbf{b}.$$

$\widehat{\mathbf{x}}$$\mathbf{V}$$\mathbf{y}$$\mathbf{x}$

ทำไมวิธีเสริมของ Schur น่าจะดีกว่า

$\mathbf{P}$$\mathbf{Ax} = \mathbf{b}$$\mathcal{R}(\mathbf{P})$$\mathbf{y} = \mathbf{x}$$\mathbf{y}$$\mathbf{y} \neq \mathbf{x}$$\mathbf{P}$$\mathbf{x}$$\mathbf{y}$$\mathbf{P}$. You could use an SVD of $\mathbf{A}$, for instance, and select $\mathbf{P}$ to be the product of the first $k$ left singular vectors of $\mathbf{A}$ and the adjoint of the first $k$ right singular vectors of $\mathbf{A}$, assuming that singular vectors are arranged in decreasing order of singular value. This choice of projector would be equivalent to performing proper orthogonal decomposition on $\mathbf{A}$, and it would minimize the L$_{2}$-error in the approximate solution.

In addition to introducing approximation errors, this approach also introduces three extra matrix multiplies on top of the linear solve of the smaller system and the work needed to calculate $\mathbf{V}$, and $\mathbf{W}$. Unless you're solving the same linear system a lot, only changing the right hand side, and $\mathbf{P}$ is still a "good" projection matrix for all of those systems, those extra costs will probably make solving the reduced system more expensive than solving your original system.

The drawbacks are much like JackPoulson's approach, except that you're not quite leveraging the structure that you mentioned.

The long answer is...sort of.

You can re-arrange your system of equations such that the farthest right $k$ columns are the variables which you wish to solve for.

Step 1: Perform Gaussian Elimination so that the matrix is upper triangular. Step 2: solve by back substitution for only the first (last) $k$ variables which you are interested in

This will save you the computational complexity of having to solve for the last $n-k$ variables via back-substitution, which could be worth it if $n$ is as large as you say. Keep in mind that a fair amount of work will still have to be done for step 1.

Also, keep in mind that restricting the order in which you are going to perform back-substituion may restrict the form of the matrix (it takes away the ability to exchange columns) which could possibly lead to an ill conditioned system, but I am not sure about that - just something to keep in mind.