ทำไมเจ้าของบ้านไม่สามารถสะท้อนเมทริกซ์ในแนวทแยงได้?

16

เมื่อคำนวณ QR factorization ในทางปฏิบัติเราใช้การสะท้อนของเจ้าของบ้านในการลดส่วนของเมทริกซ์ ฉันรู้ว่าสำหรับการคำนวณค่าลักษณะเฉพาะของเมทริกซ์สมมาตรสิ่งที่ดีที่สุดที่คุณสามารถทำได้กับการสะท้อนของเจ้าของบ้านคือการทำให้มันอยู่ในรูปแบบสามมิติ มีวิธีที่ชัดเจนที่จะดูว่าทำไมมันจึงไม่สามารถทแยงมุมแบบนี้ได้อย่างสมบูรณ์? ฉันพยายามอธิบายสิ่งนี้อย่างง่าย ๆ แต่ฉันไม่สามารถนำเสนอได้อย่างชัดเจน

linear-algebra matrix

— วิกเตอร์หลิว
แหล่งที่มา

12

เมื่อคำนวณค่าลักษณะเฉพาะของเมทริกซ์สมมาตร $M\in\mathbb{R}^{n\times n}$ สิ่งที่ดีที่สุดที่คุณสามารถทำได้กับตัวสะท้อนสัญญาณเจ้าของบ้านคือการขับ $M$ ไปยังรูปแบบสามเหลี่ยม ในฐานะที่ได้รับการกล่าวถึงในคำตอบที่ก่อนหน้านี้เพราะ $M$ สมมาตรมีการเปลี่ยนแปลงที่คล้ายคลึงกันมุมฉากซึ่งผลลัพธ์ในเมทริกซ์ทแยงมุมเช่น $D=S^TMS$ Sมันจะสะดวกถ้าเราสามารถหาการกระทำของเมทริกซ์ orthogonal ไม่รู้จัก $S$ อย่างเคร่งครัดโดยใช้ตัวสะท้อนของ Householder โดยคำนวณลำดับของตัวสะท้อนแสงและใช้ $H^T$ จากด้านซ้ายไปยัง $M$ และ $H$ จากด้านขวาถึง $M$ . อย่างไรก็ตามสิ่งนี้เป็นไปไม่ได้เนื่องจากวิธีการที่ตัวสะท้อนสัญญาณเจ้าของบ้านถูกออกแบบให้ไม่มีคอลัมน์ออกมา หากเราต้องคำนวณตัวสะท้อนสัญญาณเจ้าของบ้านให้เป็นศูนย์ตัวเลขทั้งหมดด้านล่างเราจะพบ $M_{11}$ แต่ตอนนี้รายการถูกเปลี่ยนแปลงโดยตัวสะท้อนใช้งานทางด้านซ้าย ดังนั้นเมื่อเราใช้ทางด้านขวามันจะไม่เป็นศูนย์อีกต่อไปแถวแรกของจะเหลือเพียงเท่านั้น แต่เราจะได้รับ

M = (\begin{array}{ccccc} * * * * & * * * * & * * * * & * * * * & * * * * \\ * * * * & * * * * & * * * * & * * * * & * * * * \\ * * * * & * * * * & * * * * & * * * * & * * * * \\ * * * * & * * * * & * * * * & * * * * & * * * * \\ * * * * & * * * * & * * * * & * * * * & * * * * \end{array}) \to H_{1}^{T} M = (\begin{array}{ccccc} * * * * & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \end{array}) .

$M=\left(\!\!{\begin{array}{ccccc} * &* & * & *&* \\ * &* & * & *&* \\ * &* & * & *&* \\ * &* & * & *&* \\ * &* & * & *&* \\ \end{array}}\!\!\right)\rightarrow H^T_1M=\left(\!\!{\begin{array}{ccccc} * &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ \end{array}}\!\!\right).$

M_{12} - M_{1 n}

$M_{12}-M_{1n}$

H_{1}^{T}

$H^T_1$

H_{1}

$H_1$

M

$M$

M_{11}

$M_{11}$

ในกรณีที่ไม่เพียง แต่เราไม่เป็นศูนย์แถว แต่เราอาจทำลายโครงสร้างของศูนย์เราก็นำมาใช้กับสะท้อน

1

H_{1}^{T} M = (\begin{array}{ccccc} * * * * & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \\ 0 & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} & {* * * *}^{'} \end{array}) \to H_{1}^{T} M H_{1} = (\begin{array}{ccccc} * * * * & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} \\ {* * * *}^{'} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} \\ {* * * *}^{'} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} \\ {* * * *}^{'} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} \\ {* * * *}^{'} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} & {* * * *}^{"} \end{array}) .

$H^T_1M=\left(\!\!{\begin{array}{ccccc} * &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ \end{array}}\!\!\right)\rightarrow H^T_1MH_1=\left(\!\!{\begin{array}{ccccc} * &*'' & *'' & *''&*'' \\ *' &*'' & *'' & *''&*'' \\ *' &*'' & *'' & *''&*'' \\ *' &*'' & *'' & *''&*'' \\ *' &*'' & *'' & *''&*'' \\ \end{array}}\!\!\right).$

H_{1}^{T}

$H^T_1$

อย่างไรก็ตามเมื่อคุณเลือกที่จะขับรถไปยังโครงสร้างสามเหลี่ยมคุณจะไม่ต้องแตะแถวแรกโดยการกระทำของ $M$ ดังนั้น $H^T_1$

M = (\begin{array}{ccccc} * & * & * & * & * \\ * & * & * & * & * \\ * & * & * & * & * \\ * & * & * & * & * \\ * & * & * & * & * \end{array}) \to H_{1}^{T} M = (\begin{array}{ccccc} * & * & * & * & * \\ *^{'} & *^{'} & *^{'} & *^{'} & *^{'} \\ 0 & *^{'} & *^{'} & *^{'} & *^{'} \\ 0 & *^{'} & *^{'} & *^{'} & *^{'} \\ 0 & *^{'} & *^{'} & *^{'} & *^{'} \end{array}) .

$M=\left(\!\!{\begin{array}{ccccc} * &* & * & *&* \\ * &* & * & *&* \\ * &* & * & *&* \\ * &* & * & *&* \\ * &* & * & *&* \\ \end{array}}\!\!\right)\rightarrow H^T_1M=\left(\!\!{\begin{array}{ccccc} * &* & * & *&* \\ *' &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ \end{array}}\!\!\right).$

H_{1}^{T} M = (\begin{array}{ccccc} * & * & * & * & * \\ *^{'} & *^{'} & *^{'} & *^{'} & *^{'} \\ 0 & *^{'} & *^{'} & *^{'} & *^{'} \\ 0 & *^{'} & *^{'} & *^{'} & *^{'} \\ 0 & *^{'} & *^{'} & *^{'} & *^{'} \end{array}) \to H_{1}^{T} M H_{1} = (\begin{array}{ccccc} * & *^{'} & 0 & 0 & 0 \\ *^{'} & *^{″} & *^{″} & *^{″} & *^{″} \\ 0 & *^{″} & *^{″} & *^{″} & *^{″} \\ 0 & *^{″} & *^{″} & *^{″} & *^{″} \\ 0 & *^{″} & *^{″} & *^{″} & *^{″} \end{array}) .

$H^T_1M=\left(\!\!{\begin{array}{ccccc} * &* & * & *&* \\ *' &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ 0 &*' & *' & *'&*' \\ \end{array}}\!\!\right)\rightarrow H^T_1MH_1=\left(\!\!{\begin{array}{ccccc} * &*' & 0 & 0&0 \\ *' &*'' & *'' & *''&*'' \\ 0 &*'' & *'' & *''&*'' \\ 0 &*'' & *'' & *''&*'' \\ 0 &*'' & *'' & *''&*'' \\ \end{array}}\!\!\right).$

Applied recursively this allows us to drive $M$ to a tridiagonal matrix $T$ . You can complete the diagonalization of $M$ efficiently, as was mentioned previously, using Jacobi or Givens rotations both of which are found in the Golub and Van Loan book Matrix Computations. The accumulated actions of the sequence of Householder reflectors and Jacobi or Givens rotations allows us to find the action of the orthogonal matrices $S^T$ and $S$ without explicitly forming them.

— Andrew Winters
แหล่งที่มา

11

As the Comments to other Answers clarify, the real issue here is not a shortcoming of Householder matrices but rather a question as to why iterative rather than direct ("closed-form") methods are used to diagonalize (real) symmetric matrices (via orthogonal similarity).

Indeed any orthogonal matrix can be expressed as a product of Householder matrices, so if we knew the diagonal form of a symmetric matrix (its eigenvalues), we could solve for a complete set of orthonormalized eigenvectors and represent the corresponding change of basis matrix as a product of Householder transformations in polynomial time.

So let's turn to Victor's parenthetical comment "other than Abel's theorem" because we are effectively asking why iterative methods should be used find the roots of a polynomial rather than a direct method. Of course the eigenvalues of a real symmetric matrix are the roots of its characteristic polynomial, and it is possible to go in the other direction as well. Given a real polynomial with only real roots, it is possible to construct a tridiagonal symmetric companion matrix from a Sturm sequence for the polynomial. See also that poster Denis Serre's Exercise 92 in this set. This is rather nice for showing the equivalence of those problems since we've seen (@AndrewWinters) the direct application of Householder matrices will tridiagonalize a real symmetric matrix.

Analysis of the arithmetic complexity for an iterative (root isolation) method is given in Reif (1999), An Efficient Algorithm for the Real Root and Symmetric Tridiagonal Eigenvalue Problems. Reif's approach improves on tailored versions of QR for companion matrices, giving $O(n \log^3 n)$ instead of $O(n^2)$ complexity.

The Abel-Galois-Ruffini Theorem says that no general formula for roots of polynomials above degree four can be given in terms of radicals (and usual arithmetic). However there are closed forms for roots in terms of more exotic operations. In principle one might base eigenvalue/diagonalization methods on such approaches, but one encounters some practical difficulties:

The Bring radical (aka ultraradical) is a function of one variable, in that respect like taking a square root. Jerrad (c. 1835) showed that solving the general quintic could be reduced to solving $t^5 + t - a = 0$ , so that univariate function $t(a)$ (used in addition to radicals and other usual arithmetic) allows all quintics to be solved.
This breaks down with degree six polynomials and above, although various ways can be found to solve them using functions of just two variables. Hilbert's 13th Problem was the conjecture that general degree seven polynomials could not be solved using only functions of at most two variables, but in 1957 V.I. Arnold showed they could. Among the multivariable function families that can be used to get solutions to arbitrary degree polynomials are Mellin integrals, hypergeometric and Siegel theta functions.
Besides implementing somewhat exotic special functions of more than one argument, we need direct methods for solving polynomials which work for general degree $n$ rather than ad hoc or degree specific methods. Guàrdia (2002) gives "a very simple expression of the roots of a polynomial of arbitrary degree in terms of derivatives of hyperelliptic theta functions." However this approach requires making choices of Weierstrass points on hyperelliptic curve $C_f: Y^2 = f(x)$ where all roots of polynomial $f(x)$ are sought. A good choice leads to expressing less than half of those roots, and it appears this approach requires repeated trials to get all of them. Each trial involves solving a homogeneous linear system at $O(n^3)$ cost.

Therefore the indirect/iterative methods for isolating real roots (equiv. eigenvalues of symmetric matrices), even to high precision, currently have practical advantages over the known direct/exact methods for these problems.

— hardmath
แหล่งที่มา

Some notes: 1. a practical method for building the tridiagonal companion matrix from Sturm sequences was outlined in papers by Fiedler and Schmeisser; I gave a Mathematica implementation here, and it should not be too hard to implement in a more traditional language.

— J. M.

2. With respect to the "theta function" approach for polynomial roots (which I agree is a bit too unwieldy for practical use), Umemura outlines an approach using Riemann theta functions.

— J. M.

2

For what reason do you assume that this is impossible?

Any symmetric real matrix $S$ can be orthogonally diagonalized, i.e. $S = G D G^t$ , where $G$ is orthogonal and $D$ is diagonal.

Any orthogonal matrix of size n×n can be constructed as a product of at most n such reflections.Wikipedia. Therefore you have this decomposition.

I am not sure about the last statement, I just cite it (and I think it is correct). As far as I understand your question, it boils down to whether any orthogonal matrix can be decomposed into a sequence of Householder transforms.

— shuhalo
แหล่งที่มา

2

I should have been more specific. The first step to diagonalizing a symmetric matrix is applying Householder until it is tridiagonal. Next, QR iterations are performed. This process cannot be completed using only closed-form Householder transformations. Why? (other than Abel's theorem)

— Victor Liu

1

You can do it with Jacobi rotations. Golub and Van Loan write that Jacobi is the same as Givens. Householder is just another way of doing Givens. In practice, the "correct" way might be with QR if it is faster.

— power

1

If the eigenvalues are already known (from a preliminary calculation based on the usual approach), one can use them to triangulize a nonsymmetric matrix (or diagonalize a symmetric matrix) by a product on $n-1$ Householder reflections. In the $k$ th step the $k$ th column is brought to triangular form. (This also provides a simple inductive proof of the existence of the Schur factorization.)

It is actually useful for methods where one repeatedly needs the orthoginal matrix in a numerically stable factored form.

— Arnold Neumaier
แหล่งที่มา