หมายเลขเงื่อนไขของสูตร A 'และ AA'

มันแสดงให้เห็น (Yousef Saad, วิธีการวนซ้ำสำหรับระบบเชิงเส้นแบบกระจัดกระจาย , หน้า 260)$cond(A'A) \approx cond(A)^2$

สิ่งนี้เป็นจริงหรือ $AA'$ เช่นกัน?

เผื่อ $A$ คือ $N\times M$ กับ $N \ll M$ฉันสังเกตว่า $cond(A'A) \gg cond(AA')$

นั่นหมายถึงการกำหนดในแง่ของ $AA'$ จะดีกว่าในกรณีนี้

ถ้า $A\in\mathbb{R}^{N\times M}$ กับ $N<M$จากนั้น

ตามจำนวนเงื่อนไขคือ $\kappa_2(A^TA)=\infty$. เนื่องจากความแม่นยำทางคณิตศาสตร์แน่นอนถ้าคุณคำนวณcond(A'A)ใน MATLAB Infคุณได้รับเป็นจำนวนมากไม่ได้

เรามาดูเหตุผลกันดีกว่า $A^TA$ มีประมาณเงื่อนไขกำลังสองจำนวนของ $A$. การใช้การสลายตัว SVD ของ$A=USV^T$กับ $U \in \mathbb{R}^{N \times N}$, $S \in \mathbb{R}^{N \times M}$, $V \in \mathbb{R}^{M \times M}$เราสามารถแสดง $A^T A$ เช่น

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

ซึ่งเรามาถึงโดยสังเกตว่า $U$ เป็น orthonormal เช่นนั้น $U^T U=I$. ต่อไปเราทราบว่า$S$ เป็นเมทริกซ์ทแยงมุมเช่นการสลายตัวสุดท้ายของ $A^TA$ สามารถแสดงเป็น $V S^2 V^T$กับ $S^2$ ความหมาย $S^T S$โดยให้เมทริกซ์แนวทแยงที่มีค่า N เอกพจน์แรกจาก $S$กำลังสองในแนวทแยง นี่หมายความว่าเนื่องจากหมายเลขเงื่อนไขคืออัตราส่วนของค่าเอกพจน์แรกและค่าสุดท้าย$cond(A)=\frac{s_1}{s_N}$ สำหรับ $A \in \mathbb{R}^{N \times M}$,

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

ตอนนี้เราสามารถออกกำลังกายแบบเดียวกันกับ $AA^T$:

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

ซึ่งหมายความว่าเราได้รับผลลัพธ์ $cond(AA^T)=\frac{s_1^2}{s_N^2}$, ตั้งแต่ $S^2$ ที่นี่หมายถึง $SS^T$แตกต่างเล็กน้อยจากสัญกรณ์ข้างต้น

แต่ทราบว่าความแตกต่างที่ลึกซึ้ง! สำหรับ$A^TA$หมายเลขเงื่อนไขมีค่าเอกพจน์ M'th ในส่วนขณะที่ $AA^T$มีค่าเอกพจน์ N'th สิ่งนี้อธิบายว่าทำไมคุณถึงเห็นความแตกต่างอย่างมีนัยสำคัญในหมายเลขเงื่อนไข -$AA^T$ จะเป็น "ปรับอากาศที่ดีกว่า" แน่นอนกว่า $A^TA$.

อย่างไรก็ตาม David Ketcheson นั้นถูกต้องคุณกำลังเปรียบเทียบหมายเลขเงื่อนไขระหว่างเมทริกซ์ที่ต่างกันสองตัว โดยเฉพาะอย่างยิ่งสิ่งที่คุณสามารถทำได้ด้วย$A^TA$ จะไม่เหมือนกับสิ่งที่คุณสามารถทำได้ด้วย $AA^T$.

โดยอ้างว่า $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$(สำหรับตารางเมทริกซ์) ในคำถามและ [แก้ไข: ฉันอ่านผิด] ในคำตอบของ Artan นั้นไร้สาระ Counter-ตัวอย่างเช่น

ซึ่งคุณสามารถตรวจสอบได้อย่างง่ายดาย $\cond A^T A = \bigO(\epsilon^{-4})$ ในขณะที่ $\cond A^2 = \bigO(\epsilon^{-2})$.

In exact arithmetic cond(A^2)=cond(A'A)=cond(AA'), see eg. Golub and van Loan, 3rd ed, p70. This is not true in floating point arithmetic if A is nearly rank deficient. The best advise is to follow the above book recipes when solving least square problems, the safest being SVD approach, p257. Use \varepsilon-rank instead when computing SVD, where \varepsilon is the resolution of your matrix data.