ทำไมค่าเริ่มต้นของเมทริกซ์เชิงบรรทัดคือค่าสเปกตรัมของสเปกตรัมไม่ใช่ค่ามาตรฐานของ Frobenius

สำหรับเวกเตอร์นอร์มค่า L2 norm หรือ "Euclidean distance" เป็นคำจำกัดความที่ใช้กันอย่างแพร่หลายและเป็นธรรมชาติ แต่ทำไมนิยาม "บรรทัดฐาน" ที่ใช้มากที่สุด "หรือ" เริ่มต้น "สำหรับเมทริกซ์จึงเป็นบรรทัดฐานสเปกตรัมแต่ไม่ใช่มาตรฐาน Frobenius (ซึ่งคล้ายกับบรรทัดฐาน L2 สำหรับเวกเตอร์)

นั่นมีบางอย่างเกี่ยวข้องกับอัลกอริทึมซ้ำ / พลังเมทริกซ์ (ถ้ารัศมีสเปกตรัมน้อยกว่า 1 ดังนั้นอัลกอริทึมจะมาบรรจบกัน)?

---

1. มันมักจะโต้แย้งสำหรับคำเช่น "ใช้มากที่สุด", "เริ่มต้น" คำว่า "เริ่มต้น" ดังกล่าวข้างต้นจะมาจากชนิดกลับเริ่มต้นในฟังก์ชั่นMatlab normในRบรรทัดฐานเริ่มต้นสำหรับเมทริกซ์คือ L1 norm ทั้งสองเป็น "ผิดธรรมชาติ" เพื่อฉัน (สำหรับเมทริกซ์ก็ดูเหมือนว่า "ธรรมชาติ" ที่จะทำ$\sqrt{\sum_{i,j}a^{2}_{i,j}}$ชอบในเวกเตอร์) (ขอบคุณสำหรับ @ usεr11852และความคิดเห็นของ @ whuber และขออภัยในความสับสน)

2. อาจจะขยายการใช้งานของเมทริกซ์บรรทัดฐานจะช่วยให้ฉันเข้าใจเพิ่มเติมหรือไม่

โดยทั่วไปฉันไม่แน่ใจว่าบรรทัดฐานของสเปกตรัมถูกใช้อย่างกว้างขวางที่สุด ยกตัวอย่างเช่นบรรทัดฐาน Frobenius จะใช้สำหรับการแก้ปัญหาโดยประมาณfactorisation เมทริกซ์ที่ไม่ใช่เชิงลบหรือความสัมพันธ์ / ความแปรปรวนเมทริกซ์เรกู ผมคิดว่าส่วนหนึ่งของคำถามนี้ว่าเกิดจากความผิดทางอาญาคำศัพท์บางคน (รวมตัวเอง) เมื่อพูดถึงบรรทัดฐาน Frobeniusเป็นบรรทัดฐานเมทริกซ์แบบยุคลิด เราไม่ควรเพราะจริง ๆ แล้วเมทริกซ์$L_2$เมทริกซ์ (เช่น. สเปกตรัมของสเปกตรัม) คือสิ่งที่เหนี่ยวนำให้เกิดเมทริกซ์เมื่อใช้เวกเตอร์$L_2$เวกเตอร์ บรรทัดฐาน Frobenius นั้นเป็นองค์ประกอบที่ชาญฉลาด: , ในขณะที่L2matrix norm (||A||2=$||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$$L_2$) ขึ้นอยู่กับค่าเอกพจน์ดังนั้นมันจึงมากกว่า "univeral" (สำหรับโชคของคำที่ดีกว่าหรือไม่)บรรทัดฐานL2เมทริกซ์เป็นบรรทัดฐานแบบยุคลิดเนื่องจากมันถูกเหนี่ยวนำโดยเวกเตอร์แบบยุคลิดที่ซึ่ง| | A| | 2=สูงสุด | | x | | 2 = 1 | | Ax| | 2. มันจึงเป็นบรรทัดฐานที่เหนี่ยวนำสำหรับเมทริกซ์เพราะมันถูกเหนี่ยวนำโดย$||A||_2 = \sqrt{\lambda_{max}(A^T A)})$$L_2$$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$vector norm , vector norm ในกรณีนี้$L_2$

น่าจะเป็นจุดมุ่งหมาย MATLAB เพื่อให้บรรทัดฐานโดยค่าเริ่มต้นเมื่อใช้คำสั่ง; ผลที่ตามมาก็คือมันให้เวกเตอร์แบบยุคลิดแต่มันก็มีเมทริกซ์เมทริกซ์L 2เช่นกัน บรรทัดฐานสเปกตรัมเมทริกซ์ (มากกว่าที่ยกมาผิด " Frobenius / ยุคลิดเมทริกซ์บรรทัดฐาน ") สุดท้ายให้ฉันทราบว่าสิ่งที่เป็นบรรทัดฐานเริ่มต้นเป็นเรื่องของความคิดเห็นที่จะขยาย: ตัวอย่างเช่น " พีชคณิตเมทริกซ์ - ทฤษฎีการคำนวณและการประยุกต์ใช้ในสถิติ " ของ JE Gentle คือการตั้งชื่อ: " The Frobenius " เรื่องของเรื่องคือนอร์ม - เรื่องปกติ“ ปกติ”$L_2$norm$L_2$"; ดังนั้นเห็นได้ชัดว่าบรรทัดฐานสเปกตรัมไม่ได้เป็นบรรทัดฐานเริ่มต้นสำหรับทุกฝ่ายพิจารณา! :) ตามความเห็นโดย @amoeba ชุมชนที่แตกต่างกันอาจมีการประชุมคำศัพท์ที่แตกต่างกันมันไปโดยไม่บอกว่าฉันคิดว่าหนังสือของ Gentle เป็นทรัพยากรอันมีค่าในเรื่อง Lin. แอปพลิเคชั่นพีชคณิตในสถิติและฉันจะให้คุณดูมันต่อไป!

ส่วนหนึ่งของคำตอบอาจเกี่ยวข้องกับการคำนวณเชิงตัวเลข

เมื่อคุณแก้ระบบ

$$Ax=b$$ ด้วยความแม่นยำ จำกัด คุณจะไม่ได้รับคำตอบที่ถูกต้องสำหรับปัญหานั้น คุณได้รับการประมาณ$\tilde x$เนื่องจากข้อ จำกัด ของจำนวนคณิตศาสตร์ที่ จำกัด ดังนั้น$A\tilde x \approx b$ในแง่ที่เหมาะสมบางอย่าง โซลูชันของคุณเป็นอย่างไร มันอาจเป็นคำตอบที่แน่นอนสำหรับระบบอื่น ๆ เช่น $$\tilde A \tilde x = \tilde b$$ ดังนั้นสำหรับ$\tilde x$จะมียูทิลิตี้ tilde-system จะต้องใกล้เคียงกับระบบดั้งเดิม: $$\tilde A \approx A, \quad \tilde b \approx b$$ หากขั้นตอนวิธีการของคุณในการแก้ระบบการตอบสนองความเดิมว่าทรัพย์สินแล้วมันจะเรียกว่ามีเสถียรภาพย้อนหลัง ตอนนี้วิเคราะห์ที่ถูกต้องของวิธีการที่แตกต่างใหญ่$\tilde A-A$,$\tilde b-b$เป็นที่สุดก็นำไปสู่ข้อผิดพลาดในขอบเขตที่จะแสดงเป็น$\| \tilde A-A \|$,$\| \tilde b-b\|$‖ สำหรับการวิเคราะห์บางตัว$l_1$norm (ผลรวมคอลัมน์สูงสุด) เป็นวิธีที่ง่ายที่สุดในการผลักดันสำหรับlอื่น ๆ$l_\infty$ norm (ผลรวมแถวสูงสุด) เป็นวิธีที่ง่ายที่สุดในการผลักดัน (สำหรับส่วนประกอบของการแก้ปัญหาในกรณีของระบบเชิงเส้นเป็นต้น) และสำหรับคนอื่น ๆ$l_2$สเปกตรัมเชิงบรรทัดฐานนั้นเหมาะสมที่สุด (ชักนำโดย$l_2$ดั้งเดิม2 vector norm, ดังที่ได้อธิบายไว้ในคำตอบอื่น ) สำหรับงานม้าของการคำนวณทางสถิติในการผกผันเมทริกซ์ psd เมทริกซ์การสลายตัว Cholesky (เรื่องไม่สำคัญ: เสียงแรกคือ [x] ในอักษรกรีก "chi" ไม่ใช่ [tʃ] เหมือนกับ "การไล่ล่า") ซึ่งเป็นวิธีที่สะดวกที่สุด ติดตามขอบเขตข้อผิดพลาดคือบรรทัดฐาน$l_2$ ... แม้ว่าบรรทัดฐาน Frobenius ก็ปรากฏขึ้นในผลลัพธ์บางอย่างเช่นในการผกผันเมทริกซ์ที่แบ่งพาร์ติชัน

The answer to this depends on the field you're in. If you're a mathematician, then all norms in finite dimensions are equivalent: for any two norms $\|\cdot\|_a$ and $\|\cdot\|_b$, there exist constants $C_1,C_2$, which depend only on dimension (and a,b) such that:

$$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$$

This implies that norms in finite dimensions are quite boring and there is essentially no difference between them except in how they scale. This usually means that you can choose the most convenient norm for the problem you're trying to solve. Usually you want to answer questions like "is this operator or procedure bounded" or "does this numerical process converge." With boundedness, you only usually care that something is finite. With convergence, by sacrificing the rate at which you have convergence, you can opt to use a more convenient norm.

For example, in numerical linear algebra, the Frobenius norm is sometimes preferred because it's a lot easier to calculate than the euclidean norm, and also that it naturally connects with a wider class of Hilbert Schmidt operators. Also, like the Euclidean norm, it's submultiplictive: $\|AB\|_F\leq \|A\|_F\|B\|_F$, unlike say, the max norm, so it allows you to easily talk about operator multiplication in whatever space you're working in. People tend to really like both the $p=2$ norm and the Frobenius norm because they have natural relations to both the eigenvalues and singular values of matrices, along with being submultiplictive.

For practical purposes, the differences between norms become more pronounced because we live in a world of dimensions and it usually matters how big a certain quantity is, and how it's measured. Those constants $C_1,C_2$ above are not exactly tight, so it becomes important just how much more or less a certain norm $\|x\|_a$ is compared to $\|x\|_b$.