ทำไมเมทริกซ์ความแปรปรวนร่วมตัวอย่างเอกพจน์เมื่อขนาดตัวอย่างน้อยกว่าจำนวนของตัวแปร

สมมติว่าฉันมีการแจกแจงแบบเกาส์มิติหลายมิติ และฉันใช้เวลาสังเกต (แต่ละของพวกเขาเวกเตอร์) จากการจำหน่ายนี้และคำนวณตัวอย่างแปรปรวนเมทริกซ์Sในบทความนี้ผู้เขียนระบุว่าเมทริกซ์ความแปรปรวนร่วมตัวอย่างที่คำนวณด้วยนั้นเป็นเอกพจน์n p S p > $p$$n$$p$$S$$p > n$

• มันจริงหรือเป็นอย่างไร
• คำอธิบายใด ๆ

ข้อเท็จจริงบางประการเกี่ยวกับการจัดอันดับเมทริกซ์โดยไม่มีการพิสูจน์ (แต่การพิสูจน์ของทั้งหมดหรือเกือบทั้งหมดควรได้รับในตำราพีชคณิตเชิงเส้นมาตรฐานหรือในบางกรณีตั้งเป็นแบบฝึกหัดหลังจากให้ข้อมูลเพียงพอที่จะทำ)

ถ้า$A$และ$B$เป็นสองเมทริกซ์ที่สอดคล้องกันดังนั้น:

(i) อันดับคอลัมน์$A$ = แถวลำดับ$A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) ถ้าเป็นเมทริกซ์จตุรัสของอันดับเต็มดังนั้นอันดับ( A B ) = อันดับ( A $B$$\text{rank}(AB) = \text{rank}(A)$

พิจารณาเมทริกซ์ของข้อมูลตัวอย่าง, Y จากข้างต้นยศของปีที่มากที่สุดนาที( n , P )$n\times p$$y$$y$$\min(n,p)$

นอกจากนี้จากข้างต้นจะเห็นได้ว่าอันดับของจะไม่ใหญ่กว่าอันดับของy (โดยพิจารณาจากการคำนวณของSในรูปแบบเมทริกซ์ซึ่งอาจจะทำให้เข้าใจได้ง่าย)$S$$y$$S$

ถ้าแล้วยศ( Y ) < Pซึ่งในกรณีที่ตำแหน่ง( S ) < P$n<p$$\text{rank}(y)<p$$\text{rank}(S)<p$

คำตอบสั้น ๆ กับคำถามของคุณคือการที่ยศ 1 ดังนั้นถ้าp > nดังนั้นSจึงเป็นเอกพจน์$(S) \le n - 1$$p > n$$S$

สำหรับคำตอบที่ละเอียดยิ่งขึ้นให้จำไว้ว่าเมทริกซ์ความแปรปรวนร่วมแบบไม่เอนเอียงสามารถเขียนได้เช่นกัน

อย่างมีประสิทธิภาพเรากำลังสรุปรวมเมทริกซ์แต่ละคนมีอันดับที่ 1 สมมติว่าการสังเกตเป็นอิสระเป็นเส้นตรงในบางกรณีการสังเกตแต่ละครั้งx iมีส่วนช่วย 1 ถึงอันดับ( S )และ 1 ถูกลบออกจากอันดับ (ถ้าp > n ) เพราะเราแต่ละศูนย์การสังเกตโดยˉ x แต่ถ้าพหุในปัจจุบันคือการสังเกตแล้วยศ( S )อาจจะลดลงซึ่งอธิบายว่าทำไมยศอาจจะน้อยกว่าn - 1$n$$x_i$$(S)$$p > n$$\bar{x}$$(S)$$n - 1$

มีงานจำนวนมากได้ทำการศึกษาปัญหานี้ ยกตัวอย่างเช่นเพื่อนร่วมงานของฉันและฉันเขียนกระดาษในหัวข้อเดียวกันนี้ที่เรามีความสนใจในการกำหนดวิธีการดำเนินการถ้าเป็นเอกพจน์เมื่อนำไปใช้วิเคราะห์จำแนกเชิงเส้นในหน้า» nการตั้งค่า$S$$p \gg n$

เมื่อคุณมองสถานการณ์อย่างถูกวิธีข้อสรุปนั้นชัดเจนและหยั่งรู้ได้ทันที

โพสต์นี้มีการสาธิตสองครั้ง ครั้งแรกด้านล่างทันทีเป็นคำพูด มันเทียบเท่ากับการวาดภาพที่เรียบง่ายซึ่งปรากฏที่ส่วนท้ายสุด ในระหว่างนั้นคือคำอธิบายความหมายของคำและรูปวาด

เมทริกซ์ความแปรปรวนสำหรับPสังเกต -variate เป็นP × Pเมทริกซ์คำนวณโดยซ้ายคูณเมทริกซ์X n P (ข้อมูล recentered) โดย transpose ของX ' P n ผลิตภัณฑ์ของการฝึกอบรมนี้จะส่งผ่านท่อเวกเตอร์ของพื้นที่เวกเตอร์ที่มีขนาดเป็นPและn ดังนั้นเมทริกซ์ความแปรปรวนที่ใฐานะที่เป็นเชิงเส้นการเปลี่ยนแปลงจะส่งR nเข้าไปในสเปซที่มีมิติที่มากที่สุดนาที( P , n )$n$ $p$$p\times p$$\mathbb{X}_{np}$$\mathbb{X}_{pn}^\prime$$p$$n$$\mathbb{R}^n$$\min(p,n)$มันเป็นทันทีว่าอันดับของเมทริกซ์ความแปรปรวนนั้นยิ่งใหญ่กว่าไม่มีกว่า )$\min(p,n)$ ดังนั้นถ้าดังนั้นอันดับคือnมากที่สุดซึ่ง - ซึ่งน้อยกว่าp -หมายถึงเมทริกซ์ความแปรปรวนร่วมเป็นเอกพจน์$p\gt n$$n$$p$

คำศัพท์ทั้งหมดนี้มีการอธิบายอย่างสมบูรณ์ในส่วนที่เหลือของโพสต์นี้

(ในฐานะที่เป็นอะมีบากรุณาชี้ให้เห็นในความคิดเห็นนี้ถูกลบและแสดงให้เห็นในคำตอบของคำถามที่เกี่ยวข้อง , ภาพของจริงโกหกใน codimension หนึ่งสเปซของR n (ประกอบด้วยเวกเตอร์ที่มีส่วนประกอบรวมศูนย์) เพราะ คอลัมน์ทั้งหมดถูกนำมาใช้ใหม่ที่ศูนย์ดังนั้นอันดับของเมทริกซ์ความแปรปรวนร่วมตัวอย่าง$\mathbb X$$\mathbb{R}^n$ต้องไม่เกินn-1)$\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$$n-1$

พีชคณิตเชิงเส้นเป็นข้อมูลเกี่ยวกับการติดตามมิติของปริภูมิเวกเตอร์ คุณเพียงแค่ต้องชื่นชมแนวคิดพื้นฐานบางประการที่จะมีสัญชาตญาณอย่างลึกซึ้งสำหรับการยืนยันเกี่ยวกับอันดับและเอกพจน์:

1. การคูณเมทริกซ์หมายถึงการแปลงเชิงเส้นของเวกเตอร์ เมทริกซ์Mหมายถึงการแปลงเชิงเส้นจากnมิติพื้นที่V nไปยังม.พื้นที่มิติVเมตร โดยเฉพาะมันส่งใด ๆx ∈ V nเพื่อM x = Y ∈ Vเมตร นี่คือการแปลงเชิงเส้นตามทันทีจากคำจำกัดความของการแปลงเชิงเส้นและคุณสมบัติทางคณิตศาสตร์พื้นฐานของการคูณเมทริกซ์$m\times n$$\mathbb{M}$$n$$V^n$$m$$V^m$$x\in V^n$$\mathbb{M}x = y \in V^m$

2. การแปลงเชิงเส้นไม่สามารถเพิ่มขนาดได้ ซึ่งหมายความว่าภาพของปริภูมิเวกเตอร์ทั้งภายใต้การเปลี่ยนแปลงM (ซึ่งเป็นพื้นที่ย่อยเวกเตอร์ของV เมตร ) สามารถมีมิติมากขึ้นกว่าไม่มีn นี่เป็นทฤษฎีบท (ง่าย) ที่ตามมาจากคำจำกัดความของมิติ$V^n$$\mathbb M$$V^m$$n$

3. มิติของพื้นที่ย่อยเวกเตอร์ใด ๆ ต้องไม่เกินพื้นที่ว่างที่อยู่ นี่เป็นทฤษฎีบท แต่ก็ชัดเจนและง่ายต่อการพิสูจน์อีกครั้ง

4. อันดับของการแปลงเชิงเส้นเป็นมิติของภาพของตน ยศของเมทริกซ์คืออันดับของการแปลงเชิงเส้นที่แสดง นี่คือคำจำกัดความ

5. A singular matrix $\mathbb{M}_{mn}$ has rank strictly less than $n$ (the dimension of its domain). In other words, its image has a smaller dimension. This is a definition.

To develop intuition, it helps to see the dimensions. I will therefore write the dimensions of all vectors and matrices immediately after them, as in $\mathbb{M}_{mn}$ and $x_n$. Thus the generic formula

is intended to mean that the $m\times n$ matrix $\mathbb M$, when applied to the $n$-vector $x$, produces an $m$-vector $y$.

Products of matrices can be thought of as a "pipeline" of linear transformations. Generically, suppose $y_a$ is an $a$-dimensional vector resulting from the successive applications of the linear transformations $\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ and $\mathbb{A}_{ab}$ to the $n$-vector $x_n$ coming from the space $V^n$. This takes the vector $x_n$ successively through a set of vector spaces of dimensions $m, l, \ldots, c, b,$ and finally $a$.

Look for the bottleneck: because dimensions cannot increase (point 2) and subspaces cannot have dimensions larger than the spaces in which they lie (point 3), it follows that the dimension of the image of $V^n$ cannot exceed the smallest dimension $\min(a,b,c,\ldots,l,m,n)$ encountered in the pipeline.

This diagram of the pipeline, then, fully proves the result when it is applied to the product $\mathbb{X}^\prime \mathbb{X}$: