เงื่อนไขที่เพียงพอและจำเป็นสำหรับศูนย์ค่าเฉพาะของเมทริกซ์สหสัมพันธ์

ได้รับตัวแปรสุ่มกับการกระจายความน่าจะเป็น , เมทริกซ์สหสัมพันธ์เป็นบวกกึ่งแน่นอนเช่นค่าลักษณะเฉพาะของมัน เป็นบวกหรือเป็นศูนย์$n$$X_i$$P(X_1,\ldots,X_n)$$C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

ฉันสนใจในเงื่อนไขเกี่ยวกับที่จำเป็นและ / หรือเพียงพอสำหรับC ที่จะมี ค่าลักษณะเฉพาะศูนย์m ยกตัวอย่างเช่นเงื่อนไขที่เพียงพอคือการที่ตัวแปรสุ่มที่ไม่เป็นอิสระ: \ sum_i u_i x_i = 0สำหรับจำนวนจริงบางu_i ตัวอย่างเช่นถ้าP (X_1, \ ldots, X_n) = \ delta (X_1-X_2) p (X_2, \ ldots, X_n)ดังนั้น\ vec u = (1, -1,0, \ ldots, 0)คือ eigenvector ของC ที่มีค่าศูนย์ eigenvalue หากเรามีข้อ จำกัด เชิงเส้นอิสระเอ็มบนX_iของประเภทนี้มันจะแปลว่าค่าศูนย์เป็นค่าm$P$$C$$m$$\sum_i u_i X_i=0$$u_i$$P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$$\vec u=(1,-1,0,\ldots,0)$$C$$m$$X_i$$m$

มีเพิ่มเติม ( แต่น่ารำคาญ) อย่างน้อยหนึ่งเป็นไปได้เมื่อเป็น$X_a=E[X_a]$สำหรับบาง(คือP (X_1 \ ldots, X_n) \ propto \ เดลต้า (X_a-E [X_a]) ) เนื่องจากในการที่ กรณีC_ {IJ}มีคอลัมน์และสายของศูนย์ A: C_ {} IA = C_ {} ai = 0 \, \ forall ฉัน เนื่องจากไม่น่าสนใจจริง ๆ ฉันจึงสันนิษฐานว่าการแจกแจงความน่าจะไม่ใช่แบบนั้น$a$$P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$$C_{ij}$$C_{ia}=C_{ai}=0,\,\forall i$

คำถามของฉันคือข้อ จำกัด เชิงเส้นเป็นวิธีเดียวที่จะชักนำให้เกิดค่าลักษณะเฉพาะเป็นศูนย์ (ถ้าเราห้ามข้อยกเว้นเล็กน้อยที่ให้ไว้ข้างต้น) หรือข้อ จำกัด ที่ไม่ใช่เชิงเส้นในตัวแปรสุ่มยังสามารถสร้างศูนย์ค่าลักษณะเฉพาะของ$C$ ?

บางทีการทำให้สัญลักษณ์ง่ายขึ้นเราสามารถนำความคิดที่จำเป็นออกมา ปรากฎว่าเราไม่จำเป็นต้องมีความคาดหวังหรือสูตรที่ซับซ้อนเพราะทุกอย่างเกี่ยวกับพีชคณิตล้วนๆ

---

ลักษณะทางพีชคณิตของวัตถุทางคณิตศาสตร์

ความสัมพันธ์ระหว่างความกังวลคำถาม (1) เมทริกซ์ความแปรปรวนของชุด จำกัด ของตัวแปรสุ่ม$X_1, \ldots, X_n$และ (2) การเชิงเส้นความสัมพันธ์ระหว่างตัวแปรเหล่านั้นถือว่าเป็นพาหะ

พื้นที่เวกเตอร์ในคำถามเป็นชุดของตัวแปรทั้งหมด จำกัด -แปรปรวนแบบสุ่ม (บนเป็นพื้นที่ใดก็ตาม$(\Omega,\mathbb P)$ ) โมดูโลสเปซเกือบตัวแปรคงที่แน่นอนชี้แนะ$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ (นั่นคือเราพิจารณาตัวแปรสุ่มสองตัว$X$และ$Y$เป็นเวกเตอร์เดียวกันเมื่อมีโอกาสเป็นศูนย์ที่$X-Y$แตกต่างจากที่คาดไว้) เรากำลังจัดการกับพื้นที่เวกเตอร์ จำกัด ขนาด$V$สร้างโดย$X_i,$ ซึ่งเป็นสิ่งที่ทำให้ปัญหาพีชคณิตมากกว่าการวิเคราะห์

สิ่งที่เราต้องรู้เกี่ยวกับความแปรปรวน

$V$เป็นมากกว่าปริภูมิเวกเตอร์: มันเป็นโมดูลกำลังสองเพราะมันมาพร้อมกับความแปรปรวน สิ่งที่เราต้องรู้เกี่ยวกับความแปรปรวนคือสองสิ่ง:

1. ความแปรปรวนเป็นสเกลามูลค่าฟังก์ชั่น$Q$กับทรัพย์สินที่$Q(aX)=a^2Q(X)$สำหรับทุกเวกเตอร์X$X.$

2. ความแปรปรวนคือไม่สร้าง

ประการที่สองต้องการคำอธิบายบางอย่าง $Q$กำหนด "ผลิตภัณฑ์ดอท" ซึ่งเป็นรูปสมมาตรของบิลิแนร์ที่กำหนดโดย

$$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$$

(นี่คือแน่นอนไม่มีอะไรอื่นนอกเหนือจากความแปรปรวนของตัวแปรและY . ) เวกเตอร์XและYเป็นมุมฉากเมื่อคูณจุดของพวกเขาคือ0. orthogonal ประกอบชุดของเวกเตอร์ใด ๆ⊂ Vประกอบด้วยเวกเตอร์ทั้งหมดที่ตั้งฉากกับทุกองค์ประกอบ ของA ,เขียน$X$$Y.$$X$$Y$$0.$$\mathcal A \subset V$$\mathcal A,$

$$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$$

มันชัดเจนว่าเป็นพื้นที่เวคเตอร์ เมื่อ , Qคือnondegenerate$V^0 = \{0\}$$Q$

ให้ฉันพิสูจน์ว่าความแปรปรวนนั้นไม่ได้สร้างขึ้นมาอย่างแน่นอนแม้ว่ามันจะดูชัดเจนก็ตาม สมมติว่าเป็นองค์ประกอบภัณฑ์ของV 0 นี่หมายถึงX ⋅ Y = 0สำหรับY ∈ V ทั้งหมด ค่าเท่ากัน$X$$V^0.$$X\cdot Y = 0$$Y\in V;$

$$Q(X+Y) = Q(X-Y)$$

สำหรับเวกเตอร์ทั้งหมดY การให้Y = Xให้$Y.$$Y=X$

$$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$$

และทำให้ แต่เรารู้ (โดยใช้เซฟของความไม่เท่าเทียมกันบางที) ที่ตัวแปรสุ่มเพียงกับศูนย์แปรปรวนเกือบจะแน่นอนคงที่ซึ่งระบุพวกเขาด้วยเวกเตอร์ศูนย์ในV , QED$Q(X)=0.$$V,$

การตีความคำถาม

กลับไปที่คำถามในสัญกรณ์ก่อนหน้าเมทริกซ์ความแปรปรวนร่วมของตัวแปรสุ่มเป็นเพียงอาร์เรย์ปกติของผลิตภัณฑ์ดอททั้งหมดของพวกเขา

$$T = (X_i\cdot X_j).$$

มีวิธีคิดที่ดีเกี่ยวกับ : มันกำหนดการแปลงเชิงเส้นบนR nในวิธีปกติโดยการส่งเวกเตอร์ใด ๆx = ( x 1 , … , x n ) ∈ R nลงในเวกเตอร์T ( x ) = y = ( y ที่1 , ... , x n )ซึ่งฉันTHส่วนประกอบจะได้รับจากกฎการคูณเมทริกซ์$T$$\mathbb{R}^n$$x=(x_1, \ldots, x_n)\in\mathbb{R}^n$$T(x)=y=(y_1, \ldots, x_n)$$i^\text{th}$

$$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$$

เคอร์เนลของการเปลี่ยนแปลงเชิงเส้นนี้เป็นสเปซจะส่งไปยังศูนย์:

$$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$$

สมการดังกล่าวข้างต้นแสดงให้เห็นว่าเมื่อทุก$x\in \operatorname{Ker}(T),$$i$

$$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$$

ตั้งแต่นี้เป็นจริงสำหรับทุกมันถือสำหรับเวกเตอร์ทั้งหมดทอดโดยX ฉัน : คือVตัวเอง ดังนั้นเมื่อx ∈ เคอร์( T ) ,เวกเตอร์ที่กำหนดโดยΣ J x เจเอ็กซ์เจโกหกในV 0 เนื่องจากความแปรปรวนเป็นแบบไม่สิ้นสุดนี่หมายถึง∑ j x j X j = 0 นั่นคือxอธิบายการพึ่งพาเชิงเส้นระหว่างตัวแปรสุ่มแบบดั้งเดิม$i,$$X_i$$V$$x\in\operatorname{Ker}(T),$$\sum_j x_j X_j$$V^0.$$\sum_j x_j X_j = 0.$$x$$n$

คุณสามารถตรวจสอบได้อย่างง่ายดายว่าการให้เหตุผลแบบนี้สามารถย้อนกลับได้:

อ้างอิงเชิงเส้นในหมู่เป็นพาหะอยู่ในหนึ่งต่อหนึ่งการติดต่อกับองค์ประกอบของเคอร์เนลของ$X_j$ $T.$

(โปรดจำไว้ว่าคำสั่งนี้ยังคงพิจารณาตามที่กำหนดไว้จนถึงการเปลี่ยนตำแหน่งคงที่นั่นคือเป็นองค์ประกอบของL 2 ( Ω , P ) / R -แทนที่จะเป็นเพียงตัวแปรสุ่ม)$X_j$$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

ในที่สุดโดยมีความหมายเป็นค่าเฉพาะของใด ๆ เกลาλที่มีอยู่ไม่ใช่ศูนย์เวกเตอร์xกับT ( x ) = λ x เมื่อλ = 0เป็นค่าเฉพาะพื้นที่ของ eigenvectors เกี่ยวข้องคือ (ชัด) เคอร์เนลของ$T$$\lambda$$x$$T(x) = \lambda x.$$\lambda=0$$T.$

---

สรุป

We have arrived at the answer to the questions: the set of linear dependencies of the random variables, qua elements of $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ corresponds one-to-one with the kernel of their covariance matrix $T.$ This is so because the variance is a nondegenerate quadratic form. The kernel also is the eigenspace associated with the zero eigenvalue (or just the zero subspace when there is no zero eigenvalue).

---

Reference

I have largely adopted the notation and some of the language of Chapter IV in

Jean-Pierre Serre, A Course In Arithmetic. Springer-Verlag 1973.

Linear independence is not just sufficient but also a neccesary condition

To show that the variance-covariance matrix has eigenvalues equal to zero if and only if the variables are not linearly independent, it only remains to be shown that "if the matrix has eigenvalues equal to zero then the variables are not linearly independent".

If you have a zero eigenvalue for $C_{ij} = \text{Cov}(X_i,X_j)$ then there is some linear combination (defined by the eigenvector $v$)

$$Y = \sum_{i=1}^n v_i (X_i)$$

such that

$$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$$

which means that $Y$ needs to be a constant and thus the variables $X_i$ have to add up to a constant and are either constants themselves (the trivial case) or not linearly independent.

^{- the first line in the equation with $\text{Cov}(Y,Y)$ is due to the property of covariance}

$$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$$

^{- the step from the second to the third line is due to the property of a zero eigenvalue}

$$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$$

---

Non-linear constraints

So, since linear constraints are a necessary condition (not just sufficient), non-linear constraints will only be relevant when they indirectly imply a (necessary) linear constraint.

In fact, there is a direct correspondence between the eigenvectors associated with the zero eigenvalue and the linear constraints.

$$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$$

Thus non-linear constraints leading to a zero eigenvalue must, together combined, generate some linear constraint.

---

How can non-linear constraints lead to linear constraints

Your example in the comments can show this intuitively how non-linear constraints can lead to linear constraints by reversing the derivation. The following non-linear constraints

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$$

can be reduced to

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$$

You could inverse this. Say you have non-linear plus linear constraints, then it is not strange to imagine how we can replace one of the linear constraints with a non-linear constraint, by filling the linear constraints into the non-linear constraints. E.g when we substitute $a=d$ and $b=-c$ in the non-linear form $a^2+b^2=1$ then you can make another relationship $ad-bc=1$. And when you multiply $a=d$ and $c=-b$ then you get $ac=-bd$.

Suppose $C$ has an eigenvector $v$ with corresponding eigenvalue $0$, then $\operatorname{var}(v^T X) = v^T Cv = 0$. Thus, by Chebyshev's inequality, $v^TX$ is almost surely constant and equal to $v^T E [X]$. That is, every zero eigenvalue corresponds to a linear restriction, namely $v^T X = v^T E[X]$. There is no need to consider any special cases.

Thus, we conclude:

"are linear constraints the only way to induce zero eigenvalues [?]"

Yes.

"can non-linear constraints on the random variables also generate zero eigenvalues of C ?"

Yes, if they imply linear constraints.

The covariance marix $C$ of $X$ is symmetric so you can diagnonalize it as $C=Q\Lambda Q^T$, with the eigenvalues in the diagonal matrix $\Lambda.$ Rewriting this as $\Lambda=Q^TCQ$, the rhs is the covariance matrix of $Q^TX$, so zero eigenvalues on the lhs correspond to linear combinations of $X$ with degenerate distributions.