ทำไมคะแนนส่วนประกอบหลักจึงไม่เกี่ยวข้องกัน

Supose $\mathbf A$ เป็นเมทริกซ์ของข้อมูลที่มีค่าเฉลี่ยกึ่งกลาง เมทริกซ์ $\mathbf S=\text{cov}(\mathbf A)$ คือ $m\times m$ มี $m$ ค่าลักษณะเฉพาะที่แตกต่างและค่าลักษณะเฉพาะ $\mathbf s_1$ , $\mathbf s_2$ ... $\mathbf s_m$ ซึ่งเป็นมุมฉาก

$i$ องค์ประกอบหลักที่ (บางคนเรียกพวกเขาว่า "คะแนน") เป็นเวกเตอร์ $\mathbf z_i = \mathbf A\mathbf s_i$ . มันคือการรวมกันเชิงเส้นของคอลัมน์ของ $\mathbf A$ โดยที่ค่าสัมประสิทธิ์เป็นองค์ประกอบของ $i$ - ไอเกนวิคเตอร์ของ $\mathbf S$ .

ฉันไม่เข้าใจว่าทำไม $\mathbf z_i$ และ $\mathbf z_j$ กลายเป็นไม่เกี่ยวข้องกับทุกคน $i\neq j$ . มันทำตามความจริงที่ว่า $\mathbf s_i$ และ $\mathbf s_j$ เป็นมุมฉาก? ไม่อย่างแน่นอนเพราะฉันสามารถหาเมทริกซ์ได้อย่างง่ายดาย $\mathbf B$ และเวกเตอร์มุมฉากคู่ $\mathbf x, \mathbf y$ ดังนั้น $\mathbf B\mathbf x$ และ $\mathbf B\mathbf y$ มีความสัมพันธ์

correlation pca linear-algebra

— เออร์เนสต์
แหล่งที่มา

คำตอบที่เกี่ยวข้องstats.stackexchange.com/a/110546/3277

— ttnphns

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— อะมีบา
แหล่งที่มา

คณิตศาสตร์: เป็นภาษาที่สวยงาม

— Néstor

ซึ่งหมายความว่า

z_{i}

$\mathbf z_i$ และ

z_{j}

$\mathbf z_j$ เป็นมุมฉาก ไม่เกี่ยวข้องหมายความว่าสิ่งนี้จะต้องเป็นจริง:

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$ . ฉันคิดว่าอย่างใด

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$ แล้ว

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$ ยังหมายถึงว่าพวกเขาไม่เกี่ยวข้องกัน

— เออร์เนสต์

จุดดี @Ernest ค่าเฉลี่ยนั้นเป็นศูนย์เนื่องจากข้อมูลได้รับค่าเฉลี่ยเป็นศูนย์กลาง (ตามสมมติฐานของคุณ) จากนั้นการคาดการณ์ทั้งหมดจะต้องมีค่าเฉลี่ยเป็นศูนย์

— อะมีบา

@ Bubble เพราะ

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$ ดังนั้น

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$ .

— เออร์เนสต์

@ เออร์เนสต์ฉันไม่สามารถต้านทานจากการให้คำตอบที่ไม่มีข้อความได้ แต่บางทีฉันควรจะเพิ่มเหตุผลพื้นฐานที่ว่าทำไมพีซีถึงไม่เกี่ยวข้องกันก็คือเมทริกซ์ความแปรปรวนร่วมของพวกเขานั้นได้รับจาก

S

$S$ ในพื้นฐานของ eigenvectors และในพื้นฐานนี้

S

$S$ กลายเป็นเส้นทแยงมุม - นั่นคือจุดรวมของ eigendecomposition

— อะมีบา