ลิเนียริตี้ของ PCA

35

PCA ถือเป็นกระบวนการเชิงเส้นอย่างไรก็ตาม:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

ที่ nนี้คือจะบอกว่า eigenvectors ที่ได้รับจากการฝึกอบรมใน PCAS ข้อมูลไม่สรุปให้เท่ากับ eigenvectors ที่ได้จาก PCA ในผลรวมของข้อมูลการฝึกอบรมฉันแต่ไม่ใช่นิยามของฟังก์ชันเชิงเส้นที่: $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

เหตุใด PCA จึงถูกพิจารณาว่า "เป็นเส้นตรง" หากไม่เป็นไปตามเงื่อนไขพื้นฐานของความเป็นเส้นตรง

pca linear

— AlphaOmega
แหล่งที่มา

ฉันเคยเขียนหรือได้ยิน (ขอโทษฉันจำไม่ได้ว่าที่ไหนหรือเมื่อไหร่) PCA นั้น "เป็นของโพรซีเดอร์เชิงเส้นตระกูล" เพราะอาศัยการอ้างอิงเชิงเส้นตรงระหว่างตัวแปร มันใช้เมทริกซ์สหสัมพันธ์ของเพียร์สันและแสวงหาการรวมกันเชิงเส้นของความแปรปรวนสูงสุด

— ŁukaszDeryło

4

ธรรมชาติของคำถามนี้อาจชัดเจนขึ้นเล็กน้อยโดยใคร่ครวญการตั้งค่าที่ง่ายกว่าและเป็นกิจวัตรของการถดถอยกำลังสองน้อยที่สุดธรรมดา: นี่คือต้นแบบของกระบวนการเชิงเส้นเชิงสถิติ แต่กระบวนการของการประมาณค่าสัมประสิทธิ์น้อยสแควร์เป็นฟังก์ชั่นแบบไม่เชิงเส้นอย่างชัดแจ้งของข้อมูลเมทริกซ์

เป็นส่วนร่วมโดยสูตร

Y

(ขอให้สังเกตว่ามันเป็นฟังก์ชั่นเชิงเส้นของเวกเตอร์การตอบสนอง

)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

มันอาจจะคุ้มค่าที่จะจำได้ว่า f (x) = x + 1 เป็น "ฟังก์ชั่นเชิงเส้น" ด้วย ... แต่มันก็ไม่ได้ตอบสนองสิ่งที่คุณเพิ่งพูด ... ซึ่งควรอธิบายบางสิ่งบางอย่าง

— Mehrdad

นั่นเป็นเพราะ

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

$f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

$k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$

4

$4$

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

ที่ฉันได้รับ 35 upvotes สำหรับคำตอบเล็กน้อยนี้ค่อนข้างไร้สาระ (และส่วนใหญ่เนื่องจากหัวข้อนี้อยู่ในคำถามเครือข่ายร้อนสักครู่)

— อะมีบาพูดว่า Reinstate Monica

5

"เชิงเส้น" อาจหมายถึงหลายสิ่งหลายอย่างและไม่ได้ใช้เฉพาะในลักษณะที่เป็นทางการ

PCA มักไม่ได้ถูกกำหนดให้เป็นฟังก์ชั่นในลักษณะที่เป็นทางการดังนั้นจึงไม่คาดว่าจะตอบสนองความต้องการของฟังก์ชันเชิงเส้นเมื่ออธิบายเช่นนี้ มีการอธิบายบ่อยครั้งมากขึ้นตามที่คุณพูดเป็นขั้นตอนและบางครั้งอัลกอริทึม (แม้ว่าฉันจะไม่ชอบตัวเลือกสุดท้ายนี้) มันมักถูกกล่าวว่าเป็นเส้นตรงในลักษณะที่ไม่เป็นทางการซึ่งไม่ชัดเจน

$X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— broncoAbierto
แหล่งที่มา

3

PCA ให้ / คือการแปลงเชิงเส้น

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

เป็นการเปรียบเทียบตัวอย่างง่ายๆของกระบวนการที่ใช้การแปลงเชิงเส้น แต่ไม่ใช่การแปลงเชิงเส้นเอง:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

และ

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

แต่

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

การเพิ่มมุมนี้เป็นสองเท่าซึ่งเกี่ยวข้องกับการคำนวณมุมไม่ใช่เชิงเส้นและคล้ายคลึงกับคำแถลงของอะมีบาว่าการคำนวณของไอเก็นเวกเตอร์ไม่เชิงเส้น

— Sextus Empiricus
แหล่งที่มา