"ทฤษฎีบทการวิเคราะห์ปัจจัยพื้นฐาน" นำไปใช้กับ PCA อย่างไรหรือมีการกำหนดโหลด PCA อย่างไร

ขณะนี้ฉันกำลังผ่านชุดภาพนิ่งที่ฉันมีสำหรับ "การวิเคราะห์ปัจจัย" (PCA เท่าที่ฉันจะบอกได้)

"ทฤษฎีบทพื้นฐานของการวิเคราะห์ปัจจัย" ซึ่งอ้างว่าเมทริกซ์สหสัมพันธ์ของข้อมูลที่เข้าสู่การวิเคราะห์ ( ) สามารถกู้คืนได้โดยใช้เมทริกซ์ของปัจจัยการโหลด ( ): $\bf R$ $\bf A$

R = A A^{⊤}

$\bf R = AA^\top$

อย่างไรก็ตามเรื่องนี้ทำให้ฉันสับสน ใน PCA เมทริกซ์ของ "factor loadings" นั้นได้รับจากเมทริกซ์ของ eigenvector ของความแปรปรวนร่วม / เมทริกซ์สหสัมพันธ์ของข้อมูล (เนื่องจากเราสมมติว่าข้อมูลนั้นได้มาตรฐานพวกมันเหมือนกัน) โดยแต่ละ eigenvector จะถูกปรับ ความยาวหนึ่ง เมทริกซ์นี้เป็นมุมฉากจึงซึ่งเป็นโดยทั่วไปไม่เท่ากับR $\bf AA^\top = I$ $\bf R$

— user2249626
แหล่งที่มา

นอกจากคำตอบของ @ amoeba แล้วให้ดูในคำตอบของฉันซึ่งเพิ่มความคลุมเครือของคำศัพท์ ฉันไม่แนะนำให้เรียกเมทริกซ์ eigenvectors A(ซึ่งเป็นภาระ) เพื่อเหตุผลที่ชัดเจน (ขวาด้าน) วิคเตอร์เมทริกซ์มักจะมีป้ายV(เพราะR=USV'โดย SVD) Aไม่ใช่ ชื่อเทียบเท่าอื่น ๆ (มาจากคำศัพท์ biplot) สำหรับ eigenvectors คือ "พิกัดมาตรฐาน" และสำหรับการโหลดคือ "พิกัดหลัก"

— ttnphns

("พิกัดมาตรฐาน" - เนื่องจากความเฉื่อยหรือมาตราส่วนของค่าลักษณะเฉพาะเป็นขนาดหน่วยเมื่อ endowing พวกเขา "พิกัดหลัก" - เพราะเป็นขนาดเต็มดั้งเดิมเมื่อ endowing พวกเขา)

— ttnphns

นี่เป็นคำถามที่สมเหตุสมผล (+1) ที่เกิดจากความกำกวมและความสับสนในเรื่องคำศัพท์

ในบริบทของ PCA ผู้คนมักเรียกแกนหลัก (eigenvectors ของเมทริกซ์ความแปรปรวนร่วม / ความสัมพันธ์) "การโหลด" นี่คือคำศัพท์ที่เลอะเทอะ สิ่งที่ควรจะเรียกว่า "การโหลด" ใน PCA คือแกนหลักที่ปรับขนาดโดยรากที่สองของค่าลักษณะเฉพาะ จากนั้นทฤษฎีบทที่คุณอ้างถึงจะมีอยู่

จริง ๆ ถ้าการสลายตัวของไอเกน - ความสัมพันธ์เมทริกซ์คือโดยที่เป็น eigenvectors (แกนหลัก) และเป็นเมทริกซ์แนวทแยงของค่าลักษณะเฉพาะ ถ้าเรากำหนดภาระเป็นจากนั้นเราจะเห็นได้อย่างง่ายดายว่านอกจากนี้ที่ดีที่สุด rank-ประมาณเมทริกซ์ความสัมพันธ์จะได้รับโดยครั้งแรกแรง PCA:

R = V S V^{⊤}

$\mathbf R = \mathbf V \mathbf S \mathbf V^\top$

V

$\mathbf V$

S

$\mathbf S$

A = V S^{1 / 2},

$\mathbf A = \mathbf V \mathbf S^{1/2},$

R = A A^{⊤} .

$\mathbf R = \mathbf A \mathbf A^\top.$

r

$r$

r

$r$

R \approx A_{R} A_{R}^{⊤} .

$\mathbf R \approx \mathbf A_r \mathbf A_r^\top.$

โปรดดูคำตอบของฉันที่นี่สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการสร้างเมทริกซ์ความแปรปรวนร่วมใหม่ด้วยการวิเคราะห์ปัจจัยและการโหลด PCA

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา