เครื่องหมายของคะแนนหรือการโหลดใน PCA หรือ FA มีความหมายหรือไม่? ฉันขอป้ายย้อนกลับได้ไหม

ฉันทำการวิเคราะห์องค์ประกอบหลัก (PCA) ด้วย R โดยใช้สองฟังก์ชันที่แตกต่างกัน ( prcompและprincomp) และสังเกตว่าคะแนน PCA นั้นแตกต่างกันในการลงชื่อ มันจะเป็นอย่างไร

พิจารณาสิ่งนี้:

set.seed(999)
prcomp(data.frame(1:10,rnorm(10)))$x

            PC1        PC2
 [1,] -4.508620 -0.2567655
 [2,] -3.373772 -1.1369417
 [3,] -2.679669  1.0903445
 [4,] -1.615837  0.7108631
 [5,] -0.548879  0.3093389
 [6,]  0.481756  0.1639112
 [7,]  1.656178 -0.9952875
 [8,]  2.560345 -0.2490548
 [9,]  3.508442  0.1874520
[10,]  4.520055  0.1761397

set.seed(999)
princomp(data.frame(1:10,rnorm(10)))$scores
         Comp.1     Comp.2
 [1,]  4.508620  0.2567655
 [2,]  3.373772  1.1369417
 [3,]  2.679669 -1.0903445
 [4,]  1.615837 -0.7108631
 [5,]  0.548879 -0.3093389
 [6,] -0.481756 -0.1639112
 [7,] -1.656178  0.9952875
 [8,] -2.560345  0.2490548
 [9,] -3.508442 -0.1874520
[10,] -4.520055 -0.1761397

เหตุใดเครื่องหมาย ( +/-) จึงแตกต่างกันสำหรับการวิเคราะห์ทั้งสอง ถ้าฉันใช้ส่วนประกอบหลักPC1และPC2เป็นตัวทำนายในการถดถอยนั่นlm(y ~ PC1 + PC2)จะเปลี่ยนความเข้าใจของฉันอย่างสมบูรณ์เกี่ยวกับผลกระทบของตัวแปรสองตัวตามyวิธีที่ฉันใช้! ฉันจะทำอย่างไรแล้วบอกว่าPC1มีเช่นผลบวกต่อyและPC2ได้เช่นผลกระทบต่อy?

นอกจากนี้:หากสัญญาณขององค์ประกอบ PCA นั้นไม่มีความหมายนี่เป็นความจริงสำหรับการวิเคราะห์ปัจจัย (FA) เช่นกันหรือไม่ เป็นที่ยอมรับหรือไม่ที่จะพลิก (กลับด้าน) เครื่องหมายของแต่ละองค์ประกอบ PCA / FA คะแนน (หรือการโหลดเป็นคอลัมน์ของการโหลดเมทริกซ์)?

PCA เป็นการแปลงทางคณิตศาสตร์อย่างง่าย หากคุณเปลี่ยนสัญลักษณ์ของส่วนประกอบคุณจะไม่เปลี่ยนความแปรปรวนที่มีอยู่ในองค์ประกอบแรก ยิ่งกว่านั้นเมื่อคุณเปลี่ยนสัญญาณน้ำหนัก ( prcomp( ... )$rotation) ก็เปลี่ยนสัญญาณเช่นกันดังนั้นการตีความจึงยังคงเหมือนเดิม:

set.seed( 999 )
a <- data.frame(1:10,rnorm(10))
pca1 <- prcomp( a )
pca2 <- princomp( a )
pca1$rotation

แสดงให้เห็นว่า

                 PC1       PC2
X1.10      0.9900908 0.1404287
rnorm.10. -0.1404287 0.9900908

และpca2$loadingsแสดง

Loadings:
          Comp.1 Comp.2
X1.10     -0.99  -0.14 
rnorm.10.  0.14  -0.99 

               Comp.1 Comp.2
SS loadings       1.0    1.0
Proportion Var    0.5    0.5
Cumulative Var    0.5    1.0

ดังนั้นทำไมการตีความยังคงเหมือนเดิม?

คุณใช้การถดถอย PCA ของyองค์ประกอบที่ 1 ในรุ่นแรก ( prcomp) ว่าสัมประสิทธิ์เป็นบวก: ยิ่งส่วนประกอบที่ 1 ยิ่งมีค่ามากขึ้น y มันหมายถึงอะไรเมื่อมันมาถึงตัวแปรดั้งเดิม? เนื่องจากน้ำหนักของตัวแปร 1 ( 1:10ใน a) เป็นค่าบวกนั่นแสดงให้เห็นว่ายิ่งตัวแปร 1 ใหญ่ขึ้นเท่าใด y ก็ยิ่งมากขึ้น

ตอนนี้ใช้รุ่นที่สอง ( princomp) เนื่องจากองค์ประกอบมีการเปลี่ยนแปลงเครื่องหมายยิ่ง y ยิ่งมีขนาดเล็กส่วนประกอบ 1 - ค่าสัมประสิทธิ์ของ y <มากกว่า PC1 เป็นลบ แต่การโหลดตัวแปร 1 ก็เช่นกัน นั่นหมายถึงตัวแปรที่ใหญ่กว่า 1 ยิ่งองค์ประกอบ 1 เล็กลงยิ่งใหญ่ขึ้น y - การตีความก็เหมือนกัน

อาจเป็นไปได้ว่าวิธีที่ง่ายที่สุดในการดูนั่นก็คือการใช้บิท

library( pca3d )
pca2d( pca1, biplot= TRUE, shape= 19, col= "black"  )

แสดงให้เห็นว่า

biplot เดียวกันสำหรับชุดที่สองแสดง

pca2d( pca2$scores, biplot= pca2$loadings[,], shape= 19, col= "black" )

ตามที่คุณเห็นภาพจะถูกหมุน 180 องศา อย่างไรก็ตามความสัมพันธ์ระหว่างน้ำหนัก / โหลด (ลูกศรสีแดง) และจุดข้อมูล (จุดสีดำ) นั้นเหมือนกันทุกประการ ดังนั้นการตีความองค์ประกอบจะไม่เปลี่ยนแปลง

คำถามนี้ได้รับการถามมากในฟอรั่มนี้ดังนั้นผมอยากจะเสริม @ คำตอบที่ดีเดือนมกราคมกับการพิจารณาบิตทั่วไปมากขึ้น

ทั้งในการวิเคราะห์องค์ประกอบหลัก (PCA) และการวิเคราะห์ปัจจัย (เอฟเอ) เราใช้ตัวแปรเดิมเพื่อประเมินองค์ประกอบหลายแฝง (หรือตัวแปรแฝง)z_k ส่วนประกอบแฝงเหล่านี้ได้รับจากคะแนนส่วนประกอบ PCA หรือ FA แต่ละตัวแปรเดิมคือการรวมกันเชิงเส้นขององค์ประกอบเหล่านี้มีบางส่วนน้ำหนัก: ตัวอย่างแรกตัวแปรเดิมอาจจะมีห้วงอย่างดีจากสองครั้งบวกสามครั้งเพื่อให้3z_2 หากคะแนนเป็นมาตรฐานแล้วน้ำหนักเหล่านี้ (และ ) จะเรียกว่าการโหลด ดังนั้นอย่างไม่เป็นทางการเราสามารถพูดได้ว่า$x_1, x_2, ... x_d$$z_1, z_2, ... z_k$$x_1$$z_1$$z_2$$x_1 \approx 2z_1 + 3z_2$$2$$3$

จากที่นี่เราจะเห็นว่าถ้าเราใช้ส่วนประกอบที่แฝงอยู่หนึ่งตัวเช่นและพลิกเครื่องหมายของคะแนนและการโหลดมันจะไม่มีผลต่อผลลัพธ์ (หรือการตีความ) เนื่องจาก$z_1$

บทสรุปคือสำหรับแต่ละองค์ประกอบ PCA หรือ FA สัญญาณของคะแนนและการโหลดนั้นโดยพลการและไม่มีความหมาย มันสามารถพลิก แต่ถ้าสัญญาณของทั้งคะแนนและการโหลดถูกย้อนกลับในเวลาเดียวกัน

นี่เป็นคำตอบที่ดีข้างต้น เพียงเพื่อให้มีความเกี่ยวข้องทางคณิตศาสตร์เพิ่มเติมทิศทางที่ส่วนประกอบหลักทำหน้าที่สอดคล้องกับ eigenvectors ของระบบ หากคุณได้รับพีซีที่เป็นค่าบวกหรือลบนั่นหมายถึงคุณกำลังฉายภาพบนไอเกนเนคเตอร์ที่ชี้ไปในทิศทางเดียวหรือออกไปในทิศทางอื่น ไม่ว่าการตีความจะยังคงเหมือนเดิม! ควรเพิ่มว่าความยาวขององค์ประกอบหลักของคุณเป็นเพียงค่าลักษณะเฉพาะ$180^\circ$