PCA ตามมาด้วยการหมุน (เช่น varimax) ยังคงเป็น PCA หรือไม่

ฉันได้ลองทำซ้ำการวิจัย (ใช้ PCA) จาก SPSS ใน R จากประสบการณ์ของฉันprincipal() ฟังก์ชั่นจากแพ็คเกจpsychเป็นฟังก์ชั่นเดียวที่เข้ามาใกล้ (หรือถ้าหน่วยความจำของฉันทำหน้าที่ฉันถูกต้องตาย) เพื่อให้ตรงกับผลลัพธ์ เพื่อให้ตรงกับผลเช่นเดียวกับในโปรแกรม SPSS principal(..., rotate = "varimax")ผมต้องใช้พารามิเตอร์ ฉันเคยเห็นเอกสารพูดคุยเกี่ยวกับวิธีที่พวกเขาทำ PCA แต่จากผลของ SPSS และการใช้การหมุนมันฟังดูคล้ายกับการวิเคราะห์ตัวประกอบ

คำถาม: PCA คือแม้หลังจากหมุน (โดยใช้varimax) ยังคง PCA หรือไม่ ฉันรู้สึกว่านี่อาจเป็นการวิเคราะห์ตัวประกอบจริง ๆ ... ในกรณีที่ไม่ได้ฉันมีรายละเอียดอะไรบ้าง

คำถามนี้ส่วนใหญ่เกี่ยวกับคำจำกัดความของ PCA / FA ดังนั้นความคิดเห็นอาจแตกต่างกัน ความเห็นของฉันคือ PCA + varimax ไม่ควรเรียกว่า PCA หรือ FA ค่อนข้างจะถูกเรียกอย่างชัดเจนว่าเช่น "varimax-rotated PCA"

ฉันควรเพิ่มว่านี่เป็นหัวข้อที่ค่อนข้างสับสน ในคำตอบนี้ฉันต้องการอธิบายว่าการหมุนคืออะไร สิ่งนี้จะต้องใช้คณิตศาสตร์ ผู้อ่านทั่วไปสามารถข้ามไปยังภาพประกอบได้โดยตรง จากนั้นเราสามารถพูดคุยได้ว่าการหมุน PCA + ควรหรือไม่ควรเรียกว่า "PCA"

หนึ่งการอ้างอิงคือหนังสือของ Jolliffe "การวิเคราะห์องค์ประกอบหลัก" ส่วนที่ 11.1 "การหมุนส่วนประกอบหลัก" แต่ฉันคิดว่ามันชัดเจนกว่า

---

ให้เป็นเมทริกซ์ข้อมูลคูณซึ่งเราถือว่าอยู่กึ่งกลาง จำนวน PCA ( ดูคำตอบของฉันที่นี่ ) เพื่อสลายตัวเอกพจน์มูลค่า:X มีมุมมองที่เทียบเท่า แต่สองมุมมองเกี่ยวกับการย่อยสลายนี้: มุมมอง "การฉายภาพ" ในรูปแบบ PCA และมุมมอง "ตัวแปรแฝง" แบบ FA เพิ่มเติม n × p X = U S V$\mathbf X$$n \times p$$\mathbf X=\mathbf{USV}^\top$

จากมุมมองแบบ PCA เราพบกลุ่มของมุมฉาก (เหล่านี้คือ eigenvectors ของเมทริกซ์ความแปรปรวนร่วมหรือที่เรียกว่า "ทิศทางหลัก" หรือ "แกน") และ "ส่วนประกอบหลัก" ( เรียกอีกอย่างว่าองค์ประกอบหลัก "คะแนน") เป็นการคาดการณ์ข้อมูลในทิศทางเหล่านี้ ส่วนประกอบหลักไม่มีการเชื่อมโยงส่วนแรกมีความแปรปรวนมากที่สุด ฯลฯ เราสามารถเขียน:U S X = U S ⋅ V ⊤ = คะแนน⋅ $\mathbf V$$\mathbf{US}$

$$\mathbf X = \mathbf{US}\cdot \mathbf V^\top = \text{Scores} \cdot \text{Principal directions}.$$

จากมุมมองของ FA-style เราพบความแปรปรวนของหน่วยที่ไม่เกี่ยวข้องซึ่งมี "ปัจจัยแฝง" ซึ่งทำให้เกิดตัวแปรที่สังเกตได้ผ่าน "การโหลด" แน่นอนเป็นส่วนประกอบหลักที่ได้มาตรฐาน (uncorrelated และมีความแปรปรวนของหน่วย) และถ้าเรากำหนดภาระเป็นหลังจากนั้น (โปรดทราบว่า ) มุมมองทั้งสองจะเทียบเท่ากัน โปรดสังเกตว่าการโหลดเป็นค่าเฉพาะของแต่ละค่าลักษณะเฉพาะ (เป็นค่าลักษณะเฉพาะของเมทริกซ์ความแปรปรวนร่วม)L=VS/$\widetilde{\mathbf U}=\sqrt{n-1}\mathbf{U}$ X=$\mathbf L = \mathbf{VS}/\sqrt{n-1}$S ⊤=SS/

$$\mathbf X= \sqrt{n-1}\mathbf{U}\cdot (\mathbf{VS}/\sqrt{n-1})^\top =\widetilde{\mathbf U}\cdot \mathbf L^\top = \text{Standardized scores} \cdot \text{Loadings}.$$ $\mathbf{S}^\top=\mathbf{S}$$\mathbf{S}/\sqrt{n-1}$

(ฉันควรเพิ่มในวงเล็บที่PCA FA$\ne$ ; FA มีจุดประสงค์อย่างชัดเจนในการค้นหาปัจจัยแฝงที่ถูกแมปเชิงเส้นตรงกับตัวแปรที่สังเกตผ่านการโหลดมันมีความยืดหยุ่นมากกว่า PCA และให้ผลการโหลดที่แตกต่างกัน "มุมมองลักษณะ FA บน PCA" และไม่ใช่ FA แม้ว่าบางคนคิดว่าเป็นหนึ่งในวิธีการ FA)

ทีนี้การหมุนจะทำอะไร? เช่นการหมุนมุมฉากเช่น varimax อันดับแรกพิจารณาเฉพาะองค์ประกอบเช่น:จากนั้นมันก็จะเป็นรูปสี่เหลี่ยมมุมฉากเมทริกซ์และปลั๊กเข้าสู่การสลายตัวนี้:ที่ โหลดที่หมุนได้รับโดย$k<p$

$$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_k \mathbf L^\top_k.$$ $k \times k$$\mathbf T$$\mathbf T\mathbf T^\top=\mathbf I$ $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf T \mathbf T^\top \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_\mathrm{rot} \mathbf L^\top_\mathrm{rot},$$ ˜ U r o t = ˜ U k T T L r o $\mathbf L_\mathrm{rot} = \mathbf L_k \mathbf T$และหมุนคะแนนมาตรฐานจะได้รับจากT (จุดประสงค์ของสิ่งนี้คือการหาเช่นนั้นใกล้จะกระจัดกระจายที่สุดเท่าที่จะทำได้เพื่ออำนวยความสะดวกในการตีความ)$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U}_k \mathbf T$$\mathbf T$$\mathbf L_\mathrm{rot}$

โปรดทราบว่าสิ่งที่หมุนคือ: (1) คะแนนมาตรฐาน, (2) การโหลด แต่ไม่ใช่คะแนนดิบและไม่ใช่ทิศทางหลัก! ดังนั้นการหมุนจึงเกิดขึ้นในพื้นที่แฝงไม่ใช่ในพื้นที่ดั้งเดิม นี่เป็นสิ่งสำคัญอย่างยิ่ง

จากมุมมองสไตล์ FA ไม่มีอะไรเกิดขึ้นมากมาย (A) ปัจจัยแฝงยังคงไม่เกี่ยวข้องและเป็นมาตรฐาน (B) พวกเขายังคงถูกแมปกับตัวแปรที่สังเกตผ่านการโหลด (หมุน) (C) ปริมาณของความแปรปรวนจับโดยแต่ละองค์ประกอบ / ปัจจัยที่จะได้รับจากผลรวมของค่ากำลังสองของแรงคอลัมน์ที่สอดคล้องกันใน{} (D) ทางเรขาคณิตการโหลดยังคงครอบคลุมพื้นที่ย่อย -dimensional เดียวกันใน (พื้นที่ย่อยที่ถูกขยายโดย PCA แรกeigenvectors) (E) การประมาณและข้อผิดพลาดในการสร้างใหม่ไม่ได้เปลี่ยนแปลงเลย (F) เมทริกซ์ความแปรปรวนร่วมยังคงใกล้เคียงกัน: k R P k$\mathbf L_\mathrm{rot}$$k$$\mathbb R^p$$k$$\mathbf X$

$$\boldsymbol \Sigma \approx \mathbf L_k\mathbf L_k^\top = \mathbf L_\mathrm{rot}\mathbf L_\mathrm{rot}^\top.$$

แต่มุมมองแบบ PCA นั้นถูกยุบลงจริง โหลดที่หมุนไม่สอดคล้องกับทิศทาง / แกนฉากในอีกต่อไปนั่นคือคอลัมน์ของไม่ใช่มุมฉาก! ยิ่งไปกว่านั้นถ้าคุณ [orthogonally] ฉายข้อมูลไปยังทิศทางที่กำหนดโดยการโหลดแบบหมุนคุณจะได้รับการประมาณการแบบสหสัมพันธ์ (!) และจะไม่สามารถกู้คืนคะแนนได้ [แทนการคำนวณคะแนนมาตรฐานหลังจากการหมุนใครจะต้องคูณเมทริกซ์ข้อมูลด้วยการหลอก - อินเวอร์สของโหลด} อีกวิธีหนึ่งสามารถหมุนคะแนนมาตรฐานดั้งเดิมด้วยเมทริกซ์การหมุน:$\mathbb R^p$$\mathbf L_\mathrm{rot}$$\widetilde{\mathbf U}_\mathrm{rot} = \mathbf X (\mathbf L_\mathrm{rot}^+)^\top$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U} \mathbf T$ ] นอกจากนี้ส่วนประกอบที่หมุนแล้วจะไม่จับภาพความแปรปรวนจำนวนสูงสุดอย่างต่อเนื่อง แม้ว่าส่วนประกอบที่หมุนได้ทั้งหมดจะจับความแปรปรวนได้มากเท่ากับองค์ประกอบหลักดั้งเดิมทั้งหมด)$k$$k$

นี่คือภาพประกอบ ข้อมูลนั้นเป็นวงรี 2 มิติที่ทอดยาวไปตามแนวทแยงมุมหลัก ทิศทางหลักแรกคือเส้นทแยงมุมหลักส่วนทิศทางที่สองคือมุมฉาก เวกเตอร์การโหลด PCA (eigenvectors ปรับขนาดโดยค่าลักษณะเฉพาะ) จะแสดงเป็นสีแดง - ชี้ในทั้งสองทิศทางและยืดด้วยปัจจัยคงที่สำหรับการมองเห็น จากนั้นฉันใช้การหมุนมุมฉากโดยกับการโหลด ผลลัพธ์การโหลดเวกเตอร์แสดงเป็นสีม่วงแดง โปรดสังเกตว่าพวกเขาไม่ใช่ orthogonal (!)$30^\circ$

สัญชาตญาณแบบ FA ที่นี่มีดังต่อไปนี้ลองจินตนาการถึง "พื้นที่แฝง" ซึ่งมีจุดที่เติมวงกลมเล็ก ๆ การกระจายจุดเหล่านี้จะขยายไปตามการโหลด PCA (สีแดง) เพื่อกลายเป็นวงรีข้อมูลที่เราเห็นในรูปนี้ อย่างไรก็ตามการกระจายเดียวกันของจุดที่สามารถหมุนแล้วเหยียดไปตามแรงหมุน PCA (สีม่วง) จะกลายเป็นวงรีข้อมูลเดียวกัน

[ต้องการจริงเห็นว่าการหมุนมุมฉากของแรงคือการหมุนหนึ่งต้องดูที่ biplot PCA; มีเวกเตอร์ / รังสีที่สอดคล้องกับตัวแปรเดิมก็จะหมุน.]

---

ให้เราสรุป หลังจากการหมุนมุมฉาก (เช่น varimax) แกน "หมุน - ตัวหลัก" ไม่ได้เป็นมุมฉากและการประมาณมุมฉากกับพวกมันไม่สมเหตุสมผล ดังนั้นเราควรวางมุมมอง / แกนฉายทั้งหมดนี้ มันจะแปลกที่จะเรียกมันว่า PCA (ซึ่งเป็นเรื่องเกี่ยวกับการคาดการณ์ที่มีความแปรปรวนสูงสุด ฯลฯ )

จากมุมมองสไตล์ FA เราเพียงแค่หมุนปัจจัยแฝง (ที่เป็นมาตรฐานและไม่เกี่ยวข้อง) ซึ่งเป็นการดำเนินการที่ถูกต้อง ไม่มี "การคาดการณ์" ใน FA; แต่ปัจจัยแฝงจะสร้างตัวแปรที่สังเกตได้ผ่านการโหลด ตรรกะนี้ยังคงอยู่ อย่างไรก็ตามเราเริ่มต้นด้วยองค์ประกอบหลักซึ่งไม่ได้เป็นปัจจัยจริง (เนื่องจาก PCA ไม่เหมือนกับ FA) ดังนั้นมันก็แปลกที่จะเรียกมันว่า FA เช่นกัน

แทนที่จะอภิปรายว่าควร "เรียกว่า" ควรเรียกว่า PCA หรือ FA ฉันควรจะพิถีพิถันในการระบุขั้นตอนการใช้งานที่แน่นอน: "PCA ตามด้วยการหมุน varimax"

---

Postscriptum มันเป็นไปได้ที่จะพิจารณาขั้นตอนการหมุนทางเลือกที่จะถูกแทรกระหว่างและV สิ่งนี้จะหมุนเวียนคะแนนดิบและ eigenvectors (แทนคะแนนมาตรฐานและการโหลด) ปัญหาที่ใหญ่ที่สุดของวิธีนี้คือหลังจากการ "หมุน" คะแนนจะไม่ถูกยกเลิกการเชื่อมโยงอีกต่อไปซึ่งเป็นอันตรายถึงชีวิตสำหรับ PCA เราสามารถทำได้ แต่ไม่ใช่วิธีการหมุนที่มักจะถูกเข้าใจและนำไปใช้$\mathbf{TT}^\top$$\mathbf{US}$$\mathbf V^\top$

การวิเคราะห์ส่วนประกอบหลัก (PCA) และการวิเคราะห์ปัจจัยทั่วไป (CFA) เป็นวิธีการที่แตกต่างกัน บ่อยครั้งที่พวกเขาสร้างผลลัพธ์ที่คล้ายกันและใช้ PCA เป็นวิธีการสกัดเริ่มต้นในรูทีนการวิเคราะห์ปัจจัย SPSS สิ่งนี้ทำให้เกิดความสับสนอย่างมากเกี่ยวกับความแตกต่างระหว่างทั้งสอง

บรรทัดล่างคือเหล่านี้เป็นสองรุ่นที่แตกต่างกันแนวคิด ใน PCA ส่วนประกอบคือชุดค่าผสมเชิงเส้นแบบฉากฉากที่เกิดขึ้นจริงเพื่อเพิ่มความแปรปรวนทั้งหมด ใน FA ปัจจัยคือชุดค่าผสมเชิงเส้นที่เพิ่มส่วนที่ใช้ร่วมกันสูงสุดของความแปรปรวน - "โครงสร้างแฝง" นั่นเป็นสาเหตุที่ FA มักเรียกว่า "การวิเคราะห์ปัจจัยทั่วไป" FA ใช้รูทีนการเพิ่มประสิทธิภาพที่หลากหลายและผลลัพธ์ซึ่งแตกต่างจาก PCA ขึ้นอยู่กับรูทีนการเพิ่มประสิทธิภาพที่ใช้และจุดเริ่มต้นสำหรับรูทีนเหล่านั้น เพียงแค่ไม่มีวิธีแก้ปัญหาเฉพาะเดียว

ใน R ฟังก์ชัน factanal () จัดเตรียม CFA ด้วยการแยกโอกาสสูงสุด ดังนั้นคุณไม่ควรคาดหวังว่ามันจะสร้างผลลัพธ์ SPSS ซึ่งขึ้นอยู่กับการแยก PCA มันไม่ใช่แบบหรือตรรกะเดียวกัน ฉันไม่แน่ใจว่าคุณจะได้รับผลลัพธ์เดียวกันหรือไม่หากคุณใช้การแยกโอกาสสูงสุดของ SPSS เนื่องจากอาจไม่ใช้อัลกอริทึมเดียวกัน

เพื่อให้ดีขึ้นหรือแย่ลงใน R อย่างไรก็ตามคุณสามารถสร้าง "การวิเคราะห์ปัจจัย" แบบผสมที่ SPSS ให้ไว้เป็นค่าเริ่มต้นได้ นี่คือกระบวนการในอาร์ด้วยรหัสนี้ฉันสามารถสร้างผลลัพธ์ "การวิเคราะห์ปัจจัย" องค์ประกอบ SPSS โดยใช้ชุดข้อมูลนี้ (ยกเว้นเครื่องหมายซึ่งไม่แน่นอน) ผลลัพธ์นั้นยังสามารถหมุนได้โดยใช้วิธีการหมุนแบบ Rs ใดก็ได้

# Load the base dataset attitude to work with.
data(attitude)
# Compute eigenvalues and eigen vectors of the correlation matrix.
pfa.eigen<-eigen(cor(attitude))
# Print and note that eigen values are those produced by SPSS.
# Also note that SPSS will extract 2 components as eigen values > 1 = 2
pfa.eigen$values
# set a value for the number of factors (for clarity)
factors<-2
# Extract and transform two components.
pfa.eigen$vectors [ , 1:factors ]  %*% 
+ diag ( sqrt (pfa.eigen$values [ 1:factors ] ),factors,factors )

คำตอบนี้จะนำเสนอในรูปแบบแผนภูมิเส้นทางสิ่งที่ @amoeba ให้เหตุผลในคำตอบของเขาลึก (แต่ซับซ้อนเล็กน้อย) ในหัวข้อนี้ (ฉันเห็นด้วยกับ 95%) และวิธีที่พวกเขาปรากฏให้ฉัน .

PCA ในรูปแบบที่เหมาะสมและน้อยที่สุดคือการหมุนมุมฉากเฉพาะของข้อมูลที่มีความสัมพันธ์กับรูปแบบที่ไม่เกี่ยวข้องกับองค์ประกอบหลักที่ skimming ตามลำดับน้อยลงและน้อยลงของความแปรปรวนโดยรวม หากการลดขนาดเป็นสิ่งที่เราต้องการเรามักจะไม่คำนวณโหลดและสิ่งที่พวกเขาลากหลังจากพวกเขา เรามีความสุขกับ (ดิบ) คะแนนองค์ประกอบหลักP [โปรดทราบว่าสัญลักษณ์ในแผนภูมิไม่ได้ติดตาม @ amoeba อย่างแม่นยำ - ฉันยึดติดกับสิ่งที่ฉันนำมาใช้ในคำตอบอื่น ๆ ของฉัน]$\bf P$

ในแผนภูมิฉันใช้ตัวอย่างง่ายๆของตัวแปรสองตัวp=2และใช้ทั้งส่วนประกอบหลักที่แยกออกมา แม้ว่าโดยปกติแล้วเราจะเก็บm<pส่วนประกอบเพียงไม่กี่ชิ้นเท่านั้น แต่สำหรับคำถามเชิงทฤษฎีที่เรากำลังพิจารณา ("PCA คือการหมุน PCA หรืออะไร") ไม่สร้างความแตกต่างเลยถ้าจะเก็บไว้mหรือทั้งหมดp; อย่างน้อยในคำตอบเฉพาะของฉัน

เคล็ดลับของการโหลดคือการดึงสเกล (ขนาด, ความแปรปรวน, ความเฉื่อย ) ออกจากส่วนประกอบ (คะแนนดิบ) และไปยังค่าสัมประสิทธิ์ (eigenvector) ออกจากอดีตให้เป็น "เฟรม"มาตรฐาน คะแนนองค์ประกอบ) และส่วนหลังที่จะเป็นเนื้อ (การโหลด) คุณเรียกคืนข้อมูลอย่างเท่าเทียมกันได้ดีกับทั้งสอง:P_zA' แต่การเปิดรับการโหลดโอกาส: (i) เพื่อตีความส่วนประกอบ; (ii) หมุนได้ (iii) เพื่อเรียกคืนความสัมพันธ์ / ความแปรปรวนร่วมของตัวแปร ทั้งหมดนี้เป็นเพราะความจริงที่ว่าความแปรปรวนของข้อมูลนั้นถูกเขียนในการโหลดเช่นเดียวกับการโหลด$\bf L$$\bf V$$\bf P_z$$\bf A$$\bf X=PV'=P_zA'$

และพวกเขาสามารถกลับไปโหลดที่กลับไปที่จุดข้อมูลในเวลาใด ๆ - ในขณะนี้หรือหลังจากการหมุน ถ้าเรานึกถึงการหมุนมุมฉากเช่นวาริแม็กซ์นั่นหมายความว่าเราต้องการให้องค์ประกอบยังคงไม่ถูกเชื่อมโยงกันหลังจากการหมุนเสร็จสิ้น ข้อมูลที่มีเมทริกซ์ความแปรปรวนร่วมทรงกลมเท่านั้นเมื่อหมุนมุมฉากรักษาความไม่ได้ และ voila ส่วนประกอบหลักที่เป็นมาตรฐาน (ซึ่งในการเรียนรู้ของเครื่องมักจะถูกเรียกว่า "ข้อมูลที่ทำให้ขาวขึ้น PCA")คือข้อมูลเวทมนตร์ (เป็นสัดส่วนจริงทางด้านซ้ายเช่นแถว eigenvectors ของข้อมูล) ในขณะที่เรากำลังค้นหาเมทริกซ์การหมุน varimax$\bf P_z$$\bf P_z$$\bf Q$เพื่ออำนวยความสะดวกในการแปลความหมายของการโหลดจุดข้อมูลอย่างอดทนรออยู่ในความกลมกลืนและเอกลักษณ์ (หรือ "ความขาว")

หลังจากพบการหมุนของโดยจะเท่ากับการคำนวณทางปกติของคะแนนองค์ประกอบหลักที่เป็นมาตรฐานผ่านการผกผันทั่วไปของเมทริกซ์การโหลด - คราวนี้ของการโหลดแบบหมุน (ดูแผนภูมิ ) ส่วนประกอบ VariMax หมุนผลลัพธ์หลักมี uncorrelated เหมือนอย่างที่เราอยากให้มันบวกกับข้อมูลที่มีการบูรณะโดยพวกเขาเช่นเดียวกับก่อนที่จะหมุน:C_zA_r' จากนั้นเราอาจจะให้พวกเขากลับมาขนาดของพวกเขาฝาก (และตามหมุน) ใน - เพื่อ unstandardize พวกเขาC$\bf Q$$\bf P_z$$\bf A_r$$\bf C_z$$\bf X=P_zA'=C_zA_r'$$\bf A_r$$\bf C$

เราควรระวังว่า "ส่วนประกอบหลักที่หมุนรอบค่า varimax" ไม่ใช่องค์ประกอบหลักอีกต่อไป: ฉันใช้สัญกรณ์ Cz, C แทน Pz, P เพื่อเน้นมัน พวกเขาเป็นเพียง "ส่วนประกอบ" ส่วนประกอบหลักนั้นมีความเป็นเอกลักษณ์ แต่ส่วนประกอบนั้นมีมากมาย การหมุนนอกเหนือจาก varimax จะให้ผลตัวแปรใหม่อื่น ๆ ที่เรียกว่าส่วนประกอบและไม่เกี่ยวข้องกันนอกจากเรา$\bf C$

นอกจากนี้ยังกล่าวได้ว่าส่วนประกอบหลักของ varimax-rotated (หรือหมุนแบบ orthogonally) (ตอนนี้เป็นเพียงแค่ "ส่วนประกอบ") ในขณะที่ยังคงไม่ได้รับความสัมพันธ์ orthogonal ไม่ได้หมายความว่าการบรรทุกของพวกเขายังคงเป็น orthogonal คอลัมน์ของเป็นมุมฉากซึ่งกันและกัน (เช่นเดียวกับ eigenvectors ) แต่ไม่ใช่คอลัมน์ของ (ดูเชิงอรรถที่นี่ด้วย )$\bf A$$\bf V$$\bf A_r$

และในที่สุด - การหมุนส่วนประกอบหลักดิบด้วยของเราไม่ใช่การกระทำที่มีประโยชน์ เราจะได้รับ varibles ที่มีความสัมพันธ์มีความหมายที่เป็นปัญหา ดูเหมือนจะเป็นเพื่อเพิ่มประสิทธิภาพ (ในทางบางอย่าง) การกำหนดค่าของแรงซึ่งได้ดูดซึมขนาดทั้งหมดลงในพวกเขา ไม่เคยได้รับการฝึกฝนให้หมุนจุดข้อมูลด้วยระดับที่เหลืออยู่ การหมุนกับจะเทียบเท่ากับการหมุนeigenvectorกับ (เป็น$\bf P$$\bf Q$$\bf "C"$$\bf Q$$\bf Q$$\bf P$$\bf Q$ $\bf V$$\bf Q$$\bf V_r$) และจากนั้นคำนวณคะแนนองค์ประกอบดิบเป็น"C" "เส้นทาง" เหล่านี้บันทึกโดย @amoeba ใน Postscriptum ของพวกเขา$\bf "C"=XV_r$

การกระทำที่สรุปไว้ในท้ายที่สุดนี้ (ไม่มีจุดหมายสำหรับส่วนใหญ่) เตือนเราว่า eigenvector ไม่เพียง แต่การโหลดเท่านั้นที่สามารถหมุนได้โดยทั่วไป ตัวอย่างเช่นขั้นตอน varimax สามารถนำไปใช้กับพวกเขาเพื่อลดความซับซ้อนของโครงสร้างของพวกเขา แต่เนื่องจาก eigenvector ไม่ได้มีประโยชน์ในการตีความความหมายของส่วนประกอบตามที่มีการโหลดดังนั้นการหมุนของ eigenvector จึงไม่เกิดขึ้นบ่อยนัก

ดังนั้น PCA ที่มีการหมุน varimax (หรืออื่น ๆ ) ที่ตามมาคือ

• ยังคง PCA
• ซึ่งในทางที่ถูกทอดทิ้งองค์ประกอบหลักสำหรับส่วนประกอบเพียง
• ที่อาจตีความได้ว่า (มากกว่าพีซี) เป็น "ลักษณะแฝง"
• แต่ไม่ได้จำลองแบบ satistically เนื่องจาก (PCA ไม่ใช่การวิเคราะห์ปัจจัยที่เป็นธรรม)

ฉันไม่ได้อ้างถึงการวิเคราะห์ปัจจัยในคำตอบนี้ สำหรับฉันดูเหมือนว่า @ amoeba ที่ใช้คำว่า "พื้นที่ที่ซ่อนเร้น" นั้นค่อนข้างเสี่ยงในบริบทของคำถามที่ถาม อย่างไรก็ตามฉันจะเห็นพ้องว่าการหมุนการวิเคราะห์ PCA + อาจเรียกว่า " มุมมองแบบ FA บน PCA"

ในpsych::principal()ที่คุณสามารถทำแตกต่างกันของการหมุน / การเปลี่ยนแปลงองค์ประกอบของสารสกัดหลัก (s) หรือ '' พีซี '' ใช้rotate=อาร์กิวเมนต์ที่ชอบ: "none", "varimax"(Default), "quatimax", "promax", "oblimin", และ"simplimax" "cluster"คุณต้องตัดสินใจอย่างชัดเจนว่าควรเลือกใช้แบบใดในกรณีของคุณหากจำเป็นขึ้นอยู่กับการประเมินของคุณเองและความรู้ในเรื่องที่อยู่ภายใต้การสอบสวน คำถามสำคัญที่อาจให้คำใบ้แก่คุณ: คำถามใดที่สามารถตีความได้อีก (ถ้าจำเป็น) อีกครั้ง

ในความช่วยเหลือคุณอาจพบว่าสิ่งต่อไปนี้เป็นประโยชน์:

เป็นสิ่งสำคัญที่ต้องตระหนักว่าส่วนประกอบหลักที่หมุนแล้วไม่ใช่องค์ประกอบหลัก (แกนที่เกี่ยวข้องกับการสลายตัวของค่า eigen) แต่เป็นเพียงส่วนประกอบ ในการชี้ให้เห็นสิ่งนี้ส่วนประกอบหลักที่ไม่ได้ทำการโรตารี่จะถูกระบุว่าเป็น PCi ในขณะที่พีซีแบบหมุนได้รับการระบุว่าเป็น RCi (สำหรับส่วนประกอบที่หมุน) และคอมโพเนนต์ที่ถูกเปลี่ยนแบบอ้อมเป็น TCi (สำหรับส่วนประกอบที่ถูกเปลี่ยนรูป) (ขอบคุณ Ulrike Gromping สำหรับคำแนะนำนี้)

ความเข้าใจของฉันคือความแตกต่างระหว่าง PCA และการวิเคราะห์ปัจจัยส่วนใหญ่อยู่ในว่ามีข้อผิดพลาดหรือไม่ ดังนั้น PCA สามารถและจะเป็นตัวแทนของข้อมูลอย่างซื่อสัตย์ในขณะที่การวิเคราะห์ปัจจัยนั้นไม่ซื่อสัตย์กับข้อมูลที่ได้รับการฝึกฝน แต่พยายามที่จะเป็นตัวแทนของแนวโน้มหรือความเป็นชุมชนในข้อมูล ภายใต้วิธีการมาตรฐาน PCA ไม่ได้หมุน แต่เป็นไปได้ทางคณิตศาสตร์ที่จะทำเช่นนั้นผู้คนทำมันเป็นครั้งคราว ฉันเห็นด้วยกับผู้แสดงความคิดเห็นว่า "ความหมาย" ของวิธีการเหล่านี้ค่อนข้างใช้งานได้และมันก็ควรที่จะแน่ใจว่าฟังก์ชั่นที่คุณใช้นั้นทำในสิ่งที่คุณตั้งใจ - ตัวอย่างเช่นเมื่อคุณทราบว่า R มีฟังก์ชั่นบางอย่าง PCA ประเภทอื่นที่แตกต่างจากผู้ใช้ SPSS มีความคุ้นเคย

ขอบคุณความวุ่นวายในคำจำกัดความของทั้งคู่จึงเป็นคำพ้องอย่างมีประสิทธิภาพ อย่าเชื่อคำพูดและมองลึกเข้าไปในบริเวณท่าเรือเพื่อค้นหาสมการ

แม้ว่าคำถามนี้มีคำตอบที่ยอมรับแล้วฉันต้องการเพิ่มบางสิ่งบางอย่างลงในจุดของคำถาม

"PCA" - หากฉันจำได้ถูกต้อง - หมายถึง "การวิเคราะห์องค์ประกอบหลัก"; ดังนั้นตราบใดที่คุณกำลังวิเคราะห์องค์ประกอบหลักอาจจะไม่มีการหมุนหรือการหมุนเรายังอยู่ในการวิเคราะห์ "ส่วนประกอบหลัก" (ซึ่งพบโดยการสลายตัวเริ่มต้นที่เหมาะสมของเมทริกซ์)

ฉันจะกำหนดว่าหลังจาก "varimax" - การหมุนบนสององค์ประกอบหลักแรกนั้นเรามี "varimax-solution ของพีซีสองเครื่องแรก" (หรืออย่างอื่น) แต่ยังอยู่ในกรอบการวิเคราะห์องค์ประกอบหลัก หรือสั้นกว่านั้นอยู่ในกรอบของ "pca"

เพื่อให้ประเด็นของฉันชัดเจนยิ่งขึ้น: ฉันไม่รู้สึกว่าคำถามง่าย ๆ เกี่ยวกับการหมุนแนะนำปัญหาของการแยกแยะระหว่าง EFA และ CFA (ที่กล่าวถึงหลัง / นำไปสู่ปัญหาเช่นในคำตอบของ Brett)

ฉันพบนี้จะเป็นประโยชน์มากที่สุด: อับและวิลเลียมส์ 2010 การวิเคราะห์องค์ประกอบหลัก

หมุน

หลังจากกำหนดจำนวนของส่วนประกอบแล้วและเพื่ออำนวยความสะดวกในการตีความการวิเคราะห์มักจะเกี่ยวข้องกับการหมุนของส่วนประกอบที่ถูกเก็บรักษาไว้ [ดูเช่นอ้างอิง 40 และ 67 เพื่อดูรายละเอียดเพิ่มเติม] มีการใช้การหมุนสองประเภทหลัก: orthogonal เมื่อแกนใหม่เป็น orthogonal ด้วยเช่นกันและเอียงเมื่อแกนใหม่ไม่จำเป็นต้องเป็นมุมฉาก เนื่องจากการหมุนจะดำเนินการในพื้นที่ย่อยเสมอแกนใหม่จะอธิบายความเฉื่อยน้อยกว่าส่วนประกอบเดิมเสมอ (ซึ่งคำนวณได้ว่าเหมาะสมที่สุด) อย่างไรก็ตามส่วนหนึ่งของความเฉื่อยที่อธิบายโดยสเปซย่อยทั้งหมดหลังจากการหมุนนั้นเหมือนกับก่อนหน้าการหมุน (เฉพาะพาร์ติชันของความเฉื่อยเท่านั้นที่มีการเปลี่ยนแปลง) สิ่งสำคัญคือต้องทราบว่าเนื่องจากการหมุนเกิดขึ้นในพื้นที่ย่อยเสมอ (เช่น พื้นที่ของส่วนประกอบที่เก็บไว้) ตัวเลือกของพื้นที่ย่อยนี้มีอิทธิพลอย่างมากต่อผลลัพธ์ของการหมุน ดังนั้นจึงขอแนะนำให้ลองหลายขนาดสำหรับพื้นที่ย่อยของส่วนประกอบที่เก็บไว้เพื่อประเมินความทนทานของการตีความการหมุน เมื่อทำการหมุนคำว่าการโหลดมักจะอ้างถึงองค์ประกอบของเมทริกซ์ Q

(ดูกระดาษสำหรับคำจำกัดความของ Q)