มีเหตุผลที่ดีที่จะใช้ PCA แทน EFA หรือไม่ PCA สามารถใช้ทดแทนการวิเคราะห์ปัจจัยได้หรือไม่?

ในบางสาขามีการใช้ PCA (การวิเคราะห์องค์ประกอบหลัก) อย่างเป็นระบบโดยไม่มีเหตุผลและ PCA และ EFA (การวิเคราะห์ปัจจัยเชิงสำรวจ) ถือเป็นคำพ้องความหมาย

ดังนั้นเมื่อเร็ว ๆ นี้ฉันใช้ PCA เพื่อวิเคราะห์ผลการศึกษาการตรวจสอบความถูกต้องของสเกล (21 รายการใน 7 คะแนน Likert ซึ่งสันนิษฐานว่าประกอบด้วยองค์ประกอบ 3 รายการจาก 7 รายการ) และผู้ตรวจสอบถามฉันว่าทำไมฉันถึงเลือก PCA แทน EFA ฉันอ่านเกี่ยวกับความแตกต่างระหว่างเทคนิคทั้งสองและดูเหมือนว่า EFA ได้รับการสนับสนุนจาก PCA ในคำตอบส่วนใหญ่ของคุณที่นี่

คุณมีเหตุผลที่ดีว่าทำไม PCA ถึงเป็นตัวเลือกที่ดีกว่า ประโยชน์อะไรบ้างที่จะได้รับและทำไมจึงเป็นตัวเลือกที่ฉลาดในกรณีของฉัน

คำเตือน: @ttnphns มีความรู้มากเกี่ยวกับทั้ง PCA และ FA และฉันเคารพความคิดเห็นของเขาและได้เรียนรู้มากมายจากคำตอบที่ยอดเยี่ยมมากมายของเขาในหัวข้อนี้ อย่างไรก็ตามฉันมักจะไม่เห็นด้วยกับคำตอบของเขาที่นี่รวมถึงโพสต์อื่น ๆ อีกมากมายในหัวข้อนี้ที่ CV ไม่ใช่แค่เขา หรือค่อนข้างฉันคิดว่าพวกเขามีการบังคับใช้ที่ จำกัด

---

ฉันคิดว่าความแตกต่างระหว่าง PCA และ FA นั้นเกินจริง

ดูที่มัน: ทั้งสองวิธีพยายามจัดให้มีการประมาณค่าต่ำของเมทริกซ์ความแปรปรวนร่วม (หรือสหสัมพันธ์) ที่กำหนด "อันดับต่ำ" หมายความว่ามีการใช้เฉพาะจำนวนปัจจัยแฝง (ต่ำ) หรือองค์ประกอบหลักเท่านั้น ถ้าแปรปรวนเมทริกซ์ของข้อมูลคือดังนั้นแบบจำลองคือ:$n \times n$$\mathbf C$

$$\begin{align} \mathrm{PCA:} &\:\:\: \mathbf C \approx \mathbf W \mathbf W^\top \\ \mathrm{PPCA:} &\:\:\: \mathbf C \approx \mathbf W \mathbf W^\top + \sigma^2 \mathbf I \\ \mathrm{FA:} &\:\:\: \mathbf C \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi \end{align}$$

ที่นี่เป็นเมทริกซ์ที่มีคอลัมน์ (โดยที่มักจะถูกเลือกให้เป็นจำนวนน้อย, ) แทนองค์ประกอบหรือปัจจัยหลักเป็นเมทริกซ์เอกลักษณ์และเป็นแนวทแยงมุม มดลูก แต่ละวิธีสามารถกำหนดเป็นวิธีการหา (และที่เหลือ) เพื่อลดความแตกต่างระหว่างบรรทัดฐานของ [นอร์ม - ซ้าย] และมือขวา k k k < n k I Ψ $\mathbf W$$k$$k$$k<n$$k$$\mathbf I$$\boldsymbol \Psi$$\mathbf W$

PPCA ย่อมาจากPCA ที่น่าจะเป็นและถ้าคุณไม่รู้ว่ามันคืออะไรมันก็ไม่สำคัญเท่าไหร่ในตอนนี้ ฉันอยากจะพูดถึงมันเพราะมันลงตัวระหว่าง PCA และ FA ที่มีความซับซ้อนของแบบจำลองระดับกลาง มันทำให้ความแตกต่างที่ถูกกล่าวหาอย่างมากระหว่าง PCA และ FA ในมุมมอง: แม้ว่ามันจะเป็นแบบจำลองความน่าจะเป็น (เหมือนกับ FA) แต่จริงๆแล้วมันกลับกลายเป็นเกือบเทียบเท่ากับ PCA (ครอบคลุมพื้นที่ย่อยเดียวกัน)$\mathbf W$

สิ่งสำคัญที่สุดคือทราบว่ารุ่นเท่านั้นที่แตกต่างกันในวิธีการรักษาเส้นทแยงมุมของC ในฐานะที่เป็นมิติเพิ่มขึ้นจะกลายเป็นเส้นทแยงมุมในทางที่น้อยลงและมีความสำคัญน้อย (เพราะมีเพียงองค์ประกอบในแนวทแยงและองค์ประกอบปิดเส้นทแยงมุม) เป็นผลให้สำหรับขนาดใหญ่มักจะไม่แตกต่างกันมากระหว่าง PCA และ FA เลยการสังเกตที่ไม่ค่อยชื่นชม สำหรับขนาดเล็กพวกเขาสามารถแตกต่างกันมากแน่นอน n n n ( n - 1 ) / 2 = O ( n 2 ) n $\mathbf C$$n$$n$$n(n-1)/2 = \mathcal O (n^2)$$n$$n$

ตอนนี้เพื่อตอบคำถามหลักของคุณว่าเหตุใดคนในสาขาวิชาบางคนจึงชอบ PCA ฉันเดาว่ามันทำให้ความจริงที่ว่ามันง่ายกว่า FA มาก ๆ (นี่ไม่ชัดเจนจากสูตรข้างต้นดังนั้นคุณต้องเชื่อฉันที่นี่):

1. PCA - เช่นเดียวกับ PPCA ซึ่งแตกต่างกันเพียงเล็กน้อย - มีวิธีการวิเคราะห์ในขณะที่ FA ไม่ได้ ดังนั้น FA จำเป็นต้องพอดีกับตัวเลขจึงมีอัลกอริธึมต่าง ๆ ในการทำมันให้คำตอบที่แตกต่างกันและอาจใช้งานภายใต้สมมติฐานต่าง ๆ ฯลฯ ในบางกรณีอัลกอริธึมบางอย่างอาจติดอยู่ได้ สำหรับ PCA คุณทำการย่อยสลายไอเจนและคุณเสร็จสิ้นแล้ว เอฟเอเป็นเรื่องยุ่งมากขึ้น

   ในทางเทคนิค PCA จะทำการหมุนตัวแปรและนั่นคือสาเหตุที่ใคร ๆ สามารถอ้างถึงมันเป็นการแปลงเพียงอย่างเดียวตามที่ @NickCox ทำในความคิดเห็นของเขาด้านบน

2. วิธีการแก้ปัญหา PCA ไม่ขึ้นอยู่กับ : คุณสามารถหาสามพีซีครั้งแรก ( ) และสองคนแรกของผู้ที่กำลังจะเป็นเหมือนกันกับคนที่คุณจะพบว่าถ้าคุณเริ่มตั้ง 2 นั่นไม่เป็นความจริงสำหรับเอฟเอ: วิธีแก้ปัญหาสำหรับไม่อยู่จำเป็นต้องภายในแก้ปัญหาสำหรับ 3 สิ่งนี้ตอบโต้ได้ง่ายและสับสนk = 3 k = 2 k = 2 k = $k$$k=3$$k=2$$k=2$$k=3$

แน่นอน FA นั้นมีความยืดหยุ่นมากกว่า PCA (หลังจากนั้นมันมีพารามิเตอร์มากกว่า) และมักจะมีประโยชน์มากกว่า ฉันไม่ได้โต้แย้งกับสิ่งนั้น สิ่งที่ฉันกำลังเถียงกับเป็นอ้างว่าพวกเขามีแนวคิดที่แตกต่างกันมากกับ PCA เป็นเกี่ยวกับ "การอธิบายข้อมูล" และเอฟเอเป็นเรื่อง "การหาตัวแปรแฝง" ฉันไม่เห็นว่านี่เป็นความจริง [เกือบ] เลย

หากต้องการแสดงความคิดเห็นในประเด็นเฉพาะที่กล่าวถึงข้างต้นและในคำตอบที่เชื่อมโยง:

• "ใน PCA จำนวนมิติที่จะแยก / เก็บรักษาเป็นอัตนัยพื้นฐานในขณะที่ EFA กำหนดหมายเลขแล้วและคุณต้องตรวจสอบวิธีแก้ปัญหาต่าง ๆ " - ดีการเลือกโซลูชันยังคงเป็นอัตวิสัยดังนั้นฉันจึงไม่ ดูความแตกต่างทางแนวคิดที่นี่ ในทั้งสองกรณีถูกเลือก (แบบอัตนัยหรือเป็นกลาง) เพื่อเพิ่มประสิทธิภาพการแลกเปลี่ยนระหว่างความพอดีของแบบจำลองและความซับซ้อนของแบบจำลอง$k$

• "เอฟเอคือสามารถที่จะอธิบายความสัมพันธ์คู่ (covariances) PCA โดยทั่วไปไม่สามารถทำมัน." - ไม่ได้จริงๆทั้งสองของพวกเขาอธิบายความสัมพันธ์ที่ดีขึ้นและดีขึ้นเป็นเติบโต$k$

• บางครั้งความสับสนเกิดขึ้นเป็นพิเศษ (แต่ไม่ใช่ในคำตอบของ @ttnphns!) เนื่องจากการปฏิบัติที่แตกต่างกันในสาขาวิชาโดยใช้ PCA และ FA ตัวอย่างเช่นเป็นวิธีปฏิบัติทั่วไปในการหมุนปัจจัยใน FA เพื่อปรับปรุงความสามารถในการตีความ นี่เป็นเรื่องยากที่จะทำหลังจาก PCA แต่โดยหลักการแล้วไม่มีอะไรจะป้องกันได้ ดังนั้นคนมักจะคิดว่า FA ให้สิ่งที่คุณ "ตีความ" และ PCA ไม่ได้ แต่นี่มักเป็นภาพลวงตา

สุดท้ายให้ผมเน้นอีกครั้งว่ามีขนาดเล็กมากความแตกต่างระหว่าง PCA และเอฟเอคัแน่นอนอาจมีขนาดใหญ่และอาจจะบางส่วนของการเรียกร้องในความโปรดปรานของเอฟเอจะทำกับขนาดเล็กในใจ เป็นตัวอย่างที่ดีที่สุดสำหรับมีเพียงปัจจัยเดียวที่สามารถอธิบายความสัมพันธ์ได้อย่างสมบูรณ์แบบ แต่พีซีหนึ่งเครื่องไม่สามารถทำได้อย่างไม่ดีนักn n = $n$$n$$n=2$

---

อัปเดต 1: แบบจำลองเชิงกำเนิดของข้อมูล

คุณสามารถเห็นได้จากจำนวนความคิดเห็นที่สิ่งที่ฉันพูดจะนำไปสู่การโต้เถียง หากมีความเสี่ยงต่อการเกิดน้ำท่วมในส่วนของความคิดเห็นเพิ่มเติมต่อไปนี้เป็นคำพูดเกี่ยวกับ "รุ่น" (ดูความคิดเห็นโดย @ttnphns และ @gung) @ttnphns ไม่ชอบที่ฉันใช้คำว่า "model" [ของเมทริกซ์ความแปรปรวนร่วม]เพื่ออ้างถึงการประมาณข้างต้น มันเป็นเรื่องของคำศัพท์ แต่สิ่งที่เขาเรียกว่า "รุ่น" มีความน่าจะเป็น / รุ่นกำเนิดของข้อมูล :

$$\begin{align} \mathrm{PPCA}: &\:\:\: \mathbf x = \mathbf W \mathbf z + \boldsymbol \mu + \boldsymbol \epsilon, \; \boldsymbol \epsilon \sim \mathcal N(0, \sigma^2 \mathbf I) \\ \mathrm{FA}: &\:\:\: \mathbf x = \mathbf W \mathbf z + \boldsymbol \mu + \boldsymbol \epsilon, \; \boldsymbol \epsilon \sim \mathcal N(0, \boldsymbol \Psi) \end{align}$$

โปรดทราบว่า PCA ไม่ใช่แบบจำลองความน่าจะเป็นและไม่สามารถกำหนดสูตรด้วยวิธีนี้

ความแตกต่างระหว่าง PPCA และ FA อยู่ในระยะของสัญญาณรบกวน: PPCA ถือว่าความแปรปรวนของเสียงเดียวกันสำหรับแต่ละตัวแปรในขณะที่ FA ถือว่าแตกต่างกัน ("uniquenesses") ความแตกต่างเล็กน้อยนี้มีผลกระทบที่สำคัญ ทั้งสองรุ่นสามารถปรับให้เหมาะสมกับอัลกอริธึมการเพิ่มความคาดหวังสูงสุดโดยทั่วไป สำหรับ FA ไม่มีวิธีการวิเคราะห์ที่เป็นที่รู้จัก แต่สำหรับ PPCA สามารถวิเคราะห์หาโซลูชันที่ EM จะเข้าหา (ทั้งและ ) ปรากฎว่ามีคอลัมน์ในทิศทางเดียวกัน แต่มีความยาวน้อยกว่าการโหลด PCA มาตรฐาน (ฉันไม่ได้ใช้สูตรที่แน่นอน) ด้วยเหตุนี้ฉันจึงคิดว่า PPCA เป็น "เกือบ" PCA:Ψ ฉันฉัน σ 2 $\sigma^2$$\Psi_{ii}$$\sigma^2$$\mathbf W$W P C$\mathbf W_\mathrm{PPCA}$$\mathbf W_\mathrm{PCA}$$\mathbf W$ในทั้งสองกรณีขยาย "พื้นที่ย่อยหลัก" เดียวกัน

การพิสูจน์ ( Tipping and Bishop 1999 ) เป็นเรื่องทางเทคนิคเล็กน้อย เหตุผลที่เข้าใจง่ายว่าทำไมความแปรปรวนของเสียงที่เป็นเนื้อเดียวกันนำไปสู่การแก้ปัญหาที่ง่ายกว่ามากคือมี eigenvectors เดียวกันกับสำหรับค่าของแต่นี่ไม่เป็นความจริงสำหรับ\$\mathbf C - \sigma^2 \mathbf I$σ 2 C - $\mathbf C$$\sigma^2$$\mathbf C - \boldsymbol \Psi$

ดังนั้นใช่ @gung และ @ttnphns ใน FA นั้นตั้งอยู่บนพื้นฐานของรูปแบบทั่วไปและ PCA ไม่ได้เป็น แต่ฉันคิดว่ามันเป็นสิ่งสำคัญที่จะเพิ่มว่า PPCA นั้นยังอยู่บนรูปแบบกำเนิด แต่เกือบ "เทียบเท่ากับ PCA . จากนั้นมันก็ดูเหมือนจะมีความแตกต่างที่สำคัญ

---

อัปเดต 2: ทำไม PCA ถึงให้การประมาณค่าความแปรปรวนร่วมที่ดีที่สุดเมื่อเป็นที่ทราบกันดีว่ากำลังมองหาความแปรปรวนสูงสุด

PCA มีสองสูตรที่เทียบเท่ากัน: เช่นพีซีเครื่องแรกคือ (a) หนึ่งที่เพิ่มความแปรปรวนของการฉายภาพและ (b) หนึ่งที่ให้ข้อผิดพลาดการสร้างใหม่ที่น้อยที่สุด เพิ่มเติม abstractly, ความสมดุลระหว่างการเพิ่มความแปรปรวนและลดข้อผิดพลาดในการฟื้นฟูสามารถมองเห็นได้โดยใช้ทฤษฎีบท Eckart หนุ่ม

ถ้าเป็นเมทริกซ์ข้อมูล (โดยมีการสังเกตเป็นแถวตัวแปรเป็นคอลัมน์และคอลัมน์จะถือว่าอยู่กึ่งกลาง) และการย่อย SVD คือแล้ว เป็นที่รู้กันดีว่าคอลัมน์ของเป็น eigenvectors ของเมทริกซ์กระจาย (หรือความแปรปรวนร่วมเมทริกซ์ถ้าหารด้วยจำนวนการสังเกต)และดังนั้นพวกเขาจึงเป็นแกนเพิ่มความแปรปรวน (เช่นแกนหลัก) แต่โดยทฤษฎีบท Eckart-หนุ่มแรกเครื่องคอมพิวเตอร์ให้ดีที่สุด rank-ประมาณเพื่อ :$\mathbf X$$\mathbf X=\mathbf U\mathbf S\mathbf V^\top$$\mathbf V$$\mathbf C=\mathbf X^\top \mathbf X=\mathbf V\mathbf S^2\mathbf V^\top$$k$$k$$\mathbf X$$\mathbf X_k=\mathbf U_k\mathbf S_k \mathbf V^\top_k$(เครื่องหมายนี้หมายถึงการสละเพียงค่าเอกพจน์ใหญ่ที่สุด / เวกเตอร์) ช่วยลด 2$k$$\|\mathbf X-\mathbf X_k\|^2$

ครั้งแรกพีซีให้ไม่เพียง แต่ที่ดีที่สุด rank-ประมาณเพื่อแต่ยังรวมถึงความแปรปรวนเมทริกซ์C แท้จริงและสมการสุดท้ายทำให้การสลายตัวของ SVD (เพราะคือ orthogonal และเป็นแนวทแยงมุม) ดังนั้นทฤษฎีบท Eckert หนุ่มบอกเราว่าสิ่งที่ดีที่สุด rank-ประมาณเพื่อจะได้รับจากV_k สิ่งนี้สามารถเปลี่ยนแปลงได้โดยการสังเกตว่าk X C C = X ⊤ X = V S 2 V ⊤ C V S$k$$k$$\mathbf X$$\mathbf C$$\mathbf C=\mathbf X^\top \mathbf X=\mathbf V\mathbf S^2\mathbf V^\top$$\mathbf C$$\mathbf V$$\mathbf S^2$C C k = V k S 2 k V ⊤ k W = V S C k = V k S 2 k V ⊤ k = ( V S ) k ( V S ) ⊤ k = $k$$\mathbf C$$\mathbf C_k = \mathbf V_k\mathbf S_k^2\mathbf V_k^\top$$\mathbf W = \mathbf V\mathbf S$คือการโหลด PCA และ

$$\mathbf C_k=\mathbf V_k\mathbf S_k^2\mathbf V^\top_k=(\mathbf V\mathbf S)_k(\mathbf V\mathbf S)_k^\top=\mathbf W_k\mathbf W^\top_k.$$

บรรทัดล่างนี่คือ ตามที่ระบุไว้ในตอนต้น

$$\mathrm{minimizing} \; \left\{\begin{array}{ll} \|\mathbf C-\mathbf W\mathbf W^\top\|^2 \\ \|\mathbf C-\mathbf W\mathbf W^\top-\sigma^2\mathbf I\|^2 \\ \|\mathbf C-\mathbf W\mathbf W^\top-\boldsymbol\Psi\|^2\end{array}\right\} \; \mathrm{leads \: to} \; \left\{\begin{array}{cc} \mathrm{PCA}\\ \mathrm{PPCA} \\ \mathrm{FA} \end{array}\right\} \; \mathrm{loadings},$$

---

อัปเดต 3: การสาธิตเชิงตัวเลขที่ PCA FA เมื่อn → $\to$$n \to \infty$

ฉันได้รับการสนับสนุนจาก @ttnphns เพื่อให้การสาธิตเชิงตัวเลขของการอ้างสิทธิ์ของฉันว่าเมื่อมิติข้อมูลเติบโตขึ้นโซลูชัน PCA จะเข้าหาโซลูชัน FA ที่นี่มันไป

ฉันสร้างเมทริกซ์สหสัมพันธ์แบบสุ่มคูณความสัมพันธ์แบบเส้นทแยงมุมที่แข็งแกร่ง จากนั้นฉันก็เอามุมบนซ้ายบล็อกสี่เหลี่ยมของเมทริกซ์นี้ด้วยตัวแปรเพื่อตรวจสอบผลกระทบของมิติ สำหรับแต่ละฉันดำเนินการ PCA และ FA ด้วยจำนวนส่วนประกอบ / ปัจจัยและสำหรับแต่ละฉันคำนวณข้อผิดพลาดในการสร้างแนวทแยงมุม (โปรดสังเกตว่าบนเส้นทแยงมุม FA สร้างใหม่อย่างสมบูรณ์แบบเนื่องจากn × n C n = 25 , 50 , … 200 n k = 1 … 5 k ∑ ฉัน≠ j [ C - W W ⊤ ] 2 ฉันj C Ψ n k $200\times 200$ $n \times n$$\mathbf C$$n=25, 50, \dots 200$$n$$k=1\dots 5$$k$

$$\sum_{i\ne j}\left[\mathbf C - \mathbf W \mathbf W^\top\right]^2_{ij}$$ $\mathbf C$$\boldsymbol \Psi$คำในขณะที่ PCA ไม่; แต่เส้นทแยงมุมจะถูกละเว้นที่นี่) จากนั้นสำหรับแต่ละและฉันคำนวณอัตราส่วนของข้อผิดพลาดแบบทแยงมุม PCA ต่อข้อผิดพลาดเส้นทแยงมุม FA อัตราส่วนนี้จะต้องสูงกว่าเนื่องจาก FA ให้การฟื้นฟูที่ดีที่สุด$n$$k$$1$

ทางด้านขวาเส้นที่แตกต่างสอดคล้องกับค่าต่าง ๆ ของและแสดงบนแกนนอน โปรดทราบว่าเป็นเติบโตอัตราส่วน (สำหรับทุก ) วิธีซึ่งหมายความว่า PCA และเอฟเอคัผลผลิตประมาณ loadings เดียวกัน PCAเอฟเอ ด้วยขนาดที่ค่อนข้างเล็กเช่นเมื่อ , PCA ดำเนินการ [คาดว่า] แย่ลง แต่ความแตกต่างที่ไม่ได้เป็นที่แข็งแกร่งสำหรับการขนาดเล็ก , และแม้กระทั่งสำหรับอัตราส่วนต่ำกว่า1.2n n k 1 ≈ n n = 25 k k = 5 $k$$n$$n$$k$$1$$\approx$$n$$n=25$$k$$k=5$$1.2$

อัตราส่วนจะกลายเป็นขนาดใหญ่เมื่อจำนวนของปัจจัยกลายเป็นเทียบเท่ากับจำนวนของตัวแปรnในตัวอย่างที่ฉันให้ไว้ข้างต้นด้วยและ FA ประสบความสำเร็จในการสร้างข้อผิดพลาดครั้งในขณะที่ PCA ไม่เช่นอัตราส่วนจะไม่มีที่สิ้นสุด แต่การกลับไปที่คำถามเดิมเมื่อและ , PCA เพียงในระดับปานกลางจะสูญเสียไปเอฟเอในการอธิบายส่วนนอกเส้นทแยงมุมของCn n = 2 k = 1 0 n = 21 k = 3 $k$$n$$n=2$$k=1$$0$$n=21$$k=3$$\mathbf C$

สำหรับตัวอย่างของ PCA และ FA ที่ใช้กับชุดข้อมูลจริง (ชุดข้อมูลไวน์ที่มี ) ให้ดูคำตอบของฉันที่นี่:$n=13$

• อะไรคือความแตกต่างระหว่างการวิเคราะห์ปัจจัยและการวิเคราะห์องค์ประกอบหลัก?
• PCA และการวิเคราะห์ปัจจัยเชิงสำรวจในชุดข้อมูลเดียวกัน

ในขณะที่คุณกล่าวว่าคุณมีความคุ้นเคยกับคำตอบที่เกี่ยวข้อง ; ดูเพิ่มเติม : So, as long as "Factor analysis..."+ สองสามย่อหน้าสุดท้าย; และรายชื่อด้านล่างนี่ ในระยะสั้น PCA เป็นเทคนิคการลดข้อมูลส่วนใหญ่ในขณะที่ FA เป็นเทคนิคการสร้างแบบจำลองของคุณสมบัติแฝง บางครั้งพวกเขาก็ให้ผลลัพธ์ที่คล้ายกัน; แต่ในกรณีของคุณ - เพราะคุณอาจรู้สึกว่าการสร้าง / ตรวจสอบคุณสมบัติที่ซ่อนเร้นราวกับว่าหน่วยงานจริง - การใช้ FA จะซื่อสัตย์มากขึ้นและคุณไม่ควรชอบ PCA ด้วยความหวังว่าผลลัพธ์ของพวกเขามาบรรจบกัน ในทางกลับกันเมื่อใดก็ตามที่คุณต้องการสรุป / ทำให้ข้อมูลง่ายขึ้น - สำหรับการวิเคราะห์ที่ตามมาตัวอย่างเช่นคุณต้องการ PCA เนื่องจากไม่ได้กำหนดโมเดลที่แข็งแกร่ง (ซึ่งอาจไม่เกี่ยวข้องกับข้อมูล)

หากต้องการย้ำอีกทาง PCA จะให้มิติซึ่งอาจสอดคล้องกับโครงสร้างที่มีความหมายบางอย่างตามที่คุณต้องการในขณะที่ EFA แสดงให้เห็นว่าสิ่งเหล่านั้นเป็นคุณลักษณะที่ซ่อนเร้นที่สร้างข้อมูลของคุณจริง ใน FA การตีความของขนาด (ปัจจัย) กำลังรอ - ไม่ว่าคุณจะสามารถแนบความหมายกับตัวแปรแฝงหรือไม่มัน "มีอยู่" (FA มีความจำเป็น) มิฉะนั้นคุณควรปล่อยมันจากแบบจำลองหรือรับข้อมูลเพิ่มเติมเพื่อสนับสนุน มัน. ใน PCA ความหมายของมิติเป็นทางเลือก

และอีกครั้งในคำอื่น ๆ : เมื่อคุณแยกm ปัจจัย (แยกปัจจัยจากข้อผิดพลาด) ปัจจัยสองสามข้อเหล่านี้อธิบาย (เกือบ) ความสัมพันธ์ทั้งหมดในหมู่ตัวแปรเพื่อให้ตัวแปรไม่ถูกปล่อยให้มีความสัมพันธ์ผ่านข้อผิดพลาด แต่อย่างใด ดังนั้นตราบใดที่ "ปัจจัย" ถูกกำหนดให้เป็นลักษณะแฝงที่สร้าง / ผูกข้อมูลที่มีความสัมพันธ์คุณมีเบาะแสที่สมบูรณ์ในการตีความว่า - สิ่งที่รับผิดชอบต่อความสัมพันธ์ ใน PCA (แยกส่วนประกอบราวกับว่า "ปัจจัย") ข้อผิดพลาด (อาจ) ยังคงมีความสัมพันธ์ระหว่างตัวแปร ดังนั้นคุณไม่สามารถอ้างได้ว่าคุณได้สกัดสิ่งที่สะอาดและละเอียดพอที่จะตีความในลักษณะนั้น

คุณอาจต้องการอ่านคำตอบของฉันในการอภิปรายปัจจุบันอีกต่อไปสำหรับรายละเอียดการทดลองเชิงทฤษฎีและการจำลองเกี่ยวกับว่า PCA นั้นสามารถใช้แทน FA ได้หรือไม่ โปรดใส่ใจกับคำตอบที่โดดเด่นของ @amoeba ที่ระบุไว้ในชุดข้อความนี้

---

การอัปเดต : ในคำตอบสำหรับคำถามนี้ @amoeba ซึ่งไม่เห็นด้วยก็แนะนำเทคนิค PPCA (ที่ไม่เป็นที่รู้จัก) ว่ายืนอยู่ครึ่งทางระหว่าง PCA และ FA นี่เป็นการเปิดตัวตรรกะที่ PCA และ FA อยู่ในบรรทัดเดียวแทนที่จะเป็นตรงกันข้าม วิธีการอันมีค่านี้จะขยายขอบเขตทางทฤษฎี แต่มันสามารถปกปิดความแตกต่างในทางปฏิบัติที่สำคัญเกี่ยวกับ FA ที่สร้างขึ้นใหม่ (อธิบาย) โควาเรียสแบบคู่ทั้งหมดที่มีปัจจัยเพียงไม่กี่อย่างในขณะที่ PCA ไม่สามารถทำได้สำเร็จ (และเมื่อมันทำเช่นนั้นเป็นครั้งคราว

ในคำตอบของฉัน (สองและเพิ่มเติมจากของฉันที่นี่) ฉันจะพยายามแสดงในภาพที่PCAไม่คืนค่าความแปรปรวนร่วมใด ๆ (ในขณะที่มันคืนค่า - เพิ่ม - แปรปรวนอย่างเหมาะสม)

ในขณะที่จำนวนของคำตอบของฉันใน PCA หรือการวิเคราะห์ปัจจัยที่ฉันจะหันไปเป็นตัวแทนเวกเตอร์ของตัวแปรในพื้นที่เรื่อง ในกรณีนี้มันเป็นเพียงแค่พล็อตการโหลดที่แสดงตัวแปรและการโหลดส่วนประกอบของมัน ดังนั้นเราจึงได้และตัวแปร (เรามีเพียงสองในชุดข้อมูล)องค์ประกอบหลักของพวกเขาที่ 1 มีภาระและA_2ทำเครื่องหมายมุมระหว่างตัวแปรด้วย ตัวแปรอยู่กึ่งกลางเบื้องต้นดังนั้นความยาวกำลังสองและจึงเป็นความแปรปรวนตามลำดับ$X_1$$X_2$$F$$a_1$$a_2$$h_1^2$$h_2^2$

ความแปรปรวนร่วมระหว่างและคือ - มันเป็นผลคูณสเกลาร์ของพวกเขา - (โคไซน์นี้คือค่าสหสัมพันธ์โดยวิธี) แน่นอนว่าการโหลด PCA นั้นสามารถจับความแปรปรวนโดยรวมได้สูงสุดโดยซึ่งเป็นความแปรปรวนขององค์ประกอบX 2 h 1 h 2 c o $X_1$$X_2$$h_1 h_2 cos \phi$$h_1^2+h_2^2$$a_1^2+a_2^2$$F$

ตอนนี้ความแปรปรวนร่วมโดยที่คือการฉายภาพของตัวแปรบนตัวแปร (การฉายภาพซึ่งเป็นการคาดการณ์การถดถอยครั้งแรกของวินาที) และขนาดของความแปรปรวนร่วมนั้นสามารถถูกแสดงด้วยพื้นที่สี่เหลี่ยมด้านล่าง (โดยมีด้านและ )$h_1 h_2 cos \phi = g_1 h_2$$g_1$$X_1$$X_2$$g_1$$h_2$

ตามทฤษฎีที่เรียกว่า "factor theorem" (อาจรู้ว่าคุณอ่านบางอย่างเกี่ยวกับการวิเคราะห์ปัจจัย) ความแปรปรวนร่วมระหว่างตัวแปรควรจะเป็น (อย่างใกล้ชิดหากไม่แน่นอน) ทำซ้ำโดยการเพิ่มจำนวนของการโหลดอ่าน ) นั่นคือโดยในกรณีเฉพาะของเรา (หากการรับรู้องค์ประกอบหลักที่จะเป็นตัวแปรแฝงของเรา) ค่าของความแปรปรวนทำซ้ำที่อาจจะกลายเป็นพื้นที่ของสี่เหลี่ยมที่มีด้านและA_2ขอให้เราวาดสี่เหลี่ยมที่จัดเรียงตามสี่เหลี่ยมก่อนหน้าเพื่อเปรียบเทียบ สี่เหลี่ยมนั้นจะถูกแสดงด้านล่างและพื้นที่ของมันคือ nicknamed cov * (reproduced cov )$a_1 a_2$$a_1$$a_2$

เห็นได้ชัดว่าทั้งสองพื้นที่นั้นแตกต่างกันมากโดยcov *มีขนาดใหญ่กว่าในตัวอย่างของเรา ความแปรปรวนร่วมเกินความจริงโดยการบรรจุของซึ่งเป็นองค์ประกอบหลักที่ 1 นี่ตรงกันข้ามกับใครบางคนที่อาจคาดหวังว่า PCA โดยองค์ประกอบที่ 1 เพียงอย่างเดียวของทั้งสองที่เป็นไปได้จะเรียกคืนค่าที่สังเกตได้ของความแปรปรวนร่วม$F$

เราสามารถทำอะไรกับพล็อตของเราเพื่อเสริมสร้างการสืบพันธุ์? เราสามารถยกตัวอย่างเช่นหมุนคานตามเข็มนาฬิกาบิตแม้จน superposes กับX_2เมื่อเส้นของพวกเขาตรงกันนั่นหมายความว่าเราบังคับให้เป็นตัวแปรแฝงของเรา แล้วโหลด (ประมาณการในนั้น) จะและโหลด (ประมาณการในนั้น) จะG_1จากนั้นสี่เหลี่ยมผืนผ้าสองอันก็เหมือนกัน - อันที่ถูกเขียนว่าcovและความแปรปรวนร่วมนั้นถูกทำซ้ำอย่างสมบูรณ์แบบ อย่างไรก็ตามความแปรปรวนที่อธิบายโดย "ตัวแปรแฝง" ใหม่มีขนาดเล็กกว่าX 2 X 2 a 2 X 2 h 2 a 1 X 1 g $F$$X_2$$X_2$$a_2$$X_2$$h_2$$a_1$$X_1$$g_1$$g_1^2 + h_2^2$$a_1^2 + a_2^2$ความแปรปรวนที่อธิบายโดยตัวแปรแฝงเก่าซึ่งเป็นองค์ประกอบหลักที่ 1 (สี่เหลี่ยมจัตุรัสและสแต็คด้านข้างของสี่เหลี่ยมสองรูปแต่ละอันบนรูปภาพเพื่อเปรียบเทียบ) ดูเหมือนว่าเราจัดการเพื่อทำซ้ำความแปรปรวนร่วม แต่มีค่าใช้จ่ายในการอธิบายจำนวนความแปรปรวน เช่นโดยเลือกแกนแฝงอื่นแทนองค์ประกอบหลักตัวแรก

จินตนาการหรือการเดาของเราอาจแนะนำ (ฉันจะไม่และอาจไม่สามารถพิสูจน์ได้ด้วยคณิตศาสตร์ฉันไม่ใช่นักคณิตศาสตร์) ว่าถ้าเราปล่อยแกนแฝงจากพื้นที่ที่กำหนดโดยและระนาบปล่อยให้แกว่ง บิตต่อเราเราสามารถหาตำแหน่งที่เหมาะสมที่สุดได้ - เรียกมันว่า, - โดยความแปรปรวนร่วมจะถูกทำซ้ำอย่างสมบูรณ์แบบอีกครั้งโดยการโหลดในภาวะฉุกเฉิน ( ) ในขณะที่ความแปรปรวนอธิบาย ( ) จะมีขนาดใหญ่กว่าแม้จะไม่ได้เป็นใหญ่เป็นขององค์ประกอบหลักF$X_1$$X_2$$F^*$$a_1^* a_2^*$$a_1^{*2} + a_2^{*2}$$g_1^2 + h_2^2$$a_1^2 + a_2^2$$F$

ฉันเชื่อว่าเงื่อนไขนี้สามารถทำได้โดยเฉพาะอย่างยิ่งในกรณีที่เมื่อแกนแฝงถูกดึงออกจากเครื่องบินด้วยวิธีดึง "ฮูด" ของระนาบมุมฉากสองอันหนึ่งที่ประกอบด้วยแกนและและ อื่น ๆ ที่มีแกนและX_2จากนั้นแกนแฝงนี้เราจะเรียกปัจจัยร่วมกันและเรา "ความพยายามในการริเริ่ม" ทั้งหมดจะถูกตั้งชื่อวิเคราะห์ปัจจัย$F^*$$X_1$$X_2$

---

การตอบกลับถึง "อัพเดต 2" ของ @ amoeba ในส่วนที่เกี่ยวกับ PCA

@amoeba นั้นถูกต้องและเกี่ยวข้องเพื่อระลึกถึง Eckart-Young theorem ซึ่งเป็นพื้นฐานของ PCA และเทคนิคที่เกี่ยวข้อง (PCoA, biplot, การวิเคราะห์การติดต่อทางจดหมาย) โดยใช้ SVD หรือ eigen-decomposition ตามหลักแล้วแกนตัวแรกของจะลดขนาดให้เหมาะสมที่สุด - ปริมาณเท่ากับ , - เช่นเดียวกับ 2 ที่นี่หมายถึงข้อมูลที่สร้างขึ้นใหม่โดยแกนมีค่าเท่ากับโดยที่เป็นภาระการโหลดตัวแปรของ$k$$\bf X$$\bf ||X-X_k||^2$$\bf tr(X'X)-tr(X_k'X_k)$$\bf ||X'X-X_k'X_k||^2$$\bf X_k$$k$$\bf X_k'X_k$$\bf W_k W_k'$$\bf W_k$$k$ ส่วนประกอบ

หมายความว่าการย่อขนาดยังคงเป็นจริงถ้าเราพิจารณาเฉพาะส่วนนอกแนวทแยงของเมทริกซ์สมมาตรทั้งคู่? มาตรวจสอบกันโดยทดลอง$\bf ||X'X-X_k'X_k||^2$

มีการสร้าง10x6เมทริกซ์แบบสุ่ม 500 (การกระจายแบบสม่ำเสมอ) สำหรับแต่ละหลังตรงกลางคอลัมน์ PCA ได้ดำเนินการและสองเมทริกซ์ข้อมูลที่สร้างขึ้นใหม่คำนวณ: หนึ่งตามที่สร้างขึ้นใหม่โดยส่วนประกอบ 1 ถึง 3 (แรกตามปกติใน PCA) และอื่น ๆ ถูกสร้างขึ้นใหม่โดยส่วนประกอบ 1, 2 และ 4 (นั่นคือองค์ประกอบ 3 ถูกแทนที่ด้วยองค์ประกอบที่อ่อนแอ 4) ข้อผิดพลาดการฟื้นฟู (ผลรวมของความแตกต่าง squared = ยืดระยะทางยุคลิด) คือการคำนวณแล้วเป็นเวลาหนึ่ง , อื่น ๆ สำหรับx_k ค่าทั้งสองนี้เป็นคู่ที่จะแสดงบนสแกตเตอร์ล็อตX $\bf X$$\bf X_k$$k$$\bf ||X'X-X_k'X_k||^2$$\bf X_k$$\bf X_k$

ข้อผิดพลาดในการสร้างใหม่ถูกคำนวณในแต่ละครั้งในสองเวอร์ชัน: (a) เมทริกซ์ทั้งหมดและเปรียบเทียบ; (b) เปรียบเทียบนอกแนวทแยงมุมของสองเมทริกซ์เท่านั้น ดังนั้นเราจึงมีสองแผนการกระจายซึ่งแต่ละ 500 คะแนน$\bf X'X$$\bf X_k'X_k$

เราเห็นแล้วว่าในพล็อต "ทั้งเมทริกซ์" ทุกจุดอยู่เหนือy=xเส้น ซึ่งหมายความว่าการสร้างใหม่สำหรับเมทริกซ์สเกลาร์ทั้งหมดนั้นแม่นยำกว่าเสมอโดย "ส่วนประกอบ 1 ถึง 3" มากกว่าโดย "ส่วนประกอบ 1, 2, 4" นี่เป็นไปตามทฤษฎีบทของ Eckart-Young พูดว่า: ส่วนประกอบหลักแรก คือตัวติดตั้งที่ดีที่สุด$k$

อย่างไรก็ตามเมื่อเราดูที่พล็อต "off-diagonals เท่านั้น" เราจะสังเกตเห็นจำนวนของจุดที่อยู่ด้านล่างy=xบรรทัด ปรากฏว่าบางครั้งการสร้างส่วนนอกแนวทแยงโดย "1 ถึง 3 องค์ประกอบ" นั้นแย่กว่า "1, 2, 4 ส่วนประกอบ" ซึ่งนำไปสู่ข้อสรุปโดยอัตโนมัติว่าส่วนประกอบหลักแรกไม่ได้เป็นเครื่องติดตั้งที่ดีที่สุดของผลิตภัณฑ์สเกลาร์แนวทแยงมุมในบรรดา fitters ที่มีอยู่ใน PCA ตัวอย่างเช่นการใช้ส่วนประกอบที่อ่อนแอกว่าแทนที่จะแข็งแรงกว่าบางครั้งอาจปรับปรุงการสร้างใหม่$k$

ดังนั้นแม้จะอยู่ในโดเมนของPCAเององค์ประกอบหลักอาวุโส - ผู้ที่ทำแปรปรวนโดยรวมโดยประมาณที่เรารู้และแม้แต่เมทริกซ์ความแปรปรวนทั้งเกินไป - ไม่จำเป็นต้องใกล้เคียงกับcovariances ปิดเส้นทแยงมุม ดังนั้นจึงจำเป็นต้องทำการปรับให้เหมาะสมที่สุด และเรารู้ว่าการวิเคราะห์ปัจจัยเป็นเทคนิค (หรือในหมู่) ที่สามารถให้ได้

---

การติดตามถึง "อัปเดต 3" ของ @ amoeba: PCA เข้าหา FA เมื่อจำนวนของตัวแปรเพิ่มขึ้นหรือไม่ PCA เป็นตัวแทนที่ถูกต้องของ FA หรือไม่

ฉันได้ทำการศึกษาการจำลองแบบขัดแตะ จำนวนโครงสร้างปัจจัยประชากรจำนวนน้อยโหลดเมทริกซ์ถูกสร้างขึ้นจากตัวเลขสุ่มและแปลงค่าความแปรปรวนร่วมของประชากรเป็นเมทริกซ์โดยที่เป็นเสียงทแยงมุม ความแปรปรวน) เมทริกซ์ความแปรปรวนร่วมเหล่านี้ทำกับผลต่างทั้งหมด 1 ดังนั้นพวกเขาจึงเท่ากับเมทริกซ์สหสัมพันธ์$\bf A$$\bf R=AA'+ U^2$$\bf U^2$

ทั้งสองประเภทของโครงสร้างปัจจัยที่ได้รับการออกแบบ - ความคมชัดและการกระจาย โครงสร้างที่คมชัดคือโครงสร้างที่เรียบง่ายชัดเจน: การโหลดมีทั้ง "สูง" ที่ "ต่ำ" ไม่มีระดับกลาง และ (ในการออกแบบของฉัน) ตัวแปรแต่ละตัวถูกโหลดอย่างมากโดยปัจจัยหนึ่ง ดังนั้นสอดคล้องกันจึงเป็นเหมือนบล็อก โครงสร้างการกระจายไม่ได้แยกความแตกต่างระหว่างการโหลดสูงและต่ำ: พวกมันสามารถเป็นค่าสุ่มใด ๆ ภายในขอบเขต และไม่มีรูปแบบในการรับน้ำหนัก สอดคล้องกันจึงราบรื่นขึ้น ตัวอย่างของการฝึกอบรมประชากร:$\bf R$$\bf R$

จำนวนของปัจจัยที่เป็นทั้งหรือ6จำนวนของตัวแปรที่ถูกกำหนดโดยอัตราส่วนk = จำนวนของตัวแปรต่อปัจจัย ; k วิ่งค่าในการศึกษา$2$$6$$4,7,10,13,16$

สำหรับประชากรไม่กี่คนที่ถูกสร้าง ,การสุ่มตัวอย่างจากการแจกแจง Wishart (ภายใต้ขนาดตัวอย่าง) ถูกสร้างขึ้น นี่คือเมทริกซ์ความแปรปรวนร่วมตัวอย่าง แต่ละคนเป็นปัจจัยวิเคราะห์โดยเอฟเอ (โดยการสกัดแกนหลัก) เช่นเดียวกับPCA นอกจากนี้เมทริกซ์ความแปรปรวนร่วมแต่ละค่าจะถูกแปลงเป็นเมทริกซ์สหสัมพันธ์ตัวอย่างที่สอดคล้องกันซึ่งได้รับการวิเคราะห์ด้วยปัจจัย สุดท้ายฉันยังดำเนินการแฟคตอริ่งของ "ผู้ปกครอง", ความแปรปรวนร่วมของประชากร (= สหสัมพันธ์) เมทริกซ์เอง Kaiser-Meyer-Olkin ความเพียงพอของการสุ่มตัวอย่างนั้นสูงกว่า 0.7 เสมอ$\bf R$$50$n=200

สำหรับข้อมูลที่มี 2 ปัจจัยการวิเคราะห์ที่แยก 2 และ 1 และ 3 ปัจจัย ("การประเมินค่าต่ำเกินไป" และ "การประเมินค่าสูงเกินไป" ของจำนวนปัจจัยที่ถูกต้องจะเป็นระบบ) สำหรับข้อมูลที่มี 6 ปัจจัยการวิเคราะห์เช่นเดียวกันที่แยก 6 และ 4 และ 8 ปัจจัย

เป้าหมายของการศึกษาคือคุณภาพการคืนค่าความแปรปรวนร่วม / สหสัมพันธ์ของ FA vs PCA ดังนั้นจึงมีการตกค้างขององค์ประกอบนอกแนวทแยงมุม ฉันลงทะเบียนส่วนที่เหลือระหว่างองค์ประกอบที่ทำซ้ำและองค์ประกอบเมทริกซ์ประชากรรวมทั้งส่วนที่เหลือระหว่างองค์ประกอบเมทริกซ์ตัวอย่างก่อนหน้าและวิเคราะห์ สิ่งที่เหลืออยู่ของประเภทที่ 1 น่าสนใจมากขึ้น

ผลลัพธ์ที่ได้หลังจากวิเคราะห์ด้วยค่าความแปรปรวนร่วมตัวอย่างและเมทริกซ์สหสัมพันธ์ตัวอย่างมีความแตกต่างบางอย่าง แต่ผลการวิจัยหลักทั้งหมดเกิดขึ้นเหมือนกัน ดังนั้นฉันกำลังพูดถึง (แสดงผลลัพธ์) การวิเคราะห์ "โหมดความสัมพันธ์" เท่านั้น

1. ความพอดีแนวขวางโดยรวมโดย PCA vs FA

กราฟิกด้านล่างพล็อตกับจำนวนของปัจจัยต่าง ๆ และ k ที่แตกต่างกันอัตราส่วนของค่าเฉลี่ยยืดออกแนวทแยงที่เหลือให้ผลใน PCA ปริมาณเดียวกันให้ผลในเอฟเอ สิ่งนี้คล้ายกับสิ่งที่ @amoeba แสดงใน "อัปเดต 3" เส้นบนพล็อตแสดงถึงแนวโน้มเฉลี่ยทั่วทั้ง 50 การจำลอง (ฉันไม่แสดงแถบข้อผิดพลาดที่ st.)

(หมายเหตุ: ผลลัพธ์เกี่ยวกับแฟคตอริ่งของเมทริกซ์สหสัมพันธ์ตัวอย่างแบบสุ่มไม่เกี่ยวกับการแยกเมทริกซ์ประชากรโดยผู้ปกครอง: มันเป็นเรื่องโง่ที่จะเปรียบเทียบ PCA กับ FA ว่าพวกเขาอธิบายเมทริกซ์ประชากรได้ดีเพียงใด - FA จะชนะเสมอ จำนวนที่ถูกต้องของปัจจัยที่ถูกดึงออกส่วนที่เหลือจะเกือบเป็นศูนย์และอัตราส่วนจะพุ่งเข้าหาอนันต์)

การแสดงความคิดเห็นแปลงเหล่านี้:

• แนวโน้มทั่วไป: เมื่อ k (จำนวนตัวแปรต่อตัวประกอบ) เพิ่มขึ้นอัตราส่วนย่อยโดยรวมของ PCA / FA จะลดลงต่อ 1 นั่นคือเมื่อมีตัวแปรจำนวนมาก PCA เข้าใกล้ FA ในการอธิบายความสัมพันธ์นอกแนวขวาง / โควาเรีย (จัดทำโดย @amoeba ในคำตอบของเขา) สันนิษฐานว่ากฎหมายที่ประมาณเส้นโค้งคืออัตราส่วน = exp (b0 + b1 / k) ที่มี b0 ใกล้กับ 0
• อัตราส่วนคือส่วนที่เหลือของ wrt มากขึ้น“ ตัวอย่างลบด้วยตัวอย่างที่ทำซ้ำ” (พล็อตด้านซ้าย) มากกว่าส่วนที่เหลือของ wrt“ ประชากรลบตัวอย่างที่สร้างซ้ำ” (พล็อตด้านขวา) นั่นคือ (เล็กน้อย) PCA นั้นด้อยกว่า FA ในการปรับเมทริกซ์ให้เหมาะสมในการวิเคราะห์ทันที อย่างไรก็ตามเส้นบนพล็อตด้านซ้ายมีอัตราการลดลงเร็วขึ้นดังนั้นโดย k = 16 อัตราส่วนจะต่ำกว่า 2 เช่นกันเนื่องจากอยู่บนพล็อตด้านขวา
• ด้วยจำนวนประชากร“ ประชากรลบด้วยตัวอย่างที่ทำซ้ำ” แนวโน้มจะไม่นูนหรือเป็นแบบโมโนโทนิกเสมอ (ข้อศอกที่ผิดปกติจะแสดงเป็นวงกลม) ดังนั้นตราบใดที่คำพูดเกี่ยวกับการอธิบายเมทริกซ์ประชากรของค่าสัมประสิทธิ์ผ่านการแยกตัวอย่างการเพิ่มจำนวนของตัวแปรไม่ได้ทำให้ PCA ใกล้เคียงกับ FA ในคุณภาพ fittinq เป็นประจำแม้ว่าแนวโน้มมีอยู่
• อัตราส่วนที่ยิ่งใหญ่กว่าสำหรับ m = 2 ปัจจัยมากกว่า m = 6 ปัจจัยในประชากร (เส้นสีแดงตัวหนาอยู่ด้านล่างเส้นสีเขียวตัวหนา) ซึ่งหมายความว่าด้วยปัจจัยอื่น ๆ ที่ทำหน้าที่ใน data PCA จะเร็วขึ้นทันกับ FA ตัวอย่างเช่นบนพล็อตที่ถูกต้อง k = 4 ให้ผลตอบแทนอัตราส่วนประมาณ 1.7 สำหรับ 6 ปัจจัยในขณะที่ถึงค่าเดียวกันสำหรับ 2 ปัจจัยที่ k = 7
• อัตราส่วนจะสูงกว่าหากเราดึงปัจจัยต่าง ๆ มาเทียบกับจำนวนปัจจัยที่แท้จริง นั่นคือ PCA นั้นมีความอ่อนแอยิ่งกว่า FA เล็กน้อยหากทำการสกัดเราประเมินจำนวนของปัจจัยต่ำเกินไป และสูญเสียมากไปถ้าจำนวนของปัจจัยถูกต้องหรือประเมินค่าสูงกว่า (เปรียบเทียบเส้นบาง ๆ กับเส้นหนา)
• มีผลที่น่าสนใจของความคมชัดของโครงสร้างปัจจัยซึ่งจะปรากฏเฉพาะในกรณีที่เราพิจารณาเศษเหลือจากประชากรที่เป็นตัวอย่างลบด้วยซ้ำ: เปรียบเทียบแปลงสีเทาและสีเหลืองทางด้านขวา หากปัจจัยประชากรโหลดตัวแปรต่างกันเส้นสีแดง (m = 6 ปัจจัย) จะจมลงสู่ด้านล่าง นั่นคือในโครงสร้างการกระจาย (เช่นการโหลดของจำนวนที่วุ่นวาย) PCA (ดำเนินการกับตัวอย่าง) เพียงไม่กี่ที่เลวร้ายยิ่งกว่า FA ในการสร้างความสัมพันธ์ของประชากร - แม้ภายใต้ k ขนาดเล็กโดยมีเงื่อนไขว่าจำนวนปัจจัยในประชากรไม่ได้ ขนาดเล็กมาก. นี่อาจเป็นเงื่อนไขเมื่อ PCA นั้นใกล้เคียงกับ FA มากที่สุดและได้รับการรับประกันมากที่สุดในฐานะตัวเปลี่ยนทดแทน ในขณะที่การปรากฏตัวของโครงสร้างปัจจัยที่คมชัด PCA ไม่ได้มองในแง่ดีในการสร้างความสัมพันธ์ของประชากร (หรือโควาเรีย): มันเข้าหา FA ในมุมมองขนาดใหญ่เท่านั้น

2. องค์ประกอบระดับพอดีโดย PCA vs FA: การกระจายของสารตกค้าง

สำหรับการทดสอบการจำลองทุกที่แฟ (โดย PCA หรือเอฟเอ) 50 เมทริกซ์สุ่มตัวอย่างจากประชากรเมทริกซ์ได้ดำเนินการกระจายของเหลือ "ความสัมพันธ์ของประชากรลบทำซ้ำ (โดยแฟ) ความสัมพันธ์ของตัวอย่าง"ที่ได้รับสำหรับองค์ประกอบความสัมพันธ์ทุกนอกเส้นทแยงมุม การแจกแจงตามรูปแบบที่ชัดเจนและตัวอย่างของการแจกแจงแบบทั่วไปจะปรากฎด้านล่าง ผลลัพธ์หลังจากPCAแฟคตอริ่งคือด้านซ้ายสีน้ำเงินและผลลัพธ์หลังจากFAแฟคตอริ่งเป็นสีเขียวด้านขวา

การค้นพบที่สำคัญคือ

• ออกเสียงโดยความสมบูรณ์สัมบูรณ์สหสัมพันธ์ของประชากรจะได้รับการกู้คืนโดย PCA อย่างไม่พร้อมเพรียง: ค่าที่ทำซ้ำนั้นจะถูกประเมินค่ามากเกินไปตามขนาด
• แต่อคตินั้นหายไปเมื่อk (จำนวนตัวแปรต่อจำนวนอัตราส่วนปัจจัย) เพิ่มขึ้น ในรูปเมื่อมีเพียงตัวแปร k = 4 ต่อปัจจัยส่วนที่เหลือของ PCA จะกระจายในออฟเซ็ตจาก 0 ซึ่งจะเห็นได้ทั้งเมื่อมี 2 ปัจจัยและ 6 ปัจจัย แต่ด้วยค่า k = 16 จะเห็นได้ยาก - มันเกือบจะหายไปและ PCA fit เข้าใกล้ FA พอดี ไม่พบความแตกต่างในการแพร่กระจาย (ความแปรปรวน) ของส่วนตกค้างระหว่าง PCA และ FA

ภาพที่คล้ายกันจะเห็นได้เช่นกันเมื่อจำนวนปัจจัยที่แยกออกมาไม่ตรงกับจำนวนจริงของปัจจัย: ความแปรปรวนของเศษเหลือเพียงเล็กน้อยจะเปลี่ยนแปลง

การกระจายดังกล่าวบนพื้นหลังสีเทาเกี่ยวข้องกับการทดลองที่มีความคมชัด (ง่าย) โครงสร้างปัจจัยในปัจจุบันประชากร เมื่อการวิเคราะห์ทั้งหมดเสร็จสิ้นในสถานการณ์ของโครงสร้างปัจจัยประชากรที่แพร่กระจายพบว่าอคติของ PCA จะหายไปไม่เพียงแค่การเพิ่มขึ้นของ k แต่ยังเพิ่มขึ้นของm (จำนวนปัจจัย) โปรดดูสิ่งที่แนบมาลดขนาดพื้นหลังสีเหลืองลงในคอลัมน์ "6 ปัจจัย, k = 4": แทบจะไม่มีการชดเชยจาก 0 ที่สังเกตสำหรับผลลัพธ์ PCA (ออฟเซ็ตยังมี m = 2 ที่ไม่ปรากฏในรูป )

การคิดว่าการค้นพบที่อธิบายนั้นมีความสำคัญฉันจึงตัดสินใจตรวจสอบการกระจายตัวที่เหลือเหล่านั้นให้ลึกขึ้นและวางแผนการกระเจิงของส่วนที่เหลือ (แกน Y) กับองค์ประกอบ (ค่าสหสัมพันธ์ประชากร) (แกน X) แผนการกระจายเหล่านี้แต่ละผลรวมของการจำลอง / การวิเคราะห์ (50) ทั้งหมด LOESS พอดีเส้น (50% จุดท้องถิ่นที่จะใช้เคอร์เนล Epanechnikov) จะถูกเน้น ชุดแรกของการแปลงสำหรับกรณีของโครงสร้างปัจจัยที่เฉียบแหลมในประชากร

แสดงความเห็น:

• เราเห็นได้อย่างชัดเจน (อธิบายด้านบน) reconstuction bias ซึ่งเป็นลักษณะของ PCA เป็นแนวลาดเอียง, แนวโน้มเชิงลบ: ขนาดใหญ่ในความสัมพันธ์ประชากรค่าสัมบูรณ์จะถูกประเมินโดย PCA ของชุดข้อมูลตัวอย่าง FA ไม่ลำเอียง (เหลืองแนวนอน)
• เมื่อโตขึ้นอคติของ PCA จะลดลง
• PCA นั้นมีความลำเอียงโดยไม่คำนึงถึงจำนวนของปัจจัยที่มีในประชากร: มี 6 ปัจจัยที่มีอยู่ (และ 6 ที่ถูกสกัดที่การวิเคราะห์) มันมีข้อบกพร่องในทำนองเดียวกันเช่นเดียวกับ 2 ปัจจัยที่มีอยู่ (2 สกัด)

พล็อตชุดที่สองด้านล่างสำหรับกรณีของโครงสร้างปัจจัยกระจายในประชากร:

อีกครั้งเราสังเกตอคติโดย PCA อย่างไรก็ตามเมื่อเทียบกับกรณีโครงสร้างปัจจัยที่คมชัดความเอนเอียงจะลดลงตามจำนวนของปัจจัยที่เพิ่มขึ้น: ด้วย 6 ปัจจัยประชากรทำให้เส้นเหลืองของ PCA ไม่ไกลจากแนวนอนแม้จะอยู่ภายใต้ k เท่านั้น 4 นี่คือสิ่งที่เราแสดงโดย " ฮิสโทแกรมสีเหลือง "ก่อนหน้า

ปรากฏการณ์หนึ่งที่น่าสนใจในชุดกระจายทั้งสองชุดคือเส้นที่เหมาะสำหรับ PCA คือ S-โค้ง ความโค้งนี้แสดงภายใต้โครงสร้างปัจจัยประชากรอื่น (การบรรจุ) สร้างแบบสุ่มโดยฉัน (ฉันตรวจสอบแล้ว) แม้ว่าระดับของมันจะแตกต่างกันและมักจะอ่อนแอ หากติดตามจากรูปตัว S ดังนั้น PCA จะเริ่มบิดเบือนความสัมพันธ์อย่างรวดเร็วเมื่อพวกเขาเด้งจาก 0 (โดยเฉพาะภายใต้ k ขนาดเล็ก) แต่จากค่าบางอย่างใน - ประมาณ. 30 หรือ. 40 - มันคงที่ ฉันจะไม่คาดเดาในเวลานี้ด้วยเหตุผลที่เป็นไปได้ของพฤติกรรมดังกล่าว แต่ฉันเชื่อว่า "ไซนัส" เกิดจากธรรมชาติที่สัมพันธ์กัน

พอดีโดย PCA กับ FA: ข้อสรุป

ในฐานะที่เป็นภาพรวมของส่วนนอกแนวทแยงของเมทริกซ์สหสัมพันธ์ / ความแปรปรวนร่วม PCA - เมื่อนำไปใช้ในการวิเคราะห์เมทริกซ์ตัวอย่างจากประชากร - สามารถทดแทนที่ดีสำหรับการวิเคราะห์ปัจจัย สิ่งนี้จะเกิดขึ้นเมื่อจำนวนอัตราส่วนของตัวแปร / จำนวนปัจจัยที่คาดหวังมีขนาดใหญ่พอ (เหตุผลเชิงเรขาคณิตสำหรับผลประโยชน์ของอัตราส่วนได้อธิบายไว้ในเชิงอรรถด้านล่าง ) ด้วยปัจจัยที่มีอยู่อีกอัตราส่วนอาจน้อยกว่าด้วยปัจจัยเพียงไม่กี่ การปรากฏตัวของโครงสร้างปัจจัยที่คมชัด (มีโครงสร้างที่เรียบง่ายในประชากร) PCA hampers เพื่อเข้าถึงคุณภาพของ FA$^1$

ผลกระทบของโครงสร้างปัจจัยที่คมชัดที่มีต่อความสามารถในการสวมใส่โดยรวมของ PCA นั้นชัดเจนตราบใดที่ยังมีการพิจารณา "ประชากรลบด้วยตัวอย่างที่ทำซ้ำ" ดังนั้นเราสามารถพลาดที่จะรับรู้ได้นอกการศึกษาแบบจำลอง - ในการศึกษาเชิงสังเกตของตัวอย่างเราไม่สามารถเข้าถึงสิ่งตกค้างที่สำคัญเหล่านี้

ซึ่งแตกต่างจากการวิเคราะห์ปัจจัย PCA เป็นตัวประมาณลำเอียง (บวก) ของขนาดของสหสัมพันธ์ของประชากร (หรือโควาเรียส) ที่อยู่ห่างจากศูนย์ ความเอนเอียงของ PCA ลดลงเมื่อจำนวนอัตราส่วนของตัวแปร / จำนวนปัจจัยที่คาดหวังเพิ่มขึ้น biasedness ยังลดลงตามจำนวนของปัจจัยในประชากรที่เติบโตขึ้น แต่แนวโน้มหลังเป็นอุปสรรคภายใต้โครงสร้างปัจจัยที่คมชัดในปัจจุบัน

ฉันจะตั้งข้อสังเกตว่า PCA พอดีอคติและผลกระทบของโครงสร้างที่คมชัดในมันสามารถถูกเปิดเผยในการพิจารณาเหลือ "ตัวอย่างลบตัวอย่างทำซ้ำ"; ฉันไม่แสดงผลลัพธ์ดังกล่าวเพราะพวกเขาดูเหมือนจะไม่เพิ่มการแสดงผลใหม่

เบื้องต้นมากในวงกว้างของฉันคำแนะนำในท้ายที่สุดอาจจะมีการละเว้นจากการใช้ PCA แทนเอฟเอสำหรับทั่วไป (เช่น 10 หรือน้อยกว่าที่คาดไว้ในปัจจัยประชากร) ปัจจัยการวิเคราะห์วัตถุประสงค์เว้นแต่คุณมีตัวแปรบาง 10+ ครั้งมากกว่าปัจจัย และยิ่งมีปัจจัยน้อยเท่าไรก็ยิ่งมีอัตราส่วนที่จำเป็น ฉันจะไม่แนะนำให้ใช้ PCA แทน FA เลยเมื่อใดก็ตามที่ข้อมูลที่มีโครงสร้างที่ดีมีการวิเคราะห์โครงสร้างที่คมชัด - เช่นเมื่อทำการวิเคราะห์ปัจจัยเพื่อตรวจสอบความถูกต้องของการพัฒนาหรือเปิดตัวการทดสอบทางจิตวิทยาหรือแบบสอบถาม . PCA อาจใช้เป็นเครื่องมือในการเลือกรายการเบื้องต้นสำหรับเครื่องมือ psychometric

ข้อ จำกัดของการศึกษา 1) ฉันใช้วิธีการสกัดปัจจัยแบบ PAF เท่านั้น 2) ขนาดตัวอย่างได้รับการแก้ไข (200) 3) สันนิษฐานว่าประชากรปกติในการสุ่มตัวอย่างเมทริกซ์ตัวอย่าง 4) สำหรับโครงสร้างที่คมชัดมีการจำลองจำนวนตัวแปรต่อปัจจัยเท่ากัน 5) การสร้างการโหลดปัจจัยประชากรฉันยืมพวกเขาจากเครื่องแบบคร่าวๆ (สำหรับโครงสร้างที่คมชัด - trimodal เช่นชุด 3 ชิ้น) 6) อาจมีการกำกับดูแลในการตรวจสอบทันทีนี้แน่นอนทุกที่

---

เชิงอรรถ 1PCAจะเลียนแบบผลลัพธ์ของFAและกลายเป็นความสัมพันธ์ที่เท่าเทียมกันเมื่อกล่าวถึงที่นี่ตัวแปรข้อผิดพลาดของแบบจำลองที่เรียกว่าปัจจัยเฉพาะกลายเป็นไม่เกี่ยวข้องกัน เอฟเอพยายามที่จะทำให้พวกเขาไม่มีความ แต่ PCA ไม่ได้พวกเขาอาจจะเกิดขึ้นจะได้รับการ uncorrelated ใน PCA เงื่อนไขหลักเมื่อมันอาจเกิดขึ้นคือเมื่อจำนวนตัวแปรต่อจำนวนของปัจจัยทั่วไป (ส่วนประกอบที่เก็บไว้เป็นปัจจัยทั่วไป) มีขนาดใหญ่$1$

พิจารณาภาพต่อไปนี้ (หากคุณต้องการเรียนรู้วิธีทำความเข้าใจก่อนโปรดอ่านคำตอบนี้ ):

โดยความต้องการของการวิเคราะห์ปัจจัยเพื่อให้สามารถกู้คืนความสัมพันธ์ที่ประสบความสำเร็จกับmปัจจัยทั่วไปไม่กี่ปัจจัยที่ไม่ซ้ำกัน , การกำหนดลักษณะเฉพาะส่วนที่เป็นสถิติของตัวแปรรายการจะต้องไม่เกี่ยวข้องกัน เมื่อถูกนำมาใช้ PCA ที่ s ต้องอยู่ในสเปซของอวกาศทอดโดยเพราะ PCA ไม่ออกจากพื้นที่ของตัวแปรวิเคราะห์ที่ ดังนั้น - ดูรูปด้านซ้าย - ด้วย(องค์ประกอบหลักคือปัจจัยที่แยกออกมา) และ( , ) ที่วิเคราะห์แล้วและปัจจัยที่ไม่ซ้ำกัน ,X U X P 1 X 1 X 2 U 1 U 2 r $U$p$X$p $U$p-mp$X$m=1$P_1$p=2$X_1$$X_2$$U_1$$U_2$compulsorily ซ้อนทับในส่วนที่สองที่เหลืออยู่ (ทำหน้าที่เป็นข้อผิดพลาดของการวิเคราะห์) ดังนั้นพวกเขาจะต้องมีความสัมพันธ์กับr(บนรูปภาพความสัมพันธ์ที่เท่ากันของมุมระหว่างเวกเตอร์) orthogonality ที่ต้องการนั้นเป็นไปไม่ได้และความสัมพันธ์ที่สังเกตได้ระหว่างตัวแปรนั้นจะไม่สามารถกู้คืนได้$r=-1$

แต่ถ้าคุณเพิ่มตัวแปรอีกหนึ่งตัว ( ) ให้คลิกขวา องค์ประกอบเป็นปัจจัยร่วมสาม s ต้องอยู่ในระนาบ (กำหนดโดยส่วนประกอบสองส่วนที่เหลือ) ลูกศรสามอันสามารถขยายระนาบในลักษณะที่มุมระหว่างพวกมันมีขนาดเล็กกว่า 180 องศา มีอิสระสำหรับมุมที่โผล่ออกมา ในกรณีที่เป็นไปได้โดยเฉพาะมุมอาจมีค่าเท่ากับ 120 องศา ที่อยู่ไม่ไกลจาก 90 องศานั่นคือจากความสัมพันธ์ที่ไม่เกี่ยวข้อง นี่คือสถานการณ์ที่แสดงในรูป$X_3$$U$

เมื่อเราเพิ่มตัวแปรที่ 4, 4 s จะครอบคลุมพื้นที่ 3 มิติ ด้วย 5, 5 เพื่อขยาย 4d ฯลฯ ห้องพักสำหรับจำนวนมากของมุมพร้อมกันเพื่อให้บรรลุใกล้ชิดกับ 90 องศาจะขยาย ซึ่งหมายความว่าห้องสำหรับPCA ที่จะเข้าหา FA ในความสามารถของมันที่จะพอดีกับสามเหลี่ยมมุมฉากของเมทริกซ์สหสัมพันธ์ก็จะขยายตัวเช่นกัน$U$

แต่เอฟเอที่แท้จริงมักจะสามารถกู้คืนความสัมพันธ์แม้ภายใต้อัตราส่วน "จำนวนตัวแปร / จำนวนปัจจัย" เพราะตามที่อธิบายไว้ที่นี่ (และดูรูปที่ 2 มี) การวิเคราะห์ปัจจัยช่วยให้เวกเตอร์ปัจจัยทั้งหมด (ปัจจัยทั่วไปและที่ไม่ซ้ำกัน) อัน) เพื่อเบี่ยงเบนจากการโกหกในพื้นที่ของตัวแปร ดังนั้นจึงมีห้องสำหรับ orthogonality ของแม้จะมีเพียง 2 ตัวแปรและปัจจัยหนึ่ง$U$$X$

ภาพด้านบนนี้ยังให้เงื่อนงำที่ชัดเจนว่าทำไม PCA ถึงค่าสหสัมพันธ์มากเกินไป บนรูปภาพด้านซ้ายตัวอย่างเช่นโดยที่คือการคาดการณ์ของ s ใน (การโหลด ) และ s คือความยาวของ s (การโหลดของ ) แต่นั่นเป็นความสัมพันธ์ที่สร้างขึ้นใหม่โดยคนเดียวเท่ากับเพียงคือใหญ่กว่า{} a X P 1 P 1 u U P 2 P 1 a 1 a 2 r X 1 X $r_{X_1X_2}= a_1a_2 - u_1u_2$$a$$X$$P_1$$P_1$$u$$U$$P_2$$P_1$$a_1a_2$$r_{X_1X_2}$

(นี่เป็นความเห็นที่แท้จริงต่อคำตอบที่สองของ @ttnphns)
ตราบใดที่การทำสำเนาความแปรปรวนร่วมที่แตกต่างกันโดยสมมติว่าเกิดข้อผิดพลาดโดย PC และโดย FA นั้นเป็นเรื่องที่เกี่ยวข้องฉันพิมพ์เพียงการโหลด ; เพียงแค่สำหรับตัวอย่างที่ฉันเอา 2 ตัวแปร

เราถือว่าการก่อสร้างทั้งสองรายการเป็นหนึ่งในปัจจัยทั่วไปและปัจจัยเฉพาะรายการ นี่คือ factor-loadingsmatrix:

  L_fa: 
          f1       f2      f3         
  X1:   0.894    0.447     .             
  X1:   0.894     .       0.447              

เมทริกซ์สหสัมพันธ์โดยนี่คือ

  C:
         X1       X2 
  X1:   1.000   0.800
  X2:   0.800   1.000

ถ้าเราดูที่ loadings-matrix L_fa และตีความมันตามปกติใน FA ที่ f2 และ f3 เป็นเงื่อนไขข้อผิดพลาด / ข้อผิดพลาดเฉพาะรายการเราทำซ้ำ C โดยไม่มีข้อผิดพลาดนั้นรับ

 C1_Fa 
        X1       X2 
 X1:  0.800   0.800
 X2:  0.800   0.800

ดังนั้นเราจึงสร้างองค์ประกอบนอกแนวทแยงได้อย่างสมบูรณ์แบบซึ่งก็คือความแปรปรวนร่วม (และเส้นทแยงมุมลดลง)

ถ้าเราดูวิธีแก้ปัญหา pca (สามารถหมุนได้ง่าย) เราจะได้รับสองปัจจัยจากความสัมพันธ์ - เมทริกซ์เดียวกัน:

 L_pca : 
         f1        f2
 X1:   0.949      -0.316
 X2:   0.949       0.316

สมมติว่าปัจจัยที่สองเป็นข้อผิดพลาดเราจะได้เมทริกซ์โควาเรียสที่ทำซ้ำ

  C1_PC : 
        X1      X2
 X1:   0.900   0.900
 X2:   0.900   0.900

ที่ซึ่งเราประเมินค่าความสัมพันธ์ที่แท้จริงมากเกินไป นี่เป็นเพราะเราเพิกเฉยต่อความแปรปรวนร่วมเชิงลบบางส่วนในการแก้ไขปัจจัยที่สอง = ข้อผิดพลาด โปรดทราบว่า PPCA จะเหมือนกับตัวอย่างแรก

ด้วยรายการเพิ่มเติมนี้ไม่ชัดเจนดังนั้น แต่ยังคงมีผลโดยธรรมชาติ ดังนั้นจึงมีแนวคิดของการสกัด MinRes (หรือ -rotation?) และฉันก็เคยเห็นบางอย่างเช่นการสกัดปัจจัยสูงสุดและ ...

---

[อัพเดต] สำหรับคำถามของ @amoeba:

ฉันเข้าใจแนวคิดของ "การตกค้างน้อยที่สุด" ("MinRes") - การหมุนเป็นวิธีการที่สอดคล้องกับวิธีการคำนวณ CFA ก่อนหน้านี้เพื่อให้ได้การทำสำเนาองค์ประกอบนอกแนวทแยงที่ดีที่สุดของเมทริกซ์สหสัมพันธ์ ฉันได้เรียนรู้สิ่งนี้ในช่วง 80'ies / 90'ies และไม่ได้ติดตามพัฒนาการของการวิเคราะห์ปัจจัย (เหมือนอย่างที่เคยเป็นมาในช่วงไม่กี่ปีที่ผ่านมา) ดังนั้นอาจเป็นไปได้ว่า "MinRes" ล้าสมัย

เมื่อต้องการเปรียบเทียบกับโซลูชัน PCA : เราสามารถคิดหาวิธีแก้ไขปัญหาพีซีโดยการหมุนของปัจจัยเมื่อพวกเขาคิดว่าเป็นแกนในพื้นที่แบบยุคลิดและการโหลดเป็นพิกัดของรายการในเวกเตอร์สเปซนั้น
จากนั้นสำหรับแกนหนึ่งคู่บอกว่า x, y ผลบวกของกำลังสองจากการโหลดของแกน x และของแกน y ถูกคำนวณ
จากมุมมองนี้เราสามารถหามุมการหมุนได้โดยที่เราควรหมุนเพื่อให้ได้ผลบวกของกำลังสองในแกนที่หมุนมากที่สุดบน x °และน้อยที่สุดบน y ° -axis (ที่วงกลม litte ระบุแกนหมุน) .

ทำสิ่งนี้สำหรับทุกคู่ของแกน (โดยที่แกน x เป็นซ้ายเสมอและแกน y เป็นด้านขวา (ดังนั้นสำหรับ 4 ปัจจัยที่เรามีการหมุนเพียง 6 คู่)) จากนั้นทำซ้ำกระบวนการทั้งหมดเพื่อผลลัพธ์ที่มั่นคง ตระหนักถึงสิ่งที่เรียกว่า "Jacobi-method" สำหรับการค้นหาวิธีแก้ปัญหาส่วนประกอบหลัก: มันจะค้นหาแกนแรกเช่นที่จะรวบรวมผลรวมสูงสุดของกำลังสองของการโหลด ("SSqL") (ซึ่งหมายถึง "ความแปรปรวน) ด้วย ") บนหนึ่งแกนในการกำหนดค่าสหสัมพันธ์ปัจจุบัน

เท่าที่ฉันเข้าใจสิ่งต่าง ๆ " MinRes " ควรดูความสัมพันธ์บางส่วนแทนที่จะเป็น SSqL ดังนั้นมันจึงไม่รวมกำลังสองของการโหลด (ทำใน Jacobi-pc-rotation) แต่สรุปผลรวมของการโหลดในแต่ละปัจจัย - ยกเว้น "crossproducts" (= กำลังสอง) ของการโหลดของแต่ละ รายการด้วยตัวเอง
หลังจากเกณฑ์สำหรับ x และแกน y ถูกคำนวณจะดำเนินการในลักษณะเดียวกับที่อธิบายไว้สำหรับการหมุนวนซ้ำ (jacobi)

เนื่องจากเกณฑ์การหมุนแตกต่างจากตัวเลขสูงสุด SSqL- เกณฑ์ผลลัพธ์ / ตำแหน่งการหมุนจะแตกต่างจาก PCA-solution ถ้ามันมาบรรจบกันมันควรจะให้ความสัมพันธ์บางส่วนสูงสุดที่เป็นไปได้ในแกนหนึ่งในปัจจัยแรกความสัมพันธ์สูงสุดต่อไปในปัจจัยต่อไปและอื่น ๆ ดูเหมือนจะเป็นความคิดจากนั้นจึงคิดว่าแกน / ปัจจัยมากมายเช่นนั้นความแปรปรวนบางส่วนที่เหลือ / เหลือจะกลายเป็นเล็กน้อย

(หมายเหตุนี่เป็นเพียงวิธีที่ฉันตีความสิ่งต่าง ๆ ฉันไม่เห็นว่าขั้นตอนการเขียนออกมาอย่างชัดเจน (หรือจำไม่ได้ในขณะนี้) คำอธิบายที่mathworldดูเหมือนจะแสดงมันค่อนข้างในแง่ของสูตรเช่นในคำตอบของอะมีบา) และเป็น น่าจะมีสิทธิ์มากกว่า เพิ่งพบการอ้างอิงอื่นในเอกสารโครงการ Rและการอ้างอิงที่ดีมากในหนังสือ Gorsuch เรื่องการวิเคราะห์ปัจจัย, หน้า 116, มีให้ผ่าน google-books )

ในมุมมองของฉันแนวคิดของ "PCA" และ "FA" อยู่ในมิติที่แตกต่างจากแนวคิดของ "สำรวจ", "ยืนยัน" หรืออาจ "อนุมาน" ดังนั้นวิธีการทางคณิตศาสตร์ / สถิติแต่ละวิธีสามารถใช้กับหนึ่งในสามวิธี

ตัวอย่างเช่นทำไมมันไม่ควรมีสมมติฐานว่าข้อมูลของฉันมีปัจจัยทั่วไปและโครงสร้างของชุดส่วนประกอบหลัก (เพราะการทดลองของฉันกับอุปกรณ์อิเล็คตรอนทำให้ข้อมูลเกือบจะไร้ข้อผิดพลาด) และฉันทดสอบสมมุติฐานของฉัน ค่าลักษณะเฉพาะของปัจจัยที่ตามมาเกิดขึ้นกับอัตราส่วน 75% หรือไม่ นี่คือ PCA ในกรอบการยืนยัน

ในทางกลับกันดูเหมือนว่าไร้สาระที่ในทีมวิจัยของเราเราสร้างขึ้นด้วยแบตเตอรี่จำนวนมากสำหรับวัดความรุนแรงระหว่างนักเรียนและสมมติว่ามีพฤติกรรมหลัก 3 ประการ (ภาวะเครียดทางร่างกายซึมเศร้าค้นหาความช่วยเหลือจากเจ้าหน้าที่ / ผู้ปกครอง) และวางคำถามที่เกี่ยวข้อง ในแบตเตอรี่นั้น ... และ "exploratorily" หาว่ามีกี่ปัจจัยที่เรามี ... แทนที่จะมองว่าเครื่องชั่งของเรามีสามปัจจัยที่เป็นที่รู้จักได้ดีเพียงใด (นอกเหนือจากรายการที่ถูกทอดทิ้งโดยเฉพาะ และหลังจากนั้นเมื่อฉันได้รับการยืนยันว่าแน่นอนรายการแบตเตอรี่ของเราให้บริการความตั้งใจเราอาจทดสอบสมมติฐานว่าในชั้นเรียนของเด็กเล็กโหลดในปัจจัยที่ระบุ "การค้นหาช่วยเหลือโดยเจ้าหน้าที่" สูงกว่า กว่านักเรียนเก่า อืมยืนยันอีกครั้ง ...

และสำรวจ? ฉันมีชุดของมาตรการที่นำมาจากการวิจัยด้านจุลชีววิทยาจากปี 1960 และพวกเขามีทฤษฎีไม่มากนัก แต่ได้ทดลองทุกอย่างที่พวกเขาสามารถจัดการได้เพราะสาขาการวิจัยของพวกเขายังเด็กมากและฉันสำรวจโครงสร้างปัจจัยที่สำคัญ ว่าข้อผิดพลาดทั้งหมดมีจำนวนเท่ากันเนื่องจากความแม่นยำทางแสงของกล้องจุลทรรศน์ที่ใช้ (ppca-ansatz อย่างที่ฉันเพิ่งเรียนรู้) จากนั้นฉันก็ใช้แบบจำลองทางสถิติ (และต่อมาทางคณิตศาสตร์) สำหรับ FA แต่ในกรณีนี้ในลักษณะที่สามารถอธิบายได้

นี่เป็นอย่างน้อยฉันเข้าใจข้อกำหนดได้อย่างไร
บางทีฉันอาจผิดที่นี่ แต่ฉันไม่คิดว่ามัน

---

ps ใน 90'ies ฉันเขียนโปรแกรมแบบโต้ตอบขนาดเล็กเพื่อสำรวจวิธีการ PCA และการวิเคราะห์ปัจจัยลงไปด้านล่าง มันเขียนขึ้นใน Turbo-Pascal ยังคงสามารถทำงานได้ใน Dos-Window ("Dos-box" ภายใต้ Win7) แต่มีการอุทธรณ์ที่ดีจริงๆ: ปัจจัยการสลับการโต้ตอบที่จะรวมหรือไม่จากนั้นหมุนแยกรายการข้อผิดพลาดเฉพาะ - ความแปรปรวน (ตาม SMC-criterion หรือเท่ากัน - แปรปรวน - เกณฑ์ (ppca?)), เปิด - ปิดตัวเลือก Kaiser, การใช้ covariances เปิดและปิด - ทั้งหมดในขณะที่ factorloadingsmatrix ปรากฏในสเปรดชีต และสามารถหมุนได้สำหรับวิธีการหมุนพื้นฐานแบบต่างๆ
มันไม่ซับซ้อนอย่างยิ่ง: ไม่มีการทดสอบ chisquare สำหรับการเรียนรู้ด้วยตนเองของกลไกทางคณิตศาสตร์ภายใน นอกจากนี้ยังมี "โหมดสาธิต" ซึ่งตัวโปรแกรมรันเองแสดงความคิดเห็นที่อธิบายบนหน้าจอและจำลองอินพุต - คีย์บอร์ดซึ่งผู้ใช้จะทำ
ใครก็ตามที่สนใจที่จะทำการศึกษาด้วยตนเองหรือสอนมันสามารถดาวน์โหลดได้จากหน้าซอฟต์แวร์ขนาดเล็กของฉันภายใน- (R) .zipเพียงแค่ขยายไฟล์ใน zip ในไดเรคทอรีที่สามารถเข้าถึงได้โดย Dos-Box และเรียก "demoall.bat" ส่วนที่สามของ "demoall" ฉันได้สาธิตวิธีจำลองข้อผิดพลาดเฉพาะของรายการโดยการหมุนจาก pca-solution เริ่มแรก ...

เพียงหนึ่งคำพูดเพิ่มเติมสำหรับคำตอบที่ยาว (และยอดเยี่ยมจริงๆ) ของ @ amoebas เกี่ยวกับลักษณะของ -estimate $\Psi$

ในงบเริ่มต้นของคุณคุณมีสาม : สำหรับ PCA คือ , สำหรับ PPCA คือและ FA คุณออกไปโดยไม่ได้ระบุ Ψ = 0 Ψ = σ 2ฉัน$\Psi$$\Psi = 0$$\Psi=\sigma ^2 I$$\Psi$

แต่มันควรจะพูดถึงว่ามีจำนวนอนันต์ที่เป็นไปได้ (ถูก จำกัด แน่นอน) แต่มีเพียงอันเดียวที่ลดอันดับของเมทริกซ์แฟคเตอร์ เราเรียกสิ่งนี้ว่าการประมาณมาตรฐาน (โดยอัตโนมัติ) สำหรับคือ diagonalmatrix ที่อิงจาก SMC ดังนั้นให้เขียนนี่เป็น (และแม้กระทั่ง ซอฟต์แวร์บางตัว (ดูเหมือนจะ) ไม่พยายามเพิ่มประสิทธิภาพ down จากในขณะที่จำเป็น (โดยทั่วไป) เพื่อป้องกัน Heywood-cases / negative-definiteness และยิ่งกว่านั้นแม้แต่การเพิ่มประสิทธิภาพΨ o พีที Ψ s T d Ψ s T d = α 2 D s ม. ค α 1 α < 1 α 2 Ψ s T d ≠ Ψ o พีที Ψ o พี$\Psi$$\Psi_{opt}$$\Psi_{std}$$\Psi_{std}= \alpha^2 D_{smc}$$\alpha$$1$$\alpha \lt 1$ $\alpha^2$จะไม่รับประกันอันดับที่น้อยที่สุดของ covariances ที่เหลือจึงมักจะมีนี้เราไม่เท่ากันโดยทั่วไป{} ในการหาเป็นเกมที่ยากมากและเท่าที่ฉันรู้ (แต่นั่นไม่ใช่ "ไกล" เท่าไรพูดเมื่อ 20 ปีก่อนตอนที่ฉันมีส่วนร่วมและใกล้ชิดกับหนังสือมากขึ้น) นี่ยังคง ปัญหาที่ยังไม่แก้ $\Psi_{std} \ne \Psi_{opt}$
$\Psi_{opt}$

---

สิ่งนี้สะท้อนให้เห็นถึงอุดมคติอุดมคติปัญหาทางคณิตศาสตร์และความแตกต่างระหว่างและก็อาจมีขนาดเล็กเช่นกัน ข้อแม้ทั่วไปมากขึ้น แต่ที่จะกล่าวถึงเครื่องจักรตัวประกอบทั้งจากมุมมองที่ผมศึกษาเพียงตัวอย่างของฉันหรือมีข้อมูลของประชากรทั้งหมด ; ในรูปแบบของสถิติเชิงอนุมานที่ฉันอนุมานจากตัวอย่างที่ไม่สมบูรณ์ของประชากรความแปรปรวนเชิงประจักษ์ของฉัน - และดังนั้น factormatrix เป็นเพียงการประมาณการเท่านั้นมันเป็นเพียงเงาของความแปรปรวนร่วม "จริง" - / factormatrix ดังนั้นในกรอบ / โมเดลดังกล่าวเราควรพิจารณาด้วยว่า "ข้อผิดพลาด" ของเราไม่เหมาะ Ψ o p t$\Psi_{std}$$\Psi_{opt}$และอาจมีความสัมพันธ์กันอย่างเกรี้ยวกราด ดังนั้นในความเป็นจริงในแบบจำลองดังกล่าวเราควร / จะทิ้งสมมุติฐานเชิงอุดมคติของข้อผิดพลาดที่ไม่เกี่ยวข้องกันและดังนั้นจึงเป็นรูปแบบแนวทแยงอย่างเคร่งครัดของอยู่ด้านหลังเรา$\Psi$