เหตุผลที่ใช้งานง่ายที่อยู่เบื้องหลังการหมุนเวียนในการวิเคราะห์ปัจจัย / PCA คืออะไรและจะเลือกการหมุนที่เหมาะสมได้อย่างไร

คำถามของฉัน

1. อะไรคือเหตุผลที่เข้าใจง่ายที่อยู่เบื้องหลังการหมุนของปัจจัยในการวิเคราะห์ปัจจัย (หรือส่วนประกอบใน PCA)

   ความเข้าใจของฉันคือถ้าตัวแปรถูกโหลดอย่างเท่าเทียมกันในองค์ประกอบด้านบน (หรือปัจจัย) แล้วแน่นอนว่ามันยากที่จะแยกความแตกต่างขององค์ประกอบ ดังนั้นในกรณีนี้เราสามารถใช้การหมุนเพื่อให้ได้ความแตกต่างของส่วนประกอบที่ดีขึ้น ถูกต้องหรือไม่

2. ผลที่ตามมาจากการหมุนคืออะไร สิ่งนี้มีผลกระทบอะไรบ้าง

3. วิธีการเลือกการหมุนที่เหมาะสม? มีการหมุนมุมฉากและการหมุนเอียง วิธีเลือกระหว่างสิ่งเหล่านี้กับความหมายของตัวเลือกนี้คืออะไร

กรุณาอธิบายโดยใช้สมการทางคณิตศาสตร์อย่างน้อยที่สุด คำตอบที่แพร่กระจายเพียงไม่กี่คำคือคณิตศาสตร์อย่างหนัก แต่ฉันกำลังมองหาเหตุผลและกฎง่ายๆ

1. เหตุผลในการหมุน การหมุนจะกระทำเพื่อประโยชน์ในการตีความปัจจัยที่ถูกแยกออกมาในการวิเคราะห์ปัจจัย (หรือส่วนประกอบใน PCA หากคุณลองใช้ PCA เป็นเทคนิคการวิเคราะห์ปัจจัย) คุณพูดถูกเมื่อคุณอธิบายความเข้าใจของคุณ การหมุนจะทำในการแสวงหาของโครงสร้างของการโหลดเมทริกซ์บางอย่างซึ่งอาจจะเรียกว่าโครงสร้างที่เรียบง่าย เมื่อปัจจัยต่าง ๆ มีแนวโน้มที่จะโหลดตัวแปรที่แตกต่างกัน$^1$. [ฉันเชื่อว่าถูกต้องมากกว่าที่จะพูดว่า "ปัจจัยโหลดตัวแปร" มากกว่า "ตัวแปรโหลดปัจจัย" เพราะเป็นปัจจัยที่เป็น "ใน" หรือ "เบื้องหลัง" ตัวแปรเพื่อให้มีความสัมพันธ์กัน แต่คุณอาจพูดว่า ตามที่คุณต้องการ] ในแง่หนึ่งโครงสร้างแบบง่ายทั่วไปคือที่ซึ่ง "กลุ่ม" ของตัวแปรที่สัมพันธ์กันปรากฏขึ้น จากนั้นคุณตีความปัจจัยเป็นความหมายซึ่งอยู่ที่จุดตัดของความหมายของตัวแปรที่มีการโหลดมากพอโดยปัจจัยนั้น ดังนั้นเพื่อให้ได้ความหมายที่แตกต่างกันปัจจัยควรโหลดตัวแปรต่างกัน กฎของหัวแม่มือคือปัจจัยควรโหลด decently อย่างน้อย 3 ตัวแปร

2. ผลที่ตามมา การหมุนไม่ได้เปลี่ยนตำแหน่งของตัวแปรที่สัมพันธ์กันในช่องว่างของปัจจัยเช่นความสัมพันธ์ระหว่างตัวแปรจะถูกรักษาไว้ สิ่งที่มีการเปลี่ยนแปลงพิกัดของเวกเตอร์ตัวแปรจุดสิ้นสุดลงบนแกนปัจจัย - แรง (โปรดค้นหาเว็บไซต์นี้สำหรับ 'โหลดพล็อต' และ 'biplot' สำหรับรายละเอียดเพิ่มเติม) 2 หลังจากการหมุนมุมฉากของเมทริกซ์การโหลดความแปรปรวนของปัจจัยจะเปลี่ยนไป แต่ปัจจัยยังคงไม่ได้รับความสัมพันธ์$^2$

   ในปัจจัยการหมุนเอียงได้รับอนุญาตให้สูญเสีย uncorrelatedness ของพวกเขาหากที่จะผลิต "โครงสร้างที่เรียบง่าย" ที่ชัดเจน อย่างไรก็ตามการตีความปัจจัยที่มีความสัมพันธ์กันนั้นเป็นศิลปะที่ยากกว่าเพราะคุณจะต้องได้รับความหมายจากปัจจัยหนึ่งเพื่อที่จะไม่ได้ปนเปื้อนความหมายของอีกปัจจัยหนึ่งที่สัมพันธ์กับมัน นั่นหมายความว่าคุณต้องตีความปัจจัยให้เราพูดขนานและไม่ใช่ทีละคน หมุนใบเฉียงคุณด้วยสองเมทริกซ์ของภาระแทนหนึ่ง: เมทริกซ์รูปแบบและโครงสร้างเมทริกซ์S (โดยที่คือเมทริกซ์ของสหสัมพันธ์ระหว่างปัจจัย; , โดยที่$\bf P$$\bf S$$\bf S=PC$$\bf C$$\bf C=Q'Q$$\bf Q$คือเมทริกซ์ของการหมุนเฉียง:โดยที่เป็นเมทริกซ์การโหลดก่อนการหมุนใด ๆ ) เมทริกซ์รูปแบบคือเมทริกซ์ของน้ำหนักถอยหลังที่ปัจจัยทำนายตัวแปรในขณะที่โครงสร้างเมทริกซ์มีความสัมพันธ์ (หรือ ความแปรปรวนร่วมระหว่างปัจจัยและตัวแปร เวลาส่วนใหญ่ที่เราตีความปัจจัยโดยการโหลดแบบเพราะค่าสัมประสิทธิ์เหล่านี้แสดงถึงการลงทุนเฉพาะของปัจจัยในตัวแปร การหมุนแบบเอียงจะรักษาตัวแปรชุมชน แต่ชุมชนนั้นไม่เท่ากับผลรวมของแถวของช่องสี่เหลี่ยมในหรือในอีกต่อไป นอกจากนี้เนื่องจากปัจจัยความสัมพันธ์ของพวกเขาต่างบางส่วนเติม 3$\bf S=AQ$$\bf A$$\bf P$$\bf S$$^3$

   แน่นอนว่าการหมุนแบบมุมฉากและแบบเอียงนั้นมีผลต่อคะแนนปัจจัย / องค์ประกอบที่คุณอาจต้องการคำนวณ (โปรดค้นหา "คะแนนปัจจัย" ในเว็บไซต์นี้) การหมุนในผลจะช่วยให้คุณอื่น ๆปัจจัยกว่าปัจจัยเหล่านั้นที่คุณมีเพียงหลังจากการสกัด 4 พวกเขาสืบทอดพลังการทำนายของพวกเขา (สำหรับตัวแปรและสหสัมพันธ์) แต่พวกเขาจะได้รับความหมายที่แตกต่างจากคุณ หลังจากการหมุนคุณอาจไม่พูดว่า "ปัจจัยนี้มีความสำคัญมากกว่าสิ่งนั้น" เพราะพวกเขาหมุนกำลังเผชิญหน้ากัน (พูดตามจริงใน FA ซึ่งแตกต่างจาก PCA คุณอาจแทบจะพูดไม่ได้แม้หลังจากการสกัดเพราะปัจจัย ถูกจำลองเป็น "สำคัญ" แล้ว)$^4$

3. ทางเลือก มีการหมุนมุมฉากและเฉียงหลายรูปแบบ ทำไม? ข้อแรกเพราะแนวคิดของ "โครงสร้างที่เรียบง่าย" นั้นไม่ได้แยกกันและสามารถกำหนดได้ค่อนข้างแตกต่างกัน ยกตัวอย่างเช่นvarimax - วิธี orthogonal ที่นิยมมากที่สุด - พยายามที่จะเพิ่มความแปรปรวนระหว่างค่ากำลังสองของการโหลดของแต่ละปัจจัย; บางครั้งใช้วิธี orthogonal quartimaxลดจำนวนของปัจจัยที่จำเป็นในการอธิบายตัวแปรและมักจะเรียกว่า "ปัจจัยทั่วไป" ประการที่สองการหมุนที่แตกต่างกันมีจุดมุ่งหมายที่วัตถุประสงค์ด้านต่าง ๆ นอกเหนือจากโครงสร้างที่เรียบง่าย ฉันจะไม่เข้าไปดูรายละเอียดของหัวข้อที่ซับซ้อนเหล่านี้ แต่คุณอาจต้องการอ่านเกี่ยวกับหัวข้อเหล่านี้ด้วยตัวคุณเอง

   หนึ่งควรชอบการหมุนมุมฉากหรือเฉียง? ทีนี้, ปัจจัยมุมฉากนั้นตีความได้ง่ายกว่าและโมเดลตัวประกอบทั้งหมดนั้นง่ายกว่าทางสถิติ (แน่นอนว่าตัวทำนายมุมฉาก) แต่มีคุณกำหนด orthogonality ในลักษณะแฝงที่คุณต้องการค้นพบ; คุณแน่ใจหรือไม่ว่าพวกเขาควรจะไม่เกี่ยวข้องในสาขาที่คุณศึกษาอยู่ เกิดอะไรขึ้นถ้าพวกเขาไม่ได้? วิธีการหมุนแบบเอียง$^5$(แม้ว่าแต่ละคนจะมีความโน้มเอียงของตัวเอง) ก็อนุญาต แต่ไม่บังคับปัจจัยที่มีความสัมพันธ์และทำให้มีข้อ จำกัด น้อยลง หากการหมุนเฉียงแสดงให้เห็นว่าปัจจัยมีความสัมพันธ์เพียงเล็กน้อยคุณอาจมั่นใจได้ว่า "ในความเป็นจริง" มันเป็นเช่นนั้นและจากนั้นคุณอาจหันไปใช้การหมุนมุมฉากด้วยจิตสำนึกที่ดี หากปัจจัยในมืออื่น ๆ ที่มีความสัมพันธ์อย่างมากก็มีลักษณะแปลกประหลาด (ลักษณะแฝงที่แตกต่างกันแนวคิดโดยเฉพาะอย่างยิ่งถ้าคุณมีการพัฒนาสินค้าคงคลังในด้านจิตวิทยาหรือดังกล่าว - จำได้ว่าเป็นปัจจัยที่เป็นตัวเอง univariate ลักษณะไม่ใช่ชุดของ ปรากฏการณ์) และคุณอาจต้องการแยกปัจจัยที่น้อยลงหรืออีกทางหนึ่งคือใช้ผลลัพธ์แบบเฉียงเป็นแหล่งแบทช์เพื่อแยกปัจจัยลำดับที่สองที่เรียกว่า

$^1$เทอร์สโตนนำไปสู่เงื่อนไขอุดมคติห้าประการของโครงสร้างอย่างง่าย สามสิ่งที่สำคัญที่สุดคือ: (1) แต่ละตัวแปรต้องมีการโหลดใกล้ศูนย์อย่างน้อยหนึ่งรายการ (2) แต่ละปัจจัยจะต้องมีการโหลดใกล้ศูนย์สำหรับตัวแปรmอย่างน้อย( mคือจำนวนของปัจจัย) (3) สำหรับแต่ละปัจจัยมีอย่างน้อยmตัวแปรที่มีการโหลดใกล้ศูนย์สำหรับหนึ่งในนั้นและเพียงพอจากศูนย์สำหรับอีกอันหนึ่ง ดังนั้นสำหรับปัจจัยแต่ละคู่พล็อตการโหลดควรมีลักษณะดังนี้:

นี่เป็นเพียงการสำรวจ FA อย่างแท้จริงในขณะที่ถ้าคุณกำลังทำและทำซ้ำ FA เพื่อพัฒนาแบบสอบถามคุณจะต้องทิ้งทุกจุดยกเว้นสีน้ำเงินซึ่งคุณมีเพียงสองปัจจัยเท่านั้น หากมีมากกว่าสองปัจจัยคุณจะต้องการให้จุดสีแดงกลายเป็นสีน้ำเงินสำหรับบางส่วนของแผนการโหลดของปัจจัยอื่น ๆ

$^2$

$^3$ความแปรปรวนของปัจจัย (หรือส่วนประกอบ) คือผลรวมของการโหลดโครงสร้างกำลังสองเนื่องจากมีความแปรปรวนร่วม / ความสัมพันธ์ระหว่างตัวแปรและปัจจัย (หน่วยที่ปรับสัดส่วน) หลังจากการหมุนแบบเอียงปัจจัยต่าง ๆ อาจมีความสัมพันธ์กัน ดังนั้นผลรวมของความแปรปรวนของพวกเขา, เอสเอสใน , เกิน communality โดยรวมอธิบายเอสเอสในหากคุณต้องการที่จะคิดว่าหลังจากที่ฉันปัจจัยเฉพาะที่ไม่ซ้ำกัน "สะอาด" ส่วนหนึ่งของความแปรปรวนของคูณแปรปรวนโดยของการพึ่งพาปัจจัยที่เกี่ยวกับปัจจัยอื่น ๆ ปริมาณที่เรียกว่าป้องกันภาพ มันเป็นส่วนกลับของส่วน i-th diagonal ของ$\bf S$$\bf S$$\bf A$$1-R_i^2$$\bf C^{-1}$. ผลรวมของส่วน "สะอาด" ของความแปรปรวนจะน้อยกว่าการอธิบายโดยรวมของชุมชน

$^4$คุณไม่สามารถพูดได้ว่า "ตัวประกอบที่ 1 / องค์ประกอบเปลี่ยนการหมุนในลักษณะนี้หรืออย่างนั้น" เพราะปัจจัย / ส่วนประกอบที่ 1 ในเมทริกซ์การโหลดแบบหมุนเป็นปัจจัย / ส่วนประกอบที่แตกต่างจากตัวที่ 1 ในเมทริกซ์การโหลดแบบไม่หมุน หมายเลขลำดับเดียวกัน ("ที่ 1") ทำให้เข้าใจผิด

$^5$สองมากที่สุดวิธีเฉียงสำคัญPromaxและoblimin Promax เป็นการปรับปรุงแบบเฉียงของ varimax: โครงสร้างแบบ varimax จะถูกปล่อยออกมาเพื่อที่จะได้พบกับ "โครงสร้างที่เรียบง่าย" ในระดับที่สูงขึ้น มันมักจะใช้ในการยืนยัน FA Oblimin มีความยืดหยุ่นสูงเนื่องจากพารามิเตอร์แกมม่าซึ่งเมื่อตั้งค่าเป็น 0 ทำให้ oblimin เป็นวิธี quartimin ที่ให้วิธีแก้ปัญหาแบบเอียงมากที่สุด แกมม่า 1 ให้ผลเฉลยที่น้อยที่สุดนั่นคือโควาริมินซึ่งเป็นอีกวิธีทางเลือกหนึ่งที่ใช้วาริแมกซ์แทนโพรแมกซ์ วิธีการเอียงทั้งหมดสามารถเป็นรุ่นโดยตรง (= หลัก) และทางอ้อม (= รอง) - ดูวรรณกรรม การหมุนทั้งหมดทั้งแบบมุมฉากและเอียงสามารถทำได้ด้วยการปรับสภาพของ Kaiser(ปกติ) หรือไม่มีเลย การทำให้เป็นมาตรฐานทำให้ตัวแปรทั้งหมดมีความสำคัญเท่าเทียมกันในการหมุน

บางหัวข้อสำหรับการอ่านเพิ่มเติม:

มีเหตุผลไหมที่จะไม่หมุนตัวประกอบทั้งหมด?

เมทริกซ์ใดที่จะตีความหลังการหมุนเฉียง - รูปแบบหรือโครงสร้าง?

ชื่อเทคนิคการหมุนตัวประกอบ (varimax, อื่น ๆ ) หมายถึงอะไร?

PCA ที่มีส่วนประกอบหมุนยังคงเป็น PCA หรือเป็นการวิเคราะห์ปัจจัยหรือไม่?