PCA เกี่ยวกับสหสัมพันธ์หรือความแปรปรวนร่วม: PCA ที่สัมพันธ์กันนั้นสมเหตุสมผลหรือไม่? [ปิด]

ในการวิเคราะห์องค์ประกอบหลัก (PCA) เราสามารถเลือกเมทริกซ์ความแปรปรวนร่วมหรือเมทริกซ์สหสัมพันธ์เพื่อค้นหาส่วนประกอบ (จาก eigenvectors ที่เกี่ยวข้อง) สิ่งเหล่านี้ให้ผลลัพธ์ที่แตกต่าง (การโหลด PC และคะแนน) เนื่องจาก eigenvector ระหว่างเมทริกซ์ทั้งสองไม่เท่ากัน ความเข้าใจของฉันคือว่าสิ่งนี้เกิดจากความจริงที่ว่าเวกเตอร์ข้อมูลดิบและมาตรฐานไม่สามารถเกี่ยวข้องผ่านการแปลงมุมฉาก ศาสตร์คณิตศาสตร์, การฝึกอบรมที่คล้ายกัน (เช่นที่เกี่ยวข้องโดยการเปลี่ยนแปลงมุมฉาก) มีค่าลักษณะเดียวกัน แต่ไม่จำเป็นต้อง eigenvectors เดียวกัน$X$$Z$

สิ่งนี้ทำให้เกิดความยุ่งยากในใจของฉัน:

1. PCA เข้าท่าจริงหรือไม่ถ้าคุณได้คำตอบที่ต่างกันสองชุดสำหรับชุดข้อมูลเริ่มต้นเดียวกันทั้งคู่พยายามทำสิ่งเดียวกัน (= ค้นหาทิศทางของความแปรปรวนสูงสุด)

2. เมื่อใช้วิธีเมทริกซ์สหสัมพันธ์ตัวแปรแต่ละตัวจะถูกทำให้เป็นมาตรฐาน (ย่อส่วน) โดยค่าเบี่ยงเบนมาตรฐานของตนเองก่อนที่จะคำนวณพีซี ถ้าเช่นนั้นข้อมูลจะถูกปรับขนาด / บีบอัดให้แตกต่างกันไปก่อนแล้วยังคงเหมาะสมหรือไม่ที่จะหาทิศทางของความแปรปรวนสูงสุด ฉันรู้ว่า PCA ที่ใช้ความสัมพันธ์นั้นสะดวกมาก (ตัวแปรมาตรฐานไม่มีมิติดังนั้นจึงสามารถเพิ่มการผสมเชิงเส้นของพวกเขาข้อดีอื่น ๆ ยังขึ้นอยู่กับลัทธิปฏิบัตินิยม) แต่มันถูกต้องหรือไม่

สำหรับฉันแล้วดูเหมือนว่า PCA ที่ใช้ความแปรปรวนร่วมเป็นสิ่งเดียวที่ถูกต้องอย่างแท้จริง (แม้ว่าความแปรปรวนของตัวแปรจะแตกต่างกันอย่างมาก) และเมื่อใดก็ตามที่ไม่สามารถใช้เวอร์ชันนี้ได้

ฉันรู้ว่ามีหัวข้อนี้: PCA ในความสัมพันธ์หรือความแปรปรวนร่วม? - แต่ดูเหมือนว่าจะมุ่งเน้นเฉพาะในการหาวิธีแก้ปัญหาในทางปฏิบัติซึ่งอาจหรืออาจจะไม่ใช่วิธีที่ถูกต้องเกี่ยวกับพีชคณิต

ฉันหวังว่าการตอบคำถามสองข้อของคุณจะทำให้คุณกังวลใจ:

1. เมทริกซ์สหสัมพันธ์เป็นเมทริกซ์ความแปรปรวนร่วมของข้อมูลที่ได้มาตรฐาน (เช่นไม่ได้อยู่กึ่งกลางเท่านั้น นั่นคือเมทริกซ์ความแปรปรวนร่วม (ราวกับว่า) ของชุดข้อมูลอื่นที่แตกต่างกัน ดังนั้นจึงเป็นเรื่องธรรมดาและไม่ควรรบกวนคุณว่าผลลัพธ์จะแตกต่างกัน
2. ใช่มันสมเหตุสมผลแล้วที่จะหาทิศทางของความแปรปรวนสูงสุดกับข้อมูลที่ได้มาตรฐาน - พวกมันคือทิศทางของ - ดังนั้นจึงต้องพูด - "สหสัมพันธ์" ไม่ใช่ "ความแปรปรวนร่วม"; นั่นคือหลังจากผลของความแปรปรวนที่ไม่เท่ากัน - ของตัวแปรดั้งเดิม - ต่อรูปร่างของคลาวด์ข้อมูลหลายตัวแปรนั้นถูกนำออกไป

เพิ่มข้อความและรูปภาพถัดไปโดย @whuber (ฉันขอบคุณเขาและดูความคิดเห็นของฉันด้านล่าง)

นี่คือตัวอย่างสองมิติที่แสดงว่าทำไมยังคงเหมาะสมที่จะค้นหาแกนหลักของข้อมูลที่ได้มาตรฐาน (แสดงทางด้านขวา) โปรดทราบว่าในพล็อตมือขวาเมฆยังคงมี "รูปร่าง" แม้ว่าความแปรปรวนตามแกนพิกัดจะเท่ากันทุกประการ (ถึง 1.0) ในทำนองเดียวกันในมิติที่สูงกว่าคลาวด์จุดที่เป็นมาตรฐานจะมีรูปร่างที่ไม่เป็นทรงกลมแม้ว่าความแปรปรวนตามแนวแกนทั้งหมดจะเท่ากัน (1.0) แกนหลัก (ที่มีค่าลักษณะเฉพาะที่สอดคล้องกัน) อธิบายรูปร่างนั้น อีกวิธีหนึ่งในการทำความเข้าใจนี้คือการบันทึกว่าการลดขนาดและการเลื่อนที่เกิดขึ้นเมื่อกำหนดมาตรฐานของตัวแปรเกิดขึ้นเฉพาะในทิศทางของแกนพิกัดเท่านั้นและไม่ได้อยู่ในทิศทางหลัก

สิ่งที่เกิดขึ้นที่นี่เป็นเรื่องง่ายและชัดเจนในเชิงเรขาคณิตว่ามันจะเป็นการยืดลักษณะนี้เป็น "การทำงานของกล่องดำ": ตรงกันข้ามมาตรฐานและ PCA เป็นสิ่งพื้นฐานที่สุดและกิจวัตรที่เราทำกับข้อมูลตามลำดับ เข้าใจพวกเขา

อย่างต่อเนื่องโดย @ttnphns

เมื่อใดที่ผู้คนต้องการทำ PCA (หรือการวิเคราะห์ปัจจัยหรือการวิเคราะห์ประเภทอื่น ๆ ที่คล้ายกัน) ในความสัมพันธ์ (เช่นในตัวแปรมาตรฐาน z) แทนที่จะทำบนความแปรปรวนร่วม (เช่นตัวแปรกึ่งกลาง)?

1. เมื่อตัวแปรเป็นหน่วยการวัดที่แตกต่างกัน นั่นชัดเจน
2. เมื่อเราต้องการให้การวิเคราะห์สะท้อนความสัมพันธ์เชิงเส้นเพียงอย่างเดียว เพียร์สันrไม่เพียง แต่ความแปรปรวนร่วมระหว่างตัวแปร (ตัวแปร = 1) ที่ยังไม่เปิดเผย ทันใดนั้นก็เป็นการวัดความแข็งแกร่งของความสัมพันธ์เชิงเส้นในขณะที่ค่าสัมประสิทธิ์ความแปรปรวนร่วมปกติเปิดกว้างสำหรับความสัมพันธ์แบบเชิงเส้นและแบบโมโนโพนิก
3. เมื่อต้องการให้สมาคมสะท้อนความเบี่ยงเบนร่วมแบบสัมพัทธ์ (จากค่าเฉลี่ย) มากกว่าความเบี่ยงเบนร่วมแบบดิบ สหสัมพันธ์ขึ้นอยู่กับการแจกแจงการแพร่กระจายของพวกเขาในขณะที่ความแปรปรวนร่วมจะขึ้นอยู่กับระดับการวัดเดิม หากฉันต้องวิเคราะห์โปรไฟล์ของผู้ป่วยจิตเวชที่ประเมินโดยนักจิตแพทย์ 'ในแบบสอบถามทางคลินิกบางรายการที่ประกอบด้วยรายการประเภท Likert ฉันต้องการความแปรปรวนร่วม เนื่องจากมืออาชีพไม่คาดว่าจะบิดเบือนระดับการให้คะแนนอย่างแท้จริง ในทางกลับกันถ้าฉันต้องวิเคราะห์ตนเองของผู้ป่วยด้วยแบบสอบถามเดียวกันฉันอาจเลือกสหสัมพันธ์ เนื่องจากการประเมินของฆราวาสคาดว่าจะสัมพันธ์กับ "คนอื่น", "ส่วนใหญ่" "การเบี่ยงเบนที่อนุญาต" loupe ที่ "ลดขนาด" หรือ "เหยียด" ระดับคะแนนสำหรับหนึ่ง

การพูดจากมุมมองเชิงปฏิบัติ - อาจไม่เป็นที่นิยมที่นี่ - ถ้าคุณมีข้อมูลที่วัดได้ในระดับที่แตกต่างกันให้ไปด้วยความสัมพันธ์ ('UV scaling' ถ้าคุณเป็นนักเคมี) แต่ถ้าตัวแปรอยู่ในระดับเดียวกันและขนาดของพวกมันสำคัญ (เช่นด้วยข้อมูลทางสเปกโทรสโกปี) จากนั้นความแปรปรวนร่วม (อยู่ตรงกลางข้อมูลเท่านั้น) เหมาะสมกว่า PCA เป็นวิธีการที่ขึ้นอยู่กับขนาดและการเปลี่ยนแปลงการบันทึกสามารถช่วยให้ข้อมูลเบ้สูง

ในความเห็นที่ต่ำต้อยของฉันจากการประยุกต์ใช้เคมีบำบัดมา 20 ปีคุณต้องทดลองสักเล็กน้อยและดูว่าอะไรดีที่สุดสำหรับข้อมูลประเภทของคุณ ในตอนท้ายของวันคุณต้องสามารถทำซ้ำผลลัพธ์ของคุณและพยายามพิสูจน์ความสามารถในการสรุปของคุณ วิธีที่คุณได้รับมักจะมีกรณีของการทดลองและข้อผิดพลาด แต่สิ่งที่สำคัญคือสิ่งที่คุณทำคือเอกสารและทำซ้ำได้

ฉันมีเวลาที่จะไปเป็นคำอธิบายฟูลเลอร์ของรายละเอียดและเทคนิคด้านการทดลองที่ผมอธิบายไม่และชี้แจงเกี่ยวกับกรมธรรม์ (แนะนำให้ประสิทธิภาพการทำงานที่ดีที่สุด) อีกครั้งจะเบี่ยงเบนความสนใจเราออกไปจากปัญหาที่แท้จริงซึ่งเป็นเรื่องเกี่ยวกับสิ่งที่ประเภทของการป้อนข้อมูล PCA สามารถ (ไม่) / ควร (ไม่) ที่จะรับ PCA ดำเนินการโดยการรวมกันเชิงเส้นของตัวเลข (ค่าของตัวแปร) แน่นอนว่าวิชาหนึ่งสามารถเพิ่มหมายเลขใด ๆ ก็ได้ (จริงหรือซับซ้อน) แต่ถ้าพวกเขาได้รับการปรับขนาดใหม่ก่อนการแปลง PCA การรวมกันเชิงเส้นของพวกเขา (และด้วยเหตุนี้ถึงกระบวนการขยายสูงสุด) ยังคงมีความหมายที่จะใช้งานหรือไม่? ถ้าแต่ละตัวแปร1 / s 1 ) + ( x $x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$องศา ดูเหมือนว่ามีจุดเล็ก ๆ น้อย ๆ ในการเพิ่มความแปรปรวนของชุดค่าผสมเชิงเส้นให้ได้มากที่สุด ในกรณีดังกล่าว PCA ให้วิธีแก้ปัญหาสำหรับชุดข้อมูลที่แตกต่างกันโดยแต่ละตัวแปรจะถูกปรับขนาดแตกต่างกัน หากคุณไม่ได้มาตรฐานหลังจากนั้น (เมื่อใช้ corr_PCA) แสดงว่าอาจใช้ได้และจำเป็น แต่ถ้าคุณเพียงแค่ใช้ raw corr_PCA solution อย่างที่เป็นอยู่และหยุดอยู่แค่นั้นคุณก็จะได้คำตอบทางคณิตศาสตร์ แต่ไม่ได้เกี่ยวข้องกับข้อมูลทางกายภาพ หลังจากที่ไม่ได้มาตรฐานจากนั้นดูเหมือนว่าจะได้รับคำสั่งให้เป็นขั้นต่ำ (นั่นคือ 'แกนที่ unstretching' โดยการเบี่ยงเบนมาตรฐานแบบผกผัน) cov_PCA อาจถูกใช้เพื่อเริ่มต้นด้วย หากคุณยังอ่านอยู่ตอนนี้ฉันประทับใจ! สำหรับตอนนี้ฉันจบด้วยการอ้างอิงจากหนังสือของ Jolliffe, p. 42 ซึ่งเป็นส่วนที่เกี่ยวข้องกับฉัน:'จะต้องไม่ถูกลืมอย่างไรก็ตามพีซีแบบเมทริกซ์ความสัมพันธ์นั้นเมื่อแสดงอีกครั้งในแง่ของตัวแปรดั้งเดิมยังคงเป็นฟังก์ชันเชิงเส้นของ x ซึ่งจะทำให้เกิดความแปรปรวนสูงสุดเมื่อเทียบกับตัวแปรมาตรฐานและไม่เกี่ยวข้องกับตัวแปรดั้งเดิม' หากคุณคิดว่าฉันกำลังตีความสิ่งนี้หรือความหมายของมันอย่างไม่ถูกต้องข้อความที่ตัดตอนมานี้อาจเป็นจุดสนใจที่ดีสำหรับการสนทนาต่อไป