PCA ไม่เสถียรภายใต้ความหลากสีหรือไม่

ฉันรู้ว่าในสถานการณ์การถดถอยหากคุณมีชุดของตัวแปรที่มีความสัมพันธ์สูงซึ่งมักจะเป็น "ไม่ดี" เนื่องจากความไม่แน่นอนของค่าสัมประสิทธิ์โดยประมาณ

คำถามของฉันคือว่า "ความเลวร้าย" นี้ยังคงอยู่ในสถานการณ์ PCA หรือไม่ ค่าสัมประสิทธิ์ / การโหลด / น้ำหนัก / eigenvectors สำหรับพีซีใด ๆ โดยเฉพาะกลายเป็นไม่เสถียร / โดยพลการ / ไม่ซ้ำกันเป็นเมทริกซ์ความแปรปรวนร่วมกลายเป็นเอกพจน์? ฉันสนใจเป็นพิเศษในกรณีที่มีเพียงส่วนประกอบหลักแรกเท่านั้นที่ถูกเก็บไว้และอื่น ๆ ทั้งหมดจะถูกไล่ออกเป็น "เสียงรบกวน" หรือ "อย่างอื่น" หรือ "ไม่สำคัญ"

ฉันไม่คิดว่ามันจะเป็นเช่นนั้นเพราะคุณจะเหลือองค์ประกอบหลักเพียงไม่กี่ตัวที่มีค่าศูนย์หรือใกล้เคียงกับค่าความแปรปรวนเป็นศูนย์

ดูง่ายกรณีนี้ไม่ได้เป็นในกรณีที่ง่ายมากที่มี 2 ตัวแปร - สมมติว่าพวกเขามีความสัมพันธ์อย่างสมบูรณ์ จากนั้นพีซีเครื่องแรกจะมีความสัมพันธ์เชิงเส้นตรงและพีซีเครื่องที่สองจะตั้งฉากกับพีซีเครื่องแรกโดยมีค่าพีซีทั้งหมดเท่ากับศูนย์สำหรับการสังเกตทั้งหมด (เช่นศูนย์แปรปรวน) สงสัยว่าถ้ามันทั่วไปมากขึ้น

คำตอบอาจได้รับในแง่ที่ง่ายขึ้น: การถดถอยหลายครั้งมีขั้นตอนมากกว่า pca หากเห็นในแง่ของพีชคณิตเชิงเส้นและจากขั้นตอนที่สองความไม่แน่นอนเข้ามาอยู่

$R$$L \cdot L^t$

$L$
$L$

PCA มักจะหมายถึงการสิ้นสุด; นำไปสู่อินพุตทั้งการถดถอยหลายครั้งหรือเพื่อใช้ในการวิเคราะห์คลัสเตอร์ ฉันคิดว่าในกรณีของคุณคุณกำลังพูดถึงการใช้ผลลัพธ์ของ PCA เพื่อทำการถดถอย

ในกรณีดังกล่าววัตถุประสงค์ของการแสดง PCA คือการกำจัด mulitcollinearity และรับอินพุตมุมฉากเพื่อการถดถอยหลายครั้งซึ่งไม่น่าแปลกใจที่นี่เรียกว่า ที่นี่หากอินพุตดั้งเดิมของคุณทั้งหมดเป็นฉากตั้งฉากการทำ PCA จะให้อินพุตอีกฉากหนึ่งให้คุณ ดังนั้น; หากคุณกำลังทำ PCA คุณจะคิดว่าอินพุตของคุณมีความหลากหลายทางชีวภาพ

$\hat{ \lambda_{i} }$$i^{th}$$\frac{ \hat{ \lambda_{i} } }{p}$

อ้างอิง

Johnson & Wichern (2001) การวิเคราะห์ทางสถิติหลายตัวแปรประยุกต์ (รุ่นที่ 6) ศิษย์ฮอลล์.