สับสนเกี่ยวกับคำอธิบายภาพของ eigenvectors: ชุดข้อมูลที่ต่างกันสามารถมี eigenvector เหมือนกันได้อย่างไร

ตำราสถิติจำนวนมากให้ภาพตัวอย่างที่เข้าใจง่ายว่า eigenvectors ของเมทริกซ์ความแปรปรวนร่วมคืออะไร:

เวกเตอร์uและzเป็นค่า eigenvectors (ดี, eigenaxes) มันสมเหตุสมผลแล้ว แต่สิ่งหนึ่งที่ทำให้ฉันสับสนก็คือเราแยก eigenvectors จากเมทริกซ์สหสัมพันธ์ไม่ใช่ข้อมูลดิบ นอกจากนี้ชุดข้อมูลดิบที่แตกต่างกันมากอาจมีเมทริกซ์สหสัมพันธ์เหมือนกัน ตัวอย่างเช่นทั้งคู่มีเมทริกซ์สหสัมพันธ์ของ:

ดังนั้นพวกเขาจึงมี eigenvectors ชี้ไปในทิศทางเดียวกัน:

แต่ถ้าคุณต้องใช้การตีความภาพแบบเดียวกันกับที่ทิศทางของข้อมูลผู้ใช้ในข้อมูลดิบคุณจะได้เวกเตอร์ชี้ไปในทิศทางที่ต่างกัน

ใครช่วยบอกฉันทีว่าฉันทำผิดไปได้ไหม

การแก้ไขที่สอง : หากฉันกล้าหาญมากด้วยคำตอบที่ดีเยี่ยมด้านล่างฉันสามารถเข้าใจความสับสนและแสดงให้เห็นได้

1. คำอธิบายด้วยภาพสอดคล้องกับความจริงที่ว่า eigenvector สกัดจากเมทริกซ์ความแปรปรวนร่วมนั้นแตกต่างกัน

   Covariances และ Eigenvectors (สีแดง):

   $$\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$$

   Covariances and Eigenvectors (Blue):

   $$\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$$

2. เมทริกซ์สหสัมพันธ์แสดงการฝึกแปรปรวนร่วมของตัวแปรมาตรฐาน การตรวจสอบด้วยตาแหน่งของตัวแปรมาตรฐานแสดงให้เห็นว่าเหตุใด eigenvector ที่เหมือนกันจึงถูกดึงในตัวอย่างของฉัน:

คุณไม่ต้องทำ PCA กับเมทริกซ์สหสัมพันธ์ คุณสามารถสลายเมทริกซ์ความแปรปรวนร่วมได้เช่นกัน โปรดทราบว่าโดยทั่วไปแล้วสิ่งเหล่านี้จะให้โซลูชันที่แตกต่างกัน (สำหรับข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้โปรดดู: PCA เกี่ยวกับความสัมพันธ์หรือความแปรปรวนร่วม? )

ในรูปที่สองของคุณความสัมพันธ์เหมือนกัน แต่กลุ่มดูแตกต่างกัน พวกเขาดูแตกต่างเพราะพวกเขามีพันธมิตรที่แตกต่างกัน อย่างไรก็ตามความแปรปรวนก็แตกต่างกัน (เช่นกลุ่มสีแดงแปรผันตามช่วงกว้างของ X1) และความสัมพันธ์คือความแปรปรวนร่วมหารด้วยค่าเบี่ยงเบนมาตรฐาน ( ) เป็นผลให้ความสัมพันธ์สามารถเหมือนกัน ${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$

อีกครั้งถ้าคุณทำ PCA กับกลุ่มเหล่านี้โดยใช้เมทริกซ์ความแปรปรวนร่วมคุณจะได้รับผลลัพธ์ที่แตกต่างจากถ้าคุณใช้เมทริกซ์สหสัมพันธ์