ความเข้าใจทางเรขาคณิตของ PCA ในพื้นที่ (เรื่องคู่)

ฉันพยายามที่จะได้รับความเข้าใจที่ง่ายของการวิเคราะห์องค์ประกอบวิธีการหลัก (PCA) ทำงานในเรื่อง (คู่) พื้นที่

พิจารณาชุดข้อมูล 2D ที่มีตัวแปรสองตัวคือและและจุดข้อมูล (เมทริกซ์ข้อมูลคือคูณและถือว่าอยู่กึ่งกลาง) การนำเสนอตามปกติของ PCA คือเราพิจารณาคะแนนในเขียนเมทริกซ์ความแปรปรวนร่วมและหาค่าลักษณะเฉพาะของมัน สอดคล้องเครื่องแรกกับทิศทางของความแปรปรวนสูงสุด ฯลฯ นี่คือตัวอย่างที่มีความแปรปรวนเดอะเมทริกซ์ขวา) เส้นสีแดงแสดงค่าไอเกนผู้ประเมินโดยสแควร์รูทของค่าลักษณะเฉพาะนั้น ๆ $x_1$ $x_2$ $n$ $\mathbf X$ $n\times 2$ $n$ $\mathbb R^2$ $2\times 2$ $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$

$\hskip 1in$

ตอนนี้ให้พิจารณาสิ่งที่เกิดขึ้นในพื้นที่หัวเรื่อง (ฉันเรียนรู้คำศัพท์นี้จาก @ttnphns) หรือที่เรียกว่าช่องว่างคู่ (คำที่ใช้ในการเรียนรู้ของเครื่อง) นี่คือพื้นที่มิติที่ตัวอย่างของสองตัวแปรของเรา (สองคอลัมน์ของ ) รูปแบบสองเวกเตอร์และx_2 ความยาวกำลังสองของเวกเตอร์ตัวแปรแต่ละตัวเท่ากับความแปรปรวน, โคไซน์ของมุมระหว่างเวกเตอร์สองตัวนั้นเท่ากับความสัมพันธ์ระหว่างพวกมัน การเป็นตัวแทนนี้เป็นวิธีที่มีมาตรฐานมากในการบำบัดรักษาการถดถอยหลายครั้ง ในตัวอย่างของฉันพื้นที่หัวเรื่องดูเหมือนว่า (ฉันจะแสดงระนาบ 2D ที่ถูกเวกเตอร์แปรผันสองตัวเท่านั้น): $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

ส่วนประกอบหลักซึ่งเป็นการรวมกันเชิงเส้นของตัวแปรทั้งสองจะรวมกันเป็นสองเวกเตอร์และในระนาบเดียวกัน คำถามของฉันคือสิ่งที่เป็นความเข้าใจเรขาคณิต / สัญชาตญาณของวิธีการรูปแบบหลักเวกเตอร์องค์ประกอบตัวแปรโดยใช้พาหะตัวแปรเดิมในพล็อตดังกล่าวหรือไม่ ได้รับและสิ่งที่ขั้นตอนเรขาคณิตจะให้ผลผลิต ? $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

ด้านล่างนี้เป็นความเข้าใจบางส่วนของฉันในปัจจุบัน

ก่อนอื่นฉันสามารถคำนวณส่วนประกอบ / แกนหลักผ่านวิธีมาตรฐานและพล็อตพวกมันในรูปแบบเดียวกัน:

$\hskip 1in$

ยิ่งไปกว่านั้นเราสามารถสังเกตได้ว่านั้นถูกเลือกเช่นว่าผลรวมของระยะทางระหว่าง (เวกเตอร์สีน้ำเงิน) และการคาดการณ์ของพวกเขาในนั้นน้อยมาก ระยะทางเหล่านั้นเป็นข้อผิดพลาดในการสร้างใหม่และแสดงด้วยเส้นประสีดำ เท่าเพิ่มผลรวมของความยาวของทั้งสองยกกำลังสองประมาณการ สิ่งนี้ระบุอย่างสมบูรณ์และแน่นอนคล้ายกับคำอธิบายที่คล้ายกันในพื้นที่หลัก (ดูภาพเคลื่อนไหวในคำตอบของฉันในการทำความเข้าใจการวิเคราะห์องค์ประกอบหลัก eigenvectors & ค่าลักษณะเฉพาะ ) ดูส่วนแรกของ@ttnphns'es ที่นี่ด้วย $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

อย่างไรก็ตามนี่ไม่เพียงพอสำหรับเรขาคณิต! มันไม่ได้บอกวิธีการหาและไม่ได้ระบุความยาว $\mathbf p_1$

ฉันเดาว่า , ,และทั้งหมดอยู่ในวงรีหนึ่งที่ศูนย์ที่โดยที่และเป็นแกนหลัก นี่เป็นตัวอย่างของฉัน: $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

Q1: จะพิสูจน์ได้อย่างไร? การสาธิตพีชคณิตโดยตรงดูเหมือนจะน่าเบื่อมาก วิธีดูว่ากรณีนี้จะต้อง?

แต่มีจุดไข่ปลาที่แตกต่างกันมากมายที่กึ่งกลางที่และผ่านและ : $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Q2: วงรี "ถูกต้อง" ระบุอะไร? การเดาครั้งแรกของฉันคือวงรีที่มีแกนหลักที่ยาวที่สุดที่เป็นไปได้ แต่ดูเหมือนว่าจะผิด (มีรูปไข่กับแกนหลักของความยาวใด ๆ )

หากมีคำตอบสำหรับไตรมาสที่ 1 และไตรมาสที่ 2 ฉันก็อยากจะรู้ด้วยว่าพวกเขาพูดถึงกรณีของตัวแปรมากกว่าสองตัวหรือไม่

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

เป็นความจริงไหมว่ามีจุดไข่ปลาที่เป็นไปได้มากมายที่อยู่กึ่งกลางที่จุดกำเนิด (โดยที่ x1 & x2 ตัดกัน) และติดต่อกับปลายสุดของ x1 & x2 หรือไม่? ฉันคิดว่าคงมีแค่อันเดียว แน่นอนว่าอาจมีหลายอย่างถ้าคุณผ่อนคลาย 1 ใน 3 ของเกณฑ์เหล่านั้น (ตรงกลาง, & ปลาย 2)

— gung - Reinstate Monica

มีจุดไข่ปลาอยู่ตรงกลางที่จุดกำเนิดผ่านสองเวกเตอร์ แต่สำหรับเวกเตอร์ที่ไม่ใช่ collinearและมีเพียงอันเดียวนั่นคือวงกลมหน่วยในสองฐาน มันคือโลกัสของโดยที่สามารถเรียนรู้ได้มากมายจากแกนหลัก

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$

— whuber

variable space (I borrowed this term from ttnphns)- @amoeba คุณต้องเข้าใจผิด ตัวแปรที่เป็นเวกเตอร์ในพื้นที่ n- มิติเรียกว่าพื้นที่ว่าง (วัตถุที่ n เป็นแกน "กำหนด" พื้นที่ในขณะที่ตัวแปร p "ขยาย" มัน) ในทางกลับกันพื้นที่แปรผันคือตรงกันข้าม - นั่นคือ scatterplot ปกติ นี่คือวิธีสร้างคำศัพท์ในสถิติหลายตัวแปร (ถ้าในการเรียนรู้ด้วยเครื่องจักรมันแตกต่างกัน - ฉันไม่รู้ - มันแย่กว่านั้นสำหรับผู้เรียน)

— ttnphns

โปรดทราบว่าทั้งคู่เป็นช่องว่างแบบเวกเตอร์: เวกเตอร์ (= คะแนน) คือช่วงใดแกนคือสิ่งที่กำหนดทิศทางและรอยหยักการวัดหมี โปรดทราบด้วยว่าวิภาษ: "ช่องว่าง" ทั้งสองเป็นช่องว่างเดียวกัน (เฉพาะสูตรที่แตกต่างกันสำหรับวัตถุประสงค์ปัจจุบัน) เห็นได้จากตัวอย่างในรูปภาพสุดท้ายของคำตอบนี้ เมื่อคุณซ้อนทับสูตรสองสูตรคุณจะได้ biplot หรือช่องว่างคู่

— ttnphns

My guess is that x1, x2, p1, p2 all lie on one ellipseอะไรคือความช่วยเหลือจากการแก้ปัญหาวงรีที่นี่? ฉันสงสัยมัน.

— ttnphns

สรุปทั้งหมดของแสดงในคำถามขึ้นอยู่กับช่วงเวลาที่สองเท่านั้น หรือเท่ากันในเมทริกซ์นายก} เพราะเราคิดว่าเป็นจุดเมฆ -แต่ละจุดคือแถวของ - เราอาจถามว่าการดำเนินการอย่างง่ายในประเด็นเหล่านี้รักษาคุณสมบัติของได้อย่างไร $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ $\mathbf X$ $\mathbf{X^\prime X}$

หนึ่งคือการซ้ายคูณโดยเมทริกซ์ซึ่งจะผลิตอีกเมทริกซ์{} สำหรับสิ่งนี้ในการทำงานมันเป็นสิ่งสำคัญที่ $\mathbf X$ $n\times n$ $\mathbf U$ $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

ความเท่าเทียมกันเมื่อมีการประกันเป็นเมทริกซ์เอกลักษณ์นั่นคือเมื่อเป็นมุมฉาก $\mathbf{U^\prime U}$ $n\times n$ $\mathbf{U}$

มันเป็นที่รู้จักกันดี (และง่ายที่จะแสดงให้เห็น) ว่า orthogonal เมทริกซ์เป็นผลมาจากการสะท้อนและปริภูมิแบบยุคลิด (พวกเขากลายเป็นกลุ่มสะท้อนใน ) โดยการเลือกอย่างชาญฉลาดผลัดเราอย่างมากสามารถลดความซับซ้อนของ{X} แนวคิดหนึ่งคือการมุ่งเน้นไปที่การหมุนที่ส่งผลกระทบต่อจุดสองจุดในเมฆในเวลาเดียว สิ่งเหล่านี้ง่ายมากเพราะเราเห็นภาพได้ $\mathbb{R}^n$ $\mathbf{X}$

โดยเฉพาะการให้และเป็นสองจุดภัณฑ์ที่แตกต่างกันในเมฆ constituting แถวและของ{X} การหมุนของพื้นที่คอลัมน์ส่งผลกระทบต่อเพียงสองจุดนี้เท่านั้นที่จะเปลี่ยนเป็น $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

อะไรจำนวนนี้เป็นรูปวาดเวกเตอร์และในเครื่องบินและหมุนพวกเขาโดยมุม\(สังเกตว่าพิกัดผสมกันที่นี่ได้อย่างไรไปด้วยกันและไปด้วยกันดังนั้นผลของการหมุนนี้ในมักจะไม่ดูเหมือนการหมุนของ เวกเตอร์และตามที่วาดใน ) $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ $\mathbb{R}^2$

ด้วยการเลือกมุมที่ถูกต้องเราสามารถเป็นศูนย์ในองค์ประกอบใหม่เหล่านี้ จะเป็นคอนกรีตขอเลือกเพื่อให้ $\theta$

{\begin{cases} \cos (θ) = \pm \frac{x_{i}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \\ \sin (θ) = \pm \frac{x_{j}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \end{cases} .

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

นี้จะทำให้ 0 เลือกเข้าสู่ระบบเพื่อให้0 ขอเรียกการดำเนินการนี้ซึ่งการเปลี่ยนแปลงจุดที่และในเมฆแสดงโดย ,j) $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ $\gamma(i,j)$

การใช้กับซ้ำ ๆจะทำให้คอลัมน์แรกของไม่ใช่ศูนย์ใน แถวแรก ในทางเรขาคณิตเราจะย้ายทั้งหมด แต่จุดเดียวในเมฆบนแกนตอนนี้เราอาจใช้การหมุนเดียวซึ่งอาจเกี่ยวข้องกับพิกัดในเพื่อบีบจุดเหล่านั้นลงไปที่จุดเดียว เท่ากันถูกลดขนาดลงเป็นรูปแบบบล็อก $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ $\mathbb{R}^n$ $n-1$ $X$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix}),

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

ด้วยและทั้งสองคอลัมน์เป็นเวกเตอร์ที่มีพิกัดในลักษณะที่ $\mathbf{0}$ $\mathbf{z}$ $n-1$

X^{'} X = (\begin{matrix} {(x_{1}^{'})}^{2} & x_{1}^{'} y_{1}^{'} \\ x_{1}^{'} y_{1}^{'} & {(y_{1}^{'})}^{2} + | | z | |^{2} \end{matrix}) .

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

การหมุนครั้งสุดท้ายนี้ช่วยลดลงในฟอร์มสามเหลี่ยมด้านบน $\mathbf{X}$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix}) .

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

ผลตอนนี้เราสามารถเข้าใจในแง่ของการที่ง่ายมากเมทริกซ์สร้าง โดยสองคะแนนสุดท้ายไม่ใช่ศูนย์เหลือยืน $\mathbf{X}$ $2\times 2$ $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

เพื่อแสดงให้เห็นว่าฉันดึงสี่คะแนน iid จากการแจกแจงปกติแบบ bivariate และปัดค่าเป็น

X = (\begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix})

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

เมฆจุดเริ่มต้นนี้จะปรากฏที่ด้านซ้ายของรูปถัดไปโดยใช้จุดสีดำทึบโดยมีลูกศรสีที่ชี้จากจุดกำเนิดไปยังแต่ละจุด (เพื่อช่วยให้เรามองเห็นพวกมันเป็นเวกเตอร์ )

ลำดับของการดำเนินการที่มีผลกับจุดเหล่านี้โดยและส่งผลให้เมฆที่แสดงอยู่ตรงกลาง ที่มากในขณะที่สามจุดนอนพร้อมแกนได้รับการรวมตัวกันเป็นจุดเดียวออกจากการเป็นตัวแทนของรูปแบบที่ลดลงของX ความยาวของเวกเตอร์สีแดงแนวตั้งคือ; อื่น ๆ (สีฟ้า) เป็นเวกเตอร์นายก) $\gamma(1,2), \gamma(1,3),$ $\gamma(1,4)$ $y$ $\mathbf X$ $||\mathbf{z}||$ $(x_1^\prime, y_1^\prime)$

สังเกตุเห็นรูปร่างที่เป็นจุดจาง ๆ สำหรับการอ้างอิงในแผงทั้งห้า มันแสดงให้เห็นถึงความยืดหยุ่นที่เหลืออยู่ล่าสุดในการเป็นตัวแทน : $\mathbf X$ เมื่อเราหมุนสองแถวแรกเวกเตอร์สองตัวสุดท้ายจะติดตามวงรีนี้ ดังนั้นเวกเตอร์แรกติดตามเส้นทาง

\begin{matrix} (1) & θ \to (\cos (θ) x_{1}^{'}, \cos (θ) y_{1}^{'} + \sin (θ) | | z | |) \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

ในขณะที่เวกเตอร์ที่สองติดตามเส้นทางเดียวกันตาม

\begin{matrix} (2) & θ \to (- \sin (θ) x_{1}^{'}, - \sin (θ) y_{1}^{'} + \cos (θ) | | z | |) . \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

เราอาจหลีกเลี่ยงพีชคณิตที่น่าเบื่อโดยสังเกตว่าเพราะเส้นโค้งนี้เป็นภาพของชุดของจุดภายใต้การแปลงเชิงเส้นที่กำหนดโดย $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$

(1, 0) \to (x_{1}^{'}, 0); (0, 1) \to (y_{1}^{'}, | | z | |),

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

มันจะต้องเป็นวงรี (ตอบคำถาม 2 ตอนนี้ทั้งหมด) ดังนั้นจะมีค่าวิกฤตสี่ค่าของในการกำหนดพารามิเตอร์ซึ่งทั้งสองสอดคล้องกับจุดสิ้นสุดของแกนหลักและสองสอดคล้องกับจุดสิ้นสุดของแกนย่อย; และตามมาทันทีที่พร้อมกันให้ปลายของแกนรองและแกนหลักตามลำดับ หากเราเลือก aจุดที่เกี่ยวข้องใน cloud point จะอยู่ที่ปลายแกนหลักเช่นนี้: $\theta$ $(1)$ $(2)$ $\theta$

เนื่องจากสิ่งเหล่านี้เป็นฉากตั้งฉากและหันไปตามแกนของวงรีพวกมันจึงอธิบายแกนหลักได้อย่างถูกต้องนั่นคือโซลูชัน PCA นั่นคือคำตอบคำถามที่ 1

วิเคราะห์ให้ที่นี่ในการเติมเต็มของคำตอบของฉันที่ด้านล่างคำอธิบายด้านบนของระยะทาง Mahalanobis ที่นั่นโดยการตรวจสอบการหมุนและ rescalings ในฉันอธิบายว่าเมฆจุดใดในมิติจะกำหนดระบบพิกัดธรรมชาติสำหรับได้อย่างไร ที่นี่ฉันได้แสดงให้เห็นว่ามันกำหนดทางเรขาคณิตวงรีซึ่งเป็นภาพของวงกลมภายใต้การแปลงเชิงเส้น แน่นอนว่าวงรีนี้เป็นไอโซโทปของระยะทาง Mahalanobis คงที่ $\mathbb{R}^2$ $p=2$ $\mathbb{R}^2$

อีกสิ่งหนึ่งที่ทำได้โดยการวิเคราะห์นี้คือการแสดงการเชื่อมต่อที่ใกล้ชิดระหว่างการสลายตัว QR (ของเมทริกซ์รูปสี่เหลี่ยมผืนผ้า)และการแยกย่อยค่าเอกพจน์หรือ SVD เป็นที่รู้จักกันผลัด Givens องค์ประกอบของพวกเขาประกอบด้วย orthogonal หรือ " " ซึ่งเป็นส่วนหนึ่งของการสลายตัวของ QR สิ่งที่เหลืออยู่ - รูปแบบที่ลดลงของ - เป็นสามเหลี่ยมด้านบนหรือส่วน " " ของการสลายตัว QR ในเวลาเดียวกันการหมุนและ rescalings (อธิบายว่า relabelings ของพิกัดในตำแหน่งอื่น ๆ ) ประกอบด้วยส่วนหนึ่งของ SVD $\gamma(i,j)$ $Q$ $\mathbf{X}$ $R$ $\mathbf{D}\cdot \mathbf{V}^\prime$ $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ นายก} แถวของโดยบังเอิญสร้างจุดของคลาวด์ที่แสดงในรูปสุดท้ายของโพสต์นั้น $\mathbf{U}$

ในที่สุดการวิเคราะห์ที่นำเสนอที่นี่สรุปในรูปแบบที่ชัดเจนต่อกรณี : นั่นคือเมื่อมีองค์ประกอบหลักเพียงหนึ่งหรือสององค์ประกอบ $p\ne 2$

— whuber
แหล่งที่มา

แม้ว่าคำตอบของคุณอาจเป็นแบบอย่างในตัวมันเองมันก็ไม่ชัดเจนสำหรับฉัน - มันเกี่ยวข้องกับคำถามอย่างไร คุณกำลังพูดถึงเกี่ยวกับdata cloud X (และเวกเตอร์ที่คุณหมุนคือจุดข้อมูล, แถวของ X) แต่คำถามคือเกี่ยวกับพื้นที่ที่อยู่ภายใต้ลดลง กล่าวอีกนัยหนึ่งเราไม่มีข้อมูล X เรามี 2x2 ความแปรปรวนร่วมหรือเมทริกซ์กระจาย X'X

— ttnphns

(ต่อ) เราเป็นตัวแทนของตัวแปร 2 ตัวที่สรุปโดยมันเป็น 2 เวกเตอร์ที่มีความยาว = sqrt (องค์ประกอบแนวทแยงมุม) และมุม = ความสัมพันธ์ของพวกเขา จากนั้น OP ถามว่าเราจะแก้ปัญหาทางเรขาคณิตอย่างหมดจดสำหรับองค์ประกอบหลักได้อย่างไร กล่าวอีกนัยหนึ่ง OP ต้องการอธิบายeigendecomposition ทางเรขาคณิต (eigenvalues & eigenvectors หรือดีกว่าโหลด) ของเมทริกซ์ความแปรปรวนร่วม symmetric 2x2

— ttnphns

(ต่อ.) โปรดดูที่ภาพที่สองมี สิ่งที่ OP ของคำถามปัจจุบันพยายามหาคือเครื่องมือหรือลูกเล่นทางเรขาคณิต (ตรีโกณมิติ ฯลฯ ) เพื่อวาดเวกเตอร์ P1 และ P2 บนรูปนั้นโดยมีเพียงเวกเตอร์ X และ Y ตามที่กำหนด

— ttnphns

@ttnphns ไม่สำคัญว่าจุดเริ่มต้นคืออะไร: ครึ่งแรกของคำตอบนี้แสดงให้เห็นว่าคุณสามารถลด cloudจุดใดจุดหนึ่งให้เป็นคู่ของจุดที่มีข้อมูลทั้งหมดเกี่ยวกับ . ครึ่งหลังแสดงให้เห็นว่าจุดคู่นั้นไม่เหมือนกัน แต่อย่างไรก็ตามแต่ละจุดนั้นอยู่บนวงรีเดียวกัน มันจะช่วยให้การก่อสร้างที่ชัดเจนของการเริ่มต้นวงรีที่มีใด ๆตัวแทนสองจุด (เช่นคู่ของเวกเตอร์สีฟ้าแสดงในคำถาม) แกนหลักและแกนรองทำให้ได้โซลูชัน PCA (เวกเตอร์สีแดง)

X

$\mathbf{X}$ $\mathbf{X^\prime X}$

X^{'} X

$\mathbf{X^\prime X}$

— whuber

ขอบคุณฉันเริ่มเข้าใจความคิดของคุณ (ฉันหวังว่าคุณจะเพิ่มคำบรรยาย / บทสรุปในคำตอบของคุณเกี่ยวกับ "ครึ่งหนึ่ง" ของมันเพียงเพื่อจัดโครงสร้างสำหรับผู้อ่าน)

— ttnphns