อะไรคือคำอธิบายที่เข้าใจง่ายว่า PCA เปลี่ยนจากปัญหาเชิงเรขาคณิต (ด้วยระยะทาง) เป็นปัญหาพีชคณิตเชิงเส้น (กับ eigenvectors) อย่างไร

ฉันได้อ่านมากเกี่ยวกับ PCA รวมทั้งบทเรียนต่างๆและคำถาม (เช่นนี้ , คนนี้ , คนนี้และคนนี้ )

ปัญหาทางเรขาคณิตที่ PCA พยายามปรับให้เหมาะสมนั้นชัดเจนสำหรับฉัน: PCA พยายามค้นหาส่วนประกอบหลักแรกด้วยการลดข้อผิดพลาดการสร้างใหม่ (การฉายภาพ) ซึ่งลดความแปรปรวนของข้อมูลที่คาดการณ์ไว้พร้อมกัน

เมื่อฉันอ่านครั้งแรกฉันก็นึกถึงบางสิ่งอย่างเช่นการถดถอยเชิงเส้น บางทีคุณสามารถแก้มันโดยใช้การไล่ระดับสีถ้าจำเป็น

อย่างไรก็ตามแล้วใจของฉันก็ปลิวไปเมื่อฉันอ่านว่าปัญหาการหาค่าเหมาะที่สุดนั้นได้รับการแก้ไขโดยใช้พีชคณิตเชิงเส้นและหาค่าลักษณะเฉพาะและค่าลักษณะเฉพาะ ฉันไม่เข้าใจว่าการใช้พีชคณิตเชิงเส้นนี้เข้ามาในการเล่นได้อย่างไร

ดังนั้นคำถามของฉันคือ PCA สามารถเปลี่ยนจากปัญหาการหาค่าเหมาะที่สุดเชิงเรขาคณิตเป็นปัญหาพีชคณิตเชิงเส้นได้อย่างไร ใครสามารถให้คำอธิบายง่ายๆ

ฉันไม่ได้มองหาคำตอบเช่นนี้ที่กล่าวว่า "เมื่อคุณแก้ปัญหาทางคณิตศาสตร์ของ PCA มันจะเทียบเท่ากับการหาค่าลักษณะเฉพาะและ eigenvectors ของเมทริกซ์ความแปรปรวนร่วม" โปรดอธิบายว่าเหตุใด eigenvector จึงกลายเป็นองค์ประกอบหลักและทำไมค่าลักษณะเฉพาะออกมาเป็นความแปรปรวนของข้อมูลที่ฉายลงบนพวกเขา

ฉันเป็นวิศวกรซอฟต์แวร์ไม่ใช่นักคณิตศาสตร์เลย

หมายเหตุ: รูปด้านบนนี้ถูกถ่ายและแก้ไขจากบทช่วยสอน PCAนี้

คำชี้แจงปัญหา

ปัญหาทางเรขาคณิตที่ PCA พยายามปรับให้เหมาะสมนั้นชัดเจนสำหรับฉัน: PCA พยายามค้นหาส่วนประกอบหลักแรกด้วยการลดข้อผิดพลาดการสร้างใหม่ (การฉายภาพ) ซึ่งลดความแปรปรวนของข้อมูลที่คาดการณ์ไว้พร้อมกัน

ถูกตัอง. ฉันอธิบายความเชื่อมโยงระหว่างสูตรทั้งสองนี้ในคำตอบของฉันที่นี่ (ไม่มีคณิตศาสตร์) หรือที่นี่ (พร้อมคณิตศาสตร์)

ลองดูสูตรที่สอง: PCA พยายามหาทิศทางเช่นนั้นการคาดการณ์ข้อมูลที่มีความแปรปรวนที่เป็นไปได้สูงสุด ทิศทางนี้โดยนิยามเรียกว่าทิศทางหลักแรก เราสามารถทำเป็นระเบียบได้ดังต่อไปนี้: เนื่องจากเมทริกซ์ความแปรปรวนร่วมเรากำลังมองหาเวกเตอร์มีความยาวหน่วยเช่นนั้นสูงสุด$\mathbf C$$\mathbf w$$\|\mathbf w\|=1$$\mathbf w^\top \mathbf{Cw}$

(ในกรณีที่ไม่ชัดเจน: ถ้าเป็นเมทริกซ์ข้อมูลกึ่งกลางการประมาณการจะได้รับโดยและความแปรปรวนคือ .)$\mathbf X$$\mathbf{Xw}$$\frac{1}{n-1}(\mathbf{Xw})^\top \cdot \mathbf{Xw} = \mathbf w^\top\cdot (\frac{1}{n-1}\mathbf X^\top\mathbf X)\cdot \mathbf w = \mathbf w^\top \mathbf{Cw}$

ในทางตรงกันข้ามการวิคเตอร์ของคือโดยความหมายใด ๆ เวกเตอร์ดังกล่าวว่าวี$\mathbf C$$\mathbf v$$\mathbf{Cv}=\lambda \mathbf v$

ปรากฎว่าทิศทางหลักแรกได้รับจาก eigenvector ที่มีค่าลักษณะเฉพาะที่ใหญ่ที่สุด นี่เป็นคำแถลงที่แปลกประหลาดและแปลกประหลาด

พิสูจน์

หากมีใครเปิดหนังสือหรือบทช่วยสอนใด ๆ บน PCA คุณสามารถพบหลักฐานต่อไปนี้เกือบหนึ่งบรรทัดของคำสั่งด้านบน เราต้องการเพิ่มภายใต้ข้อ จำกัด ที่ ; สิ่งนี้สามารถทำได้โดยการเพิ่มตัวคูณและเพิ่มลากรองจ์ ; เราได้รับซึ่งเป็นสมการไอเก็นนิคเตอร์ เราเห็นว่ามีค่าลักษณะเฉพาะที่ใหญ่ที่สุดในความเป็นจริงโดยการแทนที่วิธีนี้เป็นฟังก์ชันวัตถุประสงค์ซึ่งให้$\mathbf w^\top \mathbf{Cw}$$\|\mathbf w\|=\mathbf w^\top \mathbf w=1$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1)$$\mathbf{Cw}-\lambda\mathbf w=0$$\lambda$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1) = \mathbf w^\top \mathbf{Cw} = \lambda\mathbf w^\top \mathbf{w} = \lambda$\ จากความจริงที่ว่าวัตถุประสงค์ของฟังก์ชั่นนี้ควรได้รับการขยายให้มากที่สุดจะต้องมีค่าลักษณะเฉพาะมากที่สุด, QED$\lambda$

สิ่งนี้มีแนวโน้มที่จะไม่ง่ายสำหรับคนส่วนใหญ่

หลักฐานที่ดีกว่า (ดูตัวอย่างเช่นคำตอบที่ประณีตนี้โดย @ cardinal ) กล่าวว่าเนื่องจากเป็นเมทริกซ์สมมาตรจึงเป็นแนวทแยงในลักษณะพื้นฐานของไอจีนิค (นี่เรียกว่าทฤษฎีบทเกี่ยวกับสเปกตรัม ) ดังนั้นเราจึงสามารถเลือกพื้นฐานมุมฉากได้คือหนึ่งที่กำหนดโดย eigenvectors โดยที่เป็นแนวทแยงมุมและมีค่าลักษณะเฉพาะบนเส้นทแยงมุม โดยพื้นฐานแล้วจะลดความซับซ้อนของหรือกล่าวอีกนัยหนึ่งคือความแปรปรวนจะถูกกำหนดโดยผลรวมถ่วงน้ำหนักของค่าลักษณะเฉพาะ เกือบจะทันทีที่การเพิ่มนิพจน์นี้ให้มากที่สุดควรใช้$\mathbf C$$\mathbf C$$\lambda_i$$\mathbf w^\top \mathbf{C w}$$\sum \lambda_i w_i^2$$\mathbf w = (1,0,0,\ldots, 0)$คือ eigenvector แรกที่ยอมแปรปรวน (จริง ๆ แล้วเบี่ยงเบนไปจากคำตอบนี้และ "การค้า" ส่วนที่ใหญ่ที่สุดของค่าลักษณะเฉพาะสำหรับชิ้นเล็ก ๆ จะนำไปสู่ความแปรปรวนโดยรวมเล็ก) โปรดทราบว่าค่าของไม่ได้ขึ้นอยู่กับพื้นฐาน! การเปลี่ยนเป็นค่าพื้นฐานของไอเจนิคเตอร์ทำให้เกิดการหมุนดังนั้นในแบบ 2D สามารถจินตนาการได้เพียงแค่หมุนแผ่นกระดาษด้วยสแกตเตอร์กระจาย เห็นได้ชัดว่าสิ่งนี้ไม่สามารถเปลี่ยนแปลงผลต่างใด ๆ$\lambda_1$$\mathbf w^\top \mathbf{C w}$

ฉันคิดว่านี่เป็นข้อโต้แย้งที่ใช้งานง่ายและมีประโยชน์มาก แต่ขึ้นอยู่กับทฤษฎีบทสเปกตรัม ผมคิดว่าประเด็นที่แท้จริงที่นี่คือ: อะไรคือสัญชาตญาณเบื้องหลังทฤษฎีบทสเปกตรัม

ทฤษฎีบทสเปกตรัม

ใช้เมทริกซ์สมมาตรC ใช้ของวิคเตอร์มีขนาดใหญ่ที่สุด eigenvalue \ทำให้ไอจีนิกเตอร์ตัวนี้เป็นเวกเตอร์พื้นฐานอันดับแรกและเลือกเวกเตอร์พื้นฐานอื่น ๆ แบบสุ่ม (เช่นที่พวกมันทั้งหมดเป็นแบบออโธเทนนิมอล) วิธีการจะมองในพื้นฐานนี้?$\mathbf C$$\mathbf w_1$$\lambda_1$$\mathbf C$

มันจะมีที่มุมบนซ้ายเนื่องจากในพื้นฐานนี้และ จะเท่ากับมี0)$\lambda_1$$\mathbf w_1=(1,0,0\ldots 0)$$\mathbf {Cw}_1=(C_{11}, C_{21}, \ldots C_{p1})$$\lambda_1\mathbf w_1 = (\lambda_1,0,0 \ldots 0)$

โดยอาร์กิวเมนต์เดียวกันก็จะมีศูนย์ในคอลัมน์แรกภายใต้\$\lambda_1$

แต่เนื่องจากมันสมมาตรจะมีศูนย์ในแถวแรกหลังจากเช่นกัน ดังนั้นมันจะเป็นดังนี้:$\lambda_1$

เมื่อที่ว่างหมายความว่ามีบางส่วนขององค์ประกอบ เนื่องจากเมทริกซ์นั้นสมมาตรบล็อกนี้จึงมีความสมมาตรเช่นกัน ดังนั้นเราสามารถใช้อาร์กิวเมนต์เดียวกันกับมันได้อย่างมีประสิทธิภาพโดยใช้ eigenvector ที่สองเป็นเวกเตอร์พื้นฐานที่สองและรับและบนแนวทแยง สิ่งนี้สามารถดำเนินต่อไปจนกระทั่งเป็นแนวทแยง นั่นคือทฤษฎีบททางสเปกตรัม (โปรดสังเกตว่ามันใช้งานได้เพียงเพราะสมมาตร)$\lambda_1$$\lambda_2$$\mathbf C$$\mathbf C$

นี่คือการปฏิรูปที่เป็นนามธรรมของอาร์กิวเมนต์เดียวกันทั้งหมด

เรารู้ว่าดังนั้น eigenvector ตัวแรกจะกำหนดพื้นที่ย่อย 1 มิติที่ทำหน้าที่เป็นตัวคูณสเกลาร์ ให้เราตอนนี้ใช้ใด ๆ เวกเตอร์ฉากกับw_1 แล้วก็เกือบจะทันทีที่ยังเป็นฉากกับw_1 อันที่จริง:$\mathbf{Cw}_1 = \lambda_1 \mathbf w_1$$\mathbf C$$\mathbf v$$\mathbf w_1$$\mathbf {Cv}$$\mathbf w_1$

ซึ่งหมายความว่าทำหน้าที่ในสเปซที่เหลือทั้งฉากกับดังกล่าวว่ามันอยู่ที่แยกต่างหากจากw_1 นี่คือคุณสมบัติที่สำคัญของเมทริกซ์สมมาตร ดังนั้นเราจึงสามารถหาไอเก็คเวกเตอร์ที่ใหญ่ที่สุดที่นั่นและดำเนินการในลักษณะเดียวกันในที่สุดก็สร้างโครงสร้างพื้นฐานแบบดั้งเดิมของไอเก็นเวกเตอร์$\mathbf C$$\mathbf w_1$$\mathbf w_1$$\mathbf w_2$

มีผลลัพธ์จากปี 1936 โดย Eckart และ Young ( https://ccrma.stanford.edu/~dattorro/eckart%26young.1936.pdf ) ซึ่งระบุสิ่งต่อไปนี้

$\sum_1^r d_k u_k v_k^T = arg min_{\hat{X} \epsilon M(r)} ||X-\hat{X}||_F^2$

เมื่อ M (r) เป็นเซตของเมทริกซ์อันดับ r ซึ่งโดยทั่วไปหมายถึงส่วนประกอบ r แรกของ SVD ของ X ให้เมทริกซ์อันดับต่ำที่ดีที่สุดโดยประมาณของ X และดีที่สุดถูกกำหนดในแง่ของกำลังสอง Frobenius norm - ผลรวมของกำลังสอง องค์ประกอบของเมทริกซ์

นี่เป็นผลลัพธ์ทั่วไปสำหรับเมทริกซ์และตั้งแต่แรกเห็นไม่เกี่ยวข้องกับชุดข้อมูลหรือการลดขนาด

อย่างไรก็ตามหากคุณไม่คิดว่าเป็นเมทริกซ์ แต่ให้นึกถึงคอลัมน์ของเมทริกซ์เป็นพาหะของเวกเตอร์ของจุดข้อมูลดังนั้นคือการประมาณด้วยข้อผิดพลาดการแสดงขั้นต่ำในแง่ของความแตกต่างข้อผิดพลาดกำลังสอง$X$$X$$\hat{X}$

นี่คือสิ่งที่ฉันใช้กับพีชคณิตเชิงเส้นด้านหลัง PCA ในพีชคณิตเชิงเส้นหนึ่งในทฤษฎีที่สำคัญคือ{ผีทฤษฎีบท} มันระบุว่า S เป็นสมการ n ใด ๆ โดยเมทริกซ์ n กับสัมประสิทธิ์จริงแล้ว S มี n eigenvector กับค่าลักษณะเฉพาะทั้งหมดเป็นของจริง นั่นหมายความว่าเราสามารถเขียนกับ D เมทริกซ์แนวทแยงที่มีผลบวก นั่นคือและมีอันตรายในการสมมติว่าไม่มี\ A คือการเปลี่ยนแปลงของเมทริกซ์พื้นฐาน นั่นคือถ้าพื้นฐานดั้งเดิมของเราคือดังนั้นด้วยพื้นฐานของ$\textit{Spectral Theorem}$$S = ADA^{-1}$$D = \mbox{diag} (\lambda_1, \lambda_2, \ldots, \lambda_n)$$\lambda_1 \geq \lambda_2 \geq \ldots \geq \lambda_n$$x_1,x_2, \ldots, x_n$$A(x_1), A(x_2), \ldots A(x_n)$การกระทำของ S เป็นแนวทแยง นี่ก็หมายความว่าถือได้ว่าเป็นพื้นฐานมุมฉากด้วย ถ้าเมทริกซ์ความแปรปรวนร่วมของเรามีไว้สำหรับการสังเกต n ตัวแปร n ตัวเราจะต้องทำ พื้นฐานที่จัดทำโดยเป็นพื้นฐานของ PCA สิ่งนี้ตามมาจากข้อเท็จจริงพีชคณิตเชิงเส้น ในสาระสำคัญมันเป็นความจริงเพราะพื้นฐาน PCA เป็นพื้นฐานของ eigenvectors และมี eigenvector ที่สุด n ของตารางเมทริกซ์ขนาด n แน่นอนว่าเมทริกซ์ข้อมูลส่วนใหญ่ไม่ได้เป็นแบบสแควร์ ถ้า X เป็นเมทริกซ์ข้อมูลที่มีการสังเกต n ของตัวแปร p ดังนั้น X คือขนาด n คูณ p ฉันจะสมมติว่า (การสังเกตมากกว่าตัวแปร) และ$A(x_i)$$||A(x_i)|| = \lambda_i$$A(x_i)$
$n>p$$rk(X) = p$(ตัวแปรทั้งหมดเป็นอิสระแบบเส้นตรง) ไม่จำเป็นต้องใช้สมมติฐาน แต่จะช่วยได้ด้วยสัญชาตญาณ พีชคณิตเชิงเส้นมีลักษณะทั่วไปจากทฤษฎีบทสเปกตรัมที่เรียกว่าการสลายตัวของค่าเอกฐาน สำหรับ X มันระบุว่ากับ U, V orthonormal (สี่เหลี่ยม) เมทริกซ์ขนาด n และ p และเมทริกซ์ทแยงมุมจริงที่ไม่ใช่ลบเท่านั้น รายการในแนวทแยง เราอาจจัดเรียงพื้นฐานของ V อีกครั้งเพื่อให้ในแง่เมทริกซ์นี่หมายความว่าถ้าและถ้าn $X = U \Sigma V^{t}$$\Sigma = (s_{ij})$$s_{11} \geq s_{22} \geq \ldots s_{pp}> 0$$X(v_i) = s_{ii} u_i$$i \leq p$$s_{ii} = 0$$i> n$$v_i$ให้ PCA สลายตัว แม่นยำยิ่งขึ้นคือการสลาย PCA พีชคณิตเชิงเส้นกล่าวอีกว่ามีเพียง eigenvector p เท่านั้น SVD ให้ตัวแปรใหม่ (ที่กำหนดโดยคอลัมน์ของ V) ที่เป็นฉากตั้งฉากและมีบรรทัดฐานลดลง $\Sigma V^{t}$

"ซึ่งเพิ่มความแปรปรวนของข้อมูลที่คาดการณ์ไว้ได้พร้อมกัน" คุณเคยได้ยินความฉลาดทาง Rayleighบ้างไหม? อาจเป็นวิธีหนึ่งที่เห็นสิ่งนี้ ความฉลาดทางเรย์ลีย์ของเมทริกซ์ความแปรปรวนร่วมจะให้ผลต่างของข้อมูลที่คาดการณ์ไว้ (และหน้า wiki อธิบายว่าเหตุใด eigenvector จึงเพิ่มความฉลาดทางเรย์ลีห์)

@amoeba ให้รูปแบบเรียบร้อยและมีหลักฐาน:

เราสามารถทำเป็นระเบียบได้ดังนี้: เนื่องจากเมทริกซ์ความแปรปรวนร่วม C, เรากำลังมองหาเวกเตอร์ w ที่มีความยาวหน่วย, ‖w‖ = 1, เช่นนั้น W ^T Cw สูงสุด

แต่ฉันคิดว่ามันมีข้อพิสูจน์หนึ่งอย่างง่าย ๆ เกี่ยวกับ

ปรากฎว่าทิศทางหลักแรกได้รับจาก eigenvector ที่มีค่าลักษณะเฉพาะที่ใหญ่ที่สุด นี่เป็นคำแถลงที่แปลกประหลาดและแปลกประหลาด

เราสามารถตีความ w ^T Cw เป็นผลคูณดอทระหว่างเวกเตอร์ w และ Cw ซึ่งได้มาจากการผ่านการแปลง C:

w ^T Cw = ‖w‖ * ‖Cw‖ * cos (w, Cw)

เนื่องจาก w มีความยาวตรึงเพื่อเพิ่ม w ^T Cw ให้มากที่สุดเราต้องการ:

1. เพิ่ม‖Cw‖
2. ขยาย cos (w, Cw)

ปรากฎว่าถ้าเรากลายเป็น eigenvector ของ C ด้วยค่าลักษณะเฉพาะที่ใหญ่ที่สุดเราสามารถเก็บถาวรทั้งสองพร้อมกัน:

1. ‖Cw‖สูงสุด (ถ้า w เบี่ยงเบนจาก eigenvector นี้สลายไปตาม eigenvector orthogonal คุณควรเห็น‖Cw‖ลดลง)
2. w และ Cw ในทิศทางเดียวกัน cos (w, Cw) = 1, สูงสุด

เนื่องจาก eigenvectors เป็น orthogonal ร่วมกับ eigenvector อื่น ๆ ของ C พวกเขากลายเป็นชุดขององค์ประกอบหลักในการ X

หลักฐาน 1

แยกย่อย w ลงใน orthogonal หลักและรอง eigenvector v1และv2สมมติว่าความยาวของมันคือ v1 และ v2 ตามลำดับ เราต้องการพิสูจน์

(λ ₁ w) ² > ((λ ₁ v1) ² + (λ ₂ v2) ² )

ตั้งแต่λ ₁ > λ ₂เรามี

((λ ₁ v1) ² + (λ ₂ v2) ² )

<((λ ₁ v1) ² + (λ ₁ v2) ² )

= (λ ₁ ) ² * (v1 ² + v2 ² )

= (λ ₁ ) ² * w ²