ฟังก์ชั่นวัตถุประสงค์ของ PCA คืออะไร?

การวิเคราะห์องค์ประกอบหลักสามารถใช้การสลายตัวของเมทริกซ์ แต่นั่นเป็นเพียงเครื่องมือในการเดินทาง

คุณจะค้นหาส่วนประกอบหลักโดยไม่ใช้พีชคณิตเมทริกซ์ได้อย่างไร

ฟังก์ชั่นวัตถุประสงค์ (เป้าหมาย) คืออะไรและมีข้อ จำกัด อะไร?

โดยไม่ต้องพยายามที่จะให้ไพรเมอร์เต็มรูปแบบใน PCA, จากมุมมองการเพิ่มประสิทธิภาพหลักฟังก์ชันวัตถุประสงค์คือความฉลาดทางเรย์ลี เมทริกซ์ที่ตัวเลขในความฉลาดคือ (หลายตัว) เมทริกซ์ความแปรปรวนตัวอย่าง ที่แต่ละเป็นเวกเตอร์ของคุณสมบัติและเป็นเมทริกซ์ดังกล่าวที่แถว TH เป็น T

$$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$$ $\x_i$$p$$\m{X}$$i$$\x_i^T$

PCA พยายามที่จะแก้ปัญหาการเพิ่มประสิทธิภาพลำดับ ลำดับแรกคือปัญหาที่ไม่มีข้อ จำกัด

$$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$$

ตั้งแต่ปัญหาที่ไม่มีข้อ จำกัด ข้างต้นจะเทียบเท่ากับปัญหาที่ จำกัด $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

$$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$$

นี่คือที่ที่พีชคณิตเมทริกซ์เข้ามาเนื่องจากเป็นเมทริกซ์ semidefinite เชิงบวกแบบสมมาตร (จากการก่อสร้าง!) มันมีการสลายตัวแบบค่าเฉพาะของรูปแบบ ที่เป็น เมทริกซ์มุมฉาก (ดังนั้น ) และเป็นเส้นทแยงมุมเมทริกซ์ที่มีค่าลบรายการดังกล่าวว่า0$\S$

$$\S = \Q \L \Q^T \>,$$ $\Q$$\Q \Q^T = \m{I}$$\L$$\lambda_i$$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

ดังนั้น 2 เนื่องจากมีข้อ จำกัด ในปัญหาที่จะมีบรรทัดฐานหนึ่งดังนั้นคือตั้งแต่ , โดยอาศัยอำนาจเป็นมุมฉาก$\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$$\u$$\m{w}$$\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$$\Q$

แต่ถ้าเราต้องการเพิ่มปริมาณภายใต้ข้อ จำกัด ที่สิ่งที่ดีที่สุดที่เราทำได้คือ ชุด , ที่อยู่,และสำหรับ1$\sum_{i=1}^p \lambda_i w_i^2$$\sum_{i=1}^p w_i^2 = 1$$\m{w} = \m{e}_1$$w_1 = 1$$w_i = 0$$i > 1$

ตอนนี้ให้สำรองข้อมูลสอดคล้องกันซึ่งเป็นสิ่งที่เราต้องการตั้งแต่แรกเราได้รับ โดยที่หมายถึงคอลัมน์แรกของคือวิคเตอร์ที่สอดคล้องกับค่าเฉพาะที่ใหญ่ที่สุดของ S ค่าของฟังก์ชั่นโดยมีวัตถุประสงค์แล้วยังมองเห็นได้ง่ายที่จะเป็น\$\u$

$$\u^\star = \Q \m{e}_1 = \m{q}_1$$ $\m{q}_1$$\Q$$\S$$\lambda_1$

---

ส่วนประกอบเวกเตอร์หลักที่เหลือนั้นจะถูกค้นพบโดยการแก้ลำดับ (จัดทำดัชนีโดย ) ของปัญหาการหาค่าเหมาะ ดังนั้นปัญหาที่เกิดขึ้นเหมือนกันยกเว้นว่าเราเพิ่มข้อ จำกัด เพิ่มเติมว่าการแก้ปัญหาจะต้องตั้งฉากกับทั้งหมดของการแก้ปัญหาก่อนหน้านี้ในลำดับ มันไม่ได้เป็นเรื่องยากที่จะขยายการโต้แย้งดังกล่าวข้างต้น inductively เพื่อแสดงให้เห็นว่าวิธีการแก้ปัญหาของปัญหา TH เป็นแท้จริงที่ TH วิคเตอร์ของ S$i$

$$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$$ $i$$\m{q}_i$$i$$\S$

---

วิธีการแก้ปัญหา PCA ก็มักจะแสดงในแง่ของการสลายตัวมูลค่าเอกพจน์ของ{X} เพื่อดูว่าทำไมให้ T จากนั้นและ (พูดอย่างเคร่งครัดถึงสัญญาณพลิก) และn$\m{X}$$\m{X} = \m{U} \m{D} \m{V}^T$$n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$$\m{V} = \m{Q}$$\L = \m{D}^2 / n$

พบส่วนประกอบหลักโดยการฉายลงบนเวกเตอร์องค์ประกอบหลัก จากการกำหนดสูตร SVD เป็นเรื่องง่ายที่จะเห็นว่า $\m{X}$

$$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$$

ความเรียบง่ายของการเป็นตัวแทนของทั้งเวกเตอร์องค์ประกอบหลักและส่วนประกอบหลักนั้นในแง่ของ SVD ของเมทริกซ์ของคุณสมบัติเป็นเหตุผลหนึ่งที่คุณสมบัติ SVD นั้นเด่นชัดในการรักษา PCA บางอย่าง

วิธีแก้ปัญหาที่นำเสนอโดยคาร์ดินัลมุ่งเน้นไปที่เมทริกซ์ความแปรปรวนร่วมตัวอย่าง จุดเริ่มต้นอีกจุดหนึ่งคือข้อผิดพลาดในการสร้างใหม่ของข้อมูลโดยไฮเพอร์คิวชัน q -dimensional ถ้าจุดข้อมูลp -dimensional เป็นจุดประสงค์คือการแก้ไข$x_1, \ldots, x_n$

$$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$$

สำหรับเมทริกซ์ด้วยคอลัมน์ orthonormal และ Q สิ่งนี้ให้อันดับq- การก่อสร้างที่ดีที่สุดที่วัดโดยค่าปริภูมิแบบยุคลิดและคอลัมน์ของ solution เป็นเวกเตอร์องค์ประกอบหลักตัวแรกของคิว$p \times q$$\mathbf{V}_q$$\lambda_i \in \mathbb{R}^q$$\mathbf{V}_q$

สำหรับที่ทางออกสำหรับและ (นี่คือการถดถอย) คือ $\mathbf{V}_q$$\mu$$\lambda_i$

$$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$$

เพื่อความสะดวกในการคำนวณให้สมมุติว่าอยู่กึ่งกลางในการคำนวณต่อไปนี้ เราต้องลดให้น้อยที่สุด $x_i$

$$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$$

มากกว่าพร้อมคอลัมน์ orthonormal โปรดทราบว่าเป็นเส้นโครงบนพื้นที่คอลัมน์q -dimensional ดังนั้นปัญหาจึงเทียบเท่ากับการลด กว่าอันดับQประมาณการPนั่นคือเราจำเป็นต้องเพิ่ม เหนืออันดับqประมาณการโดยที่เป็นเมทริกซ์ความแปรปรวนร่วมตัวอย่าง ตอนนี้$\mathbf{V}_q$$P = \mathbf{V}_q\mathbf{V}_q^T$

$$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$$ $P$ $$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$$ $P$$\mathbf{S}$ $$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$$ โดยที่คือคอลัมน์ (orthonormal) ในและอาร์กิวเมนต์ที่แสดงในคำตอบของ @ cardinal แสดงว่าค่าสูงสุดได้มาจากการเอา ' s to be eigenvectors สำหรับมีค่าลักษณะเฉพาะที่ใหญ่ที่สุด$u_1, \ldots, u_q$$q$$\mathbf{V}_q$$u_i$$q$$\mathbf{S}$$q$

ข้อผิดพลาดในการสร้างใหม่แสดงให้เห็นจำนวนภาพรวมที่มีประโยชน์เช่นส่วนประกอบหลักที่กระจัดกระจายหรือการสร้างใหม่โดย manifolds ที่มีมิติต่ำแทนที่จะเป็นไฮเปอร์เพลน สำหรับรายละเอียดโปรดดูมาตรา 14.5 ในองค์ประกอบของการเรียนรู้ทางสถิติ

ดู NIPALS ( wiki ) สำหรับอัลกอริทึมเดียวซึ่งไม่ได้ใช้การสลายตัวของเมทริกซ์อย่างชัดเจน ฉันคิดว่านั่นคือสิ่งที่คุณหมายถึงเมื่อคุณบอกว่าคุณต้องการหลีกเลี่ยงพีชคณิตเมทริกซ์เนื่องจากคุณไม่สามารถหลีกเลี่ยงพีชคณิตเมทริกซ์ได้ที่นี่ :)