การเพิ่มประสิทธิภาพ PCA นูนหรือไม่

ฟังก์ชั่นวัตถุประสงค์ของการวิเคราะห์องค์ประกอบหลัก (PCA) จะลดการผิดพลาดในการฟื้นฟูใน L2 บรรทัดฐาน (ดูหัวข้อ 2.12 นี่อีกมุมมองหนึ่งพยายามที่จะเพิ่มความแปรปรวนในการฉายนอกจากนี้เรายังมีการโพสต์ที่ยอดเยี่ยมที่นี่:.. เป็นฟังก์ชันวัตถุประสงค์ของ PCA อะไร ? )

คำถามของฉันคือการเพิ่มประสิทธิภาพ PCA นูนหรือไม่ (ฉันพบการสนทนาที่นี่แต่หวังว่าใครบางคนสามารถให้หลักฐานที่ดีเกี่ยวกับ CV)

ไม่ได้สูตรตามปกติของ PCA ไม่ใช่ปัญหานูน แต่พวกเขาสามารถเปลี่ยนเป็นปัญหาการเพิ่มประสิทธิภาพนูน

ความเข้าใจลึกซึ้งและความสนุกของสิ่งนี้กำลังติดตามและมองเห็นลำดับของการเปลี่ยนแปลงมากกว่าเพียงแค่ได้รับคำตอบ: มันอยู่ในการเดินทางไม่ใช่ปลายทาง ขั้นตอนหลักในการเดินทางครั้งนี้คือ

1. รับนิพจน์อย่างง่ายสำหรับฟังก์ชันวัตถุประสงค์

2. ขยายโดเมนของมันซึ่งไม่ได้เป็นแบบนูน

3. ปรับเปลี่ยนวัตถุประสงค์ซึ่งไม่ได้เป็นนูนซึ่งเป็นวิธีที่เห็นได้ชัดว่าไม่ได้เปลี่ยนจุดที่มันบรรลุค่าที่ดีที่สุด

หากคุณเฝ้าดูอย่างใกล้ชิดคุณสามารถเห็นตัวคูณ SVD และ Lagrange ที่ซุ่มซ่อน - แต่มันเป็นเพียงแค่ภาพสไลด์มีความสนใจที่งดงามและฉันจะไม่แสดงความคิดเห็นเพิ่มเติม

---

การกำหนดค่าความแปรปรวนมาตรฐานสูงสุดของ PCA (หรืออย่างน้อยขั้นตอนสำคัญของมัน) คือ

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

ที่ matrix Aเป็นเมทริกซ์สมมาตรบวก - semidefinite สร้างขึ้นจากข้อมูล (โดยปกติคือผลรวมของกำลังสองและเมทริกซ์ของผลิตภัณฑ์เมทริกซ์แปรปรวนร่วมหรือเมทริกซ์สหสัมพันธ์)$n\times n$$\mathbb A$

(เท่ากันเราอาจพยายามเพิ่มวัตถุประสงค์ที่ไม่มีข้อ จำกัดไม่เพียง แต่เป็นการแสดงออกที่น่ารังเกียจ - มันไม่ใช่ฟังก์ชั่นสมการกำลังสอง - แต่กราฟกรณีพิเศษจะแสดงอย่างรวดเร็วว่าไม่ใช่ฟังก์ชันนูน , อย่างใดอย่างหนึ่งมักจะสังเกตว่าฟังก์ชั่นนี้ไม่แปรเปลี่ยนภายใต้ rescalings x → λ xและจากนั้นจะลดลงเป็นสูตร จำกัด( ∗ ) .)$x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

ปัญหาการปรับให้เหมาะสมใด ๆ สามารถกำหนดเป็นนามธรรมเป็น

ค้นหาอย่างน้อยหนึ่งที่ทำให้ฟังก์ชั่นf : X → Rมีขนาดใหญ่ที่สุด$x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

โปรดจำไว้ว่าปัญหาการปรับให้เหมาะสมนั้นจะนูนเมื่อมีคุณสมบัติแยกกันสองอย่าง :

1. โดเมน นูน $\mathcal{X}\subset\mathbb{R}^n$ สามารถกำหนดได้หลายวิธี หนึ่งคือว่าเมื่อใดก็ตามและY ∈ Xและ0 ≤ λ ≤ 1 , λ x + ( 1 - λ ) Y ∈ Xยัง เรขาคณิต: เมื่อใดก็ตามที่สองจุดสิ้นสุดของการโกหกส่วนของเส้นในX , ส่วนทั้งโกหกในX$x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. ฟังก์ชั่น นูน $f$ นอกจากนี้ยังสามารถกำหนดได้หลายวิธี หนึ่งคือว่าเมื่อใดก็ตามและY ∈ Xและ0 ≤ λ ≤ 1 , F ( λ x + ( 1 - λ ) Y ) ≥ λ F ( x ) + ( 1 - λ ) ฉ( Y ) (เราต้องการ$x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$ที่จะนูนออกมาเพื่อให้สภาพเช่นนี้จะทำให้ความรู้สึกใด ๆ ) เรขาคณิต:. เมื่อใดก็ตามที่เป็นส่วนใด ๆ ในแนวXกราฟของF (ตามที่ จำกัด เฉพาะส่วนนี้) อยู่ด้านบนหรือในส่วนที่เชื่อมต่อกัน( x , F ( x ) )และ( Y , F ( Y ) )ในR n + 1$\bar{xy}$$\mathcal X$$f$$(x,f(x))$$(y,f(y))$$\mathbb{R}^{n+1}$

   $y\to a y^2 + b y + c$$a \le 0.$

$(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$$x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

$\mathcal{X}=D^n$$f$

$(**)$$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

$\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

$\mathcal X$$\sigma_i$

$(**)$$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

$\sigma_1$$f$$g$$f$$\mathcal X$

$-\sigma_1$$-\sigma_1 y^\prime y$$\mathbb P$$y^\prime y = x^\prime x$$x$$g$

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

$\sigma_1 \ge \sigma_i$$i$$g$$g$$x_2=x_3=\cdots=x_n=0$$x^\prime x=1$$x_1=\pm 1$$y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$$\mathbb P$

$g$$\partial D^n=S^{n-1}$$y^\prime y = 1$$f$$g$$\sigma_1$$g$$f$$D^n$$f$$g$

เลขที่

$k$$M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

$\|\cdot\|_F$

แม้ว่าบรรทัดฐานจะเป็นแบบนูน แต่ชุดที่ปรับให้เหมาะสมนั้นไม่ใช่แบบนูน

---

การผ่อนคลายของปัญหา PCA เรียกว่าการประมาณนูนต่ำอันดับ

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

(เป็นบรรทัดฐานนิวเคลียร์มันเป็นการผ่อนคลายของอันดับ - เหมือนเป็นการผ่อนคลายของจำนวนองค์ประกอบที่ไม่ใช่ศูนย์สำหรับเวกเตอร์นูน) ‖ ⋅ ‖ $\|\cdot\|_*$$\|\cdot\|_1$

คุณสามารถดูการเรียนรู้ทางสถิติด้วย Sparsity , ch 6 (เมทริกซ์ย่อยสลาย) สำหรับรายละเอียด

หากคุณกำลังสนใจในปัญหาทั่วไปมากขึ้นและวิธีการที่พวกเขาเกี่ยวข้องกับนูนดูทั่วไปต่ำอันดับรุ่น

คำเตือน: คำตอบก่อนหน้านี้ทำหน้าที่ได้ดีมากในการอธิบายว่า PCA ในสูตรดั้งเดิมนั้นเป็นแบบไม่นูน แต่สามารถแปลงเป็นปัญหาการปรับให้เหมาะสมแบบนูนได้ คำตอบของฉันนั้นมีไว้สำหรับผู้ยากไร้เท่านั้น (เช่นฉัน) ที่ไม่คุ้นเคยกับศัพท์แสงของ Unit Spheres และ SVDs - ซึ่งก็คือ btw ที่น่ารู้

แหล่งที่มาของฉันคือบันทึกการบรรยายนี้โดยศาสตราจารย์ Tibshirani

สำหรับปัญหาการปรับให้เหมาะสมที่จะแก้ไขด้วยเทคนิคการปรับให้เหมาะสมของนูนมีข้อกำหนดเบื้องต้นสองประการ

1. ฟังก์ชั่นวัตถุประสงค์จะต้องมีการนูน
2. ฟังก์ชั่นข้อ จำกัด ควรจะนูน

สูตรส่วนใหญ่ของ PCA เกี่ยวข้องกับข้อ จำกัด ในการจัดอันดับของเมทริกซ์

ในสูตร PCA ประเภทนี้จะมีการละเมิดเงื่อนไข 2 เนื่องจากข้อ จำกัด ที่ไม่ได้เป็นแบบนูน ตัวอย่างเช่นให้ ,เป็นเมทริกซ์ศูนย์ 2 × 2 โดยมี 1 ตัวที่มุมซ้ายบนและมุมขวาล่างตามลำดับ จากนั้นแต่ละเหล่านี้มีอันดับ 1 แต่ค่าเฉลี่ยของพวกเขามีอันดับ 2J 11 J $rank(X) = k,$$J_{11}$$J_{22}$