ฟังก์ชันวัตถุประสงค์ PCA: การเชื่อมต่อระหว่างการเพิ่มความแปรปรวนและการลดข้อผิดพลาดคืออะไร?

อัลกอริทึม PCA สามารถกำหนดได้ในรูปของเมทริกซ์สหสัมพันธ์ (สมมติว่าข้อมูลได้ถูกทำให้เป็นมาตรฐานแล้วและเรากำลังพิจารณาการฉายภาพบนพีซีเครื่องแรกเท่านั้น) ฟังก์ชั่นวัตถุประสงค์สามารถเขียนได้เป็น: $X$

max_{w} (X w)^{T} (X w) s.t. w^{T} w = 1.

$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$

นี่เป็นเรื่องปกติและเราใช้ตัวคูณแบบลากรองจ์เพื่อแก้ปัญหานั่นคือเขียนใหม่เป็น:

max_{w} [(X w)^{T} (X w) - λ w^{T} w],

$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$

ซึ่งเทียบเท่ากับ

max_{w} \frac{(X w)^{T} (X w)}{w^{T} w},

$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$

และด้วยเหตุนี้ ( ดูที่นี่ใน Mathworld ) ดูเหมือนจะเท่ากับ

max_{w} \sum_{i = 1}^{n} {(distance from point x_{i} to line w)}^{2} .

$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$

แต่ตอนนี้ไม่ว่าจะเป็นเพื่อเพิ่มระยะห่างระหว่างจุดและสายและจากสิ่งที่ผมเคยอ่านที่นี่นี้ไม่ถูกต้อง - มันควรจะเป็น $\min$ ไม่\ $\max$ ข้อผิดพลาดของฉันอยู่ที่ไหน

หรือใครบางคนสามารถแสดงลิงก์ระหว่างความแปรปรวนสูงสุดในพื้นที่ฉายและการลดระยะห่างระหว่างจุดและเส้นให้เล็กที่สุดได้หรือไม่

pca optimization

— Cam.Davidson.Pilon
แหล่งที่มา

ฉันคิดว่าระยะทางต่ำสุดถูกใช้เพื่อให้เป็นไปตามเกณฑ์ของ orthogonality สำหรับส่วนประกอบ คะแนนจะถูกฉายลงในพีซีที่ตั้งฉากซึ่งกันและกัน แต่ในแต่ละองค์ประกอบที่ต่อเนื่องความแปรปรวนที่เหลือจะถูกขยายให้ใหญ่สุด

— Michael R. Chernick

คำแนะนำ: จะเกิดอะไรขึ้นเมื่อคุณพิจารณาค่าลักษณะเฉพาะที่เล็กที่สุดก่อนแทนที่จะเป็นค่าที่ใหญ่ที่สุด

— whuber

@whuber ค่าลักษณะเฉพาะขนาดเล็กที่สุดอาจมีพีซีที่เป็นทางออกของฟังก์ชันวัตถุประสงค์ขั้นสุดท้าย แต่พีซีนี้ไม่ได้เพิ่มฟังก์ชั่นวัตถุประสงค์ดั้งเดิมไว้สูงสุด

— Cam.Davidson.Pilon

ฉันไม่แน่ใจว่าคุณหมายถึงอะไรโดยฟังก์ชั่นวัตถุประสงค์ "ขั้นสุดท้าย" และ "ต้นฉบับ" Cam PCA ไม่ใช่โปรแกรมเพิ่มประสิทธิภาพ (แนวคิด) เอาต์พุตเป็นชุดของทิศทางหลักไม่ใช่เพียงทิศทางเดียว มันเป็นทฤษฎีบททางคณิตศาสตร์ (น่าสนใจ) ที่สามารถพบคำสั่งเหล่านี้ได้ด้วยการแก้ลำดับของโปรแกรมกำลังสองที่ จำกัด แต่นั่นไม่ได้เป็นพื้นฐานของแนวคิดหรือการปฏิบัติของ PCA ฉันแนะนำเพียงว่าโดยมุ่งเน้นไปที่ค่าลักษณะเฉพาะที่เล็กที่สุดแทนที่จะเป็นค่าที่ใหญ่ที่สุดคุณสามารถปรับความคิดสองข้อของ (1) ลดระยะทางและ (2) รับมุมมองการปรับให้เหมาะสมของ PCA

— whuber

ไม่เป็นไร - คำตอบของคุณคือเวอร์ชันที่ไม่ใช่ข้อผิดพลาดของสิ่งที่ฉันพยายามทำ

— Cam.Davidson.Pilon

ปล่อยให้เป็นเมทริกซ์ข้อมูลกึ่งกลางโดยมีการสังเกตในแถว ปล่อยเป็นเมทริกซ์ความแปรปรวนร่วม ปล่อยเป็นเวกเตอร์หน่วยระบุแกนในพื้นที่ตัวแปร เราต้องการเป็นแกนหลักแรก $\newcommand{\X}{\mathbf X}\X$ $n$ $\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$ $\newcommand{\w}{\mathbf w}\w$ $\w$

ตามแนวทางแรกแกนหลักแรกจะเพิ่มความแปรปรวนของเส้นโครง (ความแปรปรวนขององค์ประกอบหลักตัวแรก) ความแปรปรวนนี้ได้รับจาก $\X \w$

V a r (X w) = w^{⊤} X^{⊤} X w / (n - 1) = w^{⊤} Σ w .

$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$

ตามวิธีการที่สองแกนหลักแรกจะช่วยลดข้อผิดพลาดในการฟื้นฟูระหว่างและการฟื้นฟูบูรณะของคือผลรวมของระยะทางสแควร์ระหว่างจุดเดิมและการคาดการณ์ของพวกเขาบนwกำลังสองของข้อผิดพลาดในการสร้างใหม่จะได้รับโดย $\X$ $\X\w\w^\top$ $\w$

\begin{aligned} ‖ X - X w w^{⊤} ‖^{2} & = t r ((X - X w w^{⊤}) (X - X w w^{⊤})^{⊤}) \\ = t r ((X - X w w^{⊤}) (X^{⊤} - w w^{⊤} X^{⊤})) \\ = t r (X X^{⊤}) - 2 t r (X w w^{⊤} X^{⊤}) + t r (X w w^{⊤} w w^{⊤} X^{⊤}) \\ = c o n s t - t r (X w w^{⊤} X^{⊤}) \\ = c o n s t - t r (w^{⊤} X^{⊤} X w) \\ = c o n s t - c o n s t \cdot w^{⊤} Σ w . \end{aligned}

$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$

สังเกตเห็นเครื่องหมายลบหน้าคำศัพท์หลัก เนื่องจากการลดข้อผิดพลาดในการสร้างใหม่ให้เหลือน้อยที่สุดเพื่อเพิ่มซึ่งเป็นความแปรปรวน ดังนั้นการลดข้อผิดพลาดในการสร้างใหม่จึงเท่ากับการเพิ่มความแปรปรวน ทั้งสูตรผลผลิตเดียวกันw $\w^\top \S \w$ $\w$

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

สิ่งที่ฉันสังเกตเห็นไม่ใช่เป็นฟังก์ชันนูน (เทียบกับในขณะที่เป็น PSD เราจะลองเพิ่มประสิทธิภาพได้อย่างไร

w^{T} Σ w

${w}^{T} \Sigma w$

w

$w$

Σ

$\Sigma$

— Royi

@ amoeba คุณสามารถอธิบายว่าคุณไปจาก tr () เป็น const ในขั้นตอนสุดท้ายได้อย่างไร

— alberto

@alberto สิ่งที่อยู่ภายในร่องรอยคือจำนวน (เมทริกซ์ 1x1); การติดตามของตัวเลขคือหมายเลขนี้เองดังนั้นการติดตามสามารถลบออกได้ ค่าคงที่ปรากฏเนื่องจากเท่ากับดังนั้นจึงมีปัจจัยนี้

Σ

$\Sigma$

X^{⊤} X / n

$X^\top X/n$

1 / n

$1/n$

— อะมีบาพูดว่า Reinstate Monica

@Leullame การคำนวณจะเก็บคำต่อคำสำหรับถ้ามันเป็นเมทริกซ์ที่มีคอลัมน์ orthonormal คุณต้องจะไปจากบรรทัด # 3 ถึงบรรทัด # 4 หากเมทริกซ์มีคอลัมน์ orthonormal แล้วแน่นอนจะมีการประมาณการของบนสเปซทอดคอลัมน์ของ (ที่นี่เป็นเวกเตอร์แถว)

W

$W$

W^{⊤} W = I

$W^\top W = I$

W

$W$

x W W^{⊤}

$xWW^\top$

x

$x$

W

$W$

x

$x$

— อะมีบาพูดว่า Reinstate Monica

@ DanielLópezเรากำลังมองหาข้อผิดพลาด subspace 1 มิติที่ลดข้อผิดพลาดในการสร้างใหม่ สเปซย่อย 1 มิติสามารถกำหนดได้โดยเวกเตอร์หน่วยบรรทัดฐานที่ชี้ไปยังทิศทางของมันซึ่งเป็นสิ่งที่จะต้องดำเนินการ มันมีหน่วยมาตรฐานโดยการก่อสร้าง

w

$w$

— อะมีบาพูดว่า Reinstate Monica