เหตุใด PCA จึงไวต่อผู้ผิด

มีโพสต์มากมายใน SE นี้ที่กล่าวถึงวิธีการที่แข็งแกร่งในการวิเคราะห์องค์ประกอบหลัก (PCA) แต่ฉันไม่สามารถหาคำอธิบายที่ดีเพียงข้อเดียวว่าทำไม PCA จึงไวต่อผู้ผิดกฎหมายในตอนแรก

machine-learning pca outliers

— ปอนด์ต่อตารางนิ้ว
แหล่งที่มา

เนื่องจากการสนับสนุนบรรทัดฐาน L2 นั้นสูงมากสำหรับผู้ผิดกฎหมาย จากนั้นเมื่อลดมาตรฐาน L2 ให้น้อยที่สุด (ซึ่งเป็นสิ่งที่ PCA พยายามทำ) คะแนนเหล่านั้นจะดึงยากขึ้นเพื่อให้พอดีกับจุดที่ใกล้กลางมากขึ้น

— คณิตศาสตร์ที่

คำตอบนี้บอกทุกสิ่งที่คุณต้องการ แค่อ่านค่าผิดปกติและอ่านอย่างตั้งใจ

— S. Kolassa - Reinstate Monica

เหตุผลหนึ่งคือ PCA สามารถถูกคิดว่าเป็นการสลายตัวของข้อมูลที่ลดระดับผลรวมของบรรทัดฐานของส่วนที่เหลือของการย่อยสลาย คือถ้าเป็นข้อมูลของคุณ (เวกเตอร์ของ Dimensions) และเป็นพื้นฐาน PCA (เวกเตอร์ของมิติ) จากนั้นการสลายตัวจะลดลงอย่างเข้มงวด นี่คือเมทริกซ์ของสัมประสิทธิ์การสลาย PCA และเป็นบรรทัดฐาน Frobenius ของเมทริกซ์ $L_2$ $Y$ $m$ $n$ $X$ $k$ $n$

‖ Y - X A ‖_{F}^{2} = \sum_{j = 1}^{m} ‖ Y_{j} - X A_{j .} ‖^{2}

$\lVert Y-XA \rVert^2_F = \sum_{j=1}^{m} \lVert Y_j - X A_{j.} \rVert^2$

A

$A$

‖ \cdot ‖_{F}

$\lVert \cdot \rVert_F$

เนื่องจาก PCA ย่อขนาดบรรทัดฐาน $L_2$ ให้น้อยที่สุด(เช่นกำลังสองกำลังสอง) มันจึงมีปัญหาแบบเดียวกันคือกำลังสองน้อยที่สุดหรือปรับให้เหมาะสมกับ Gaussian โดยการอ่อนไหวต่อค่าผิดปกติ เนื่องจากการยกกำลังสองของการเบี่ยงเบนจากค่าผิดปกติพวกเขาจะมีอำนาจเหนือบรรทัดฐานทั้งหมดและดังนั้นจึงจะผลักดันส่วนประกอบ PCA

— sega_sai
แหล่งที่มา