PCA ยังทำผ่าน eigendecomposition ของเมทริกซ์ความแปรปรวนร่วมเมื่อมีมิติข้อมูลมากกว่าจำนวนการสังเกตหรือไม่?

ฉันมีเมทริกซ์ที่มีตัวอย่างในมิติมิติ ตอนนี้ฉันต้องการเขียนรหัสการวิเคราะห์องค์ประกอบหลักของตัวเอง (PCA) ใน Matlab ฉันดูถูกถึงก่อน $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

ฉันอ่านจากรหัสของใครบางคนซึ่งในสถานการณ์เช่นนี้ที่เรามีมิติมากกว่าการสังเกตเราไม่ได้สลายตัวค่าความแปรปรวนร่วมของอีกต่อไป แต่เราย่อยสลายไอเก็น $X_0$ 0ทำไมมันถูกต้อง? $\frac{1}{N-1}X_0X_0^T$

เมทริกซ์ความแปรปรวนร่วมปกติมีขนาดแต่ละองค์ประกอบที่บอกความแปรปรวนร่วมระหว่างสองมิติกับเรา สำหรับฉัน $D\times D$ ไม่ได้เป็นขนาดที่ถูกต้อง! มันเป็นเมทริกซ์เพื่อให้สิ่งที่มันจะบอกเรา? ความแปรปรวนระหว่างการสังเกตสองครั้ง! $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— การพนัน Sibbs
แหล่งที่มา

คำตอบสำหรับคำถามของคุณอยู่ในสถานการณ์ที่ตามมาจากการวางตัวของคุณคุณไม่ต้องการเมทริกซ์ความแปรปรวนร่วมของคอลัมน์สำหรับตัวเอง คุณต้องการเพียงแค่เป็นเส้นทางในการรับพีซี ขวา? แต่ผลลัพธ์ PCA เดียวกันสามารถรับได้ผ่าน eigen ของX'XและXX'(รวมถึง svd ของXและX') สิ่งที่เรียกว่า "การโหลด" ในกรณีหนึ่งจะถูกเรียกว่า "คะแนนพีซี" ในอีกกรณีหนึ่งและในทางกลับกัน เนื่องจากทั้งคู่เป็นเพียงพิกัด ( ดูตัวอย่าง ) และแกนดังนั้น "มิติหลัก" จึงเหมือนกัน

— ttnphns

(ต่อ) หากเป็นเช่นนั้นและคุณมีอิสระที่จะเลือกว่าจะแยกย่อยแบบไหน - ก็ควรที่จะย่อยสลายสิ่งที่ต้องทำเร็วกว่า / มีประสิทธิภาพมากขึ้น เมื่อn<pใช้แรมน้อยลงและใช้เวลาน้อยลงในการย่อยสลายXX'เนื่องจากมีขนาดเล็กลง

— ttnphns

@ttnphns คำอธิบายที่ดี ฉันเห็นจุดนี้แล้ว อย่างไรก็ตามฉันยังคงมีปัญหาจาก eigen ของXX'ไปยังพีซี คุณกรุณาช่วยแสดงให้ฉันดูได้ในเวลาสั้น ๆ เมื่อพิจารณาว่าพีซีเป็นเพียงลักษณะเฉพาะของเมทริกซ์ความแปรปรวนร่วมฉันจึงพยายามเปลี่ยนจากค่าไอเกนของXX'ไปเป็นค่าเริ่มต้นของเมทริกซ์ความแปรปรวนร่วมX'Xแต่ไม่สำเร็จ

— การพนัน Sibbs

ฉันต้องไปแล้ว. บางที @amoeba (ผู้ซึ่งมีความคล่องแคล่วในพีชคณิตมากกว่าฉัน) หรือผู้อ่านรายอื่นจะเข้ามาที่นี่ในไม่ช้าและช่วยคุณได้ ไชโย

— ttnphns

@ttnphns: เสร็จแล้ว :)

— อะมีบา

เมทริกซ์ความแปรปรวนเป็นขนาดและจะได้รับจาก $D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

เมทริกซ์ที่คุณกำลังพูดถึงนั้นแน่นอนว่าไม่ใช่เมทริกซ์ความแปรปรวนร่วม มันถูกเรียกว่าแกรมแมทริกซ์และมีขนาด: $N\times N$

G = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

การวิเคราะห์องค์ประกอบหลัก (PCA) สามารถดำเนินการผ่าน eigendecomposition ของเมทริกซ์เหล่านี้ นี่เป็นเพียงสองวิธีในการคำนวณสิ่งเดียวกัน

วิธีที่มีประโยชน์มากที่สุดที่เห็นนี้ที่ง่ายและใช้งานการสลายตัวมูลค่าเอกพจน์เมทริกซ์ข้อมูล ⊤เสียบสิ่งนี้เข้ากับนิพจน์สำหรับและเราจะได้รับ: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} ค & = V \frac{S^{2}}{ยังไม่มีข้อความ - 1} V^{⊤} \\ G & = ยู \frac{S^{2}}{ยังไม่มีข้อความ - 1} {ยู}^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Eigenvectors ของเมทริกซ์ความแปรปรวนร่วมเป็นทิศทางหลัก ประมาณการของข้อมูลเกี่ยวกับ eigenvector เหล่านี้เป็นองค์ประกอบหลัก การคาดการณ์เหล่านี้จะได้รับจาก Sองค์ประกอบหลักปรับขนาดให้หน่วยความยาวจะได้รับจากUอย่างที่คุณเห็น eigenvectors ของเมทริกซ์แกรมเป็นส่วนประกอบหลักที่ปรับขนาดเหล่านี้ และค่าลักษณะเฉพาะของและตรงกัน $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

$\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— อะมีบา
แหล่งที่มา

คำตอบที่ดี! ฉันไม่รู้ว่ามันมีชื่อ! ขอบคุณมาก! ตอนนี้ฉันมั่นใจที่จะใช้มันเพื่อเร่งการคำนวณของฉัน

— การพนัน Sibbs

คำตอบของฉันอนุมานว่าสิ่งที่คุณต้องการที่จะได้รับคือ

และบางทีอาจจะยัง

)

หากคุณต้องการได้

แล้วคุณสามารถคำนวณได้ผ่าน

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

คำตอบนี้ชัดเจนว่ามีงานแสดงสินค้ามากมายที่ฉันเคยเห็นในหนังสือ ขอบคุณ

— usεr11852

เพื่อจุดประสงค์ในการอ้างอิงอย่างแท้จริง: ฉันคิดว่ากระดาษ 1969 Technometrics ของ IJ Good "การประยุกต์บางส่วนของการสลายตัวเอกพจน์ของเมทริกซ์ " เป็นหนึ่งในคนแรกที่อ้างอิงแรกนี้อย่างเต็มที่

— usεr11852

@MattWenham แม่นยำ

— อะมีบา