Kernel PCA ที่มีเคอร์เนลเชิงเส้นเทียบเท่ากับ PCA มาตรฐานหรือไม่

ถ้าในเคอร์เนล PCAฉันเลือกเคอร์เนลเชิงเส้น $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$ ผลลัพธ์จะแตกต่างจากlinear PCA ปกติหรือไม่ วิธีการแก้ปัญหานั้นแตกต่างกันโดยพื้นฐานหรือมีความสัมพันธ์ที่ชัดเจนบางอย่างอยู่หรือไม่?

pca kernel-trick

— tgoossens
แหล่งที่มา

สรุป: เคอร์เนล PCA พร้อมเคอร์เนลเชิงเส้นเทียบเท่ากับ PCA มาตรฐาน

ให้ $\mathbf{X}$ เป็นเมทริกซ์ข้อมูลกึ่งกลางขนาด $N \times D$ พร้อมตัวแปร $D$ ในคอลัมน์และจุดข้อมูล $N$ ในแถว จากนั้น $D \times D$ แปรปรวนเมทริกซ์จะได้รับจาก $\mathbf{X}^\top\mathbf{X}/(n-1)$ , eigenvectors ที่เป็นแกนหลักและค่าลักษณะเฉพาะเป็นเครื่องคอมพิวเตอร์แปรปรวน ในเวลาเดียวกันหนึ่งสามารถพิจารณาที่เรียกว่าแกรมเมทริกซ์ $\mathbf{X}\mathbf{X}^\top$ ของ $N \times N$ ขนาด มันง่ายที่จะเห็นว่ามันมีค่าลักษณะเฉพาะ (เช่นความแปรปรวนของพีซี) จนถึง $n-1$ ปัจจัยและ eigenvector มันเป็นองค์ประกอบหลักที่ปรับขนาดให้เป็นบรรทัดฐานของหน่วย

นี่คือ PCA มาตรฐาน ขณะนี้ใน PCA เคอร์เนลเราพิจารณาบางฟังก์ชั่นที่แผนที่แต่ละจุดข้อมูลปริภูมิเวกเตอร์อื่นที่มักจะมีมิติขนาดใหญ่ , อาจเป็นไปได้ไม่มีที่สิ้นสุด แนวคิดของเคอร์เนล PCA คือการทำ PCA มาตรฐานในพื้นที่ใหม่นี้ $\phi(x)$ $D_\mathrm{new}$

เนื่องจากมิติของพื้นที่ใหม่นี้มีขนาดใหญ่มาก (หรือไม่มีที่สิ้นสุด) จึงเป็นเรื่องยากหรือเป็นไปไม่ได้ที่จะคำนวณเมทริกซ์ความแปรปรวนร่วม อย่างไรก็ตามเราสามารถใช้วิธีที่สองกับ PCA ที่ระบุไว้ข้างต้น แน่นอนเมทริกซ์แกรมจะยังคงมีขนาดจัดการได้เหมือนกัน องค์ประกอบของเมทริกซ์นี้กำหนดโดยซึ่งเราจะเรียกใช้ฟังก์ชันเคอร์เนล $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ . นี่คือสิ่งที่เป็นที่รู้จักกันเป็นเคล็ดลับเคอร์เนล : จริงไม่เคยต้องคำนวณแต่เพียง )Eigenvectors ของเมทริกซ์แกรมนี้จะเป็นองค์ประกอบหลักในพื้นที่เป้าหมายซึ่งเป็นสิ่งที่เราสนใจ $\phi()$ $K()$

คำตอบสำหรับคำถามของคุณจะชัดเจนขึ้น ถ้าดังนั้นแกรมเมทริกซ์ของแกรมจะลดลงเป็นซึ่งเท่ากับเมทริกซ์แกรมมาตรฐานและด้วยเหตุนี้องค์ประกอบหลักจะไม่เปลี่ยนแปลง $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

การอ้างอิงที่อ่านง่ายมากคือScholkopf B, Smola A และMüller KR, การวิเคราะห์องค์ประกอบหลักของเคอร์เนล, 1999และโปรดทราบว่าเช่นในรูปที่ 1 พวกเขาอ้างถึง PCA มาตรฐานอย่างชัดเจนว่าเป็นหนึ่งในการใช้ผลิตภัณฑ์ dot เป็นฟังก์ชันเคอร์เนล:

kernel PCA

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

เป็นภาพเหล่านั้นจากในคำตอบของคุณ? จากหนังสือบางเล่ม?

— Pinocchio

@Pinocchio ตัวเลขที่นำมาจาก Scholkopf et al เอกสารอ้างอิงและเชื่อมโยงกับคำตอบของฉัน

— อะมีบาพูดว่า Reinstate Monica

"มันง่ายที่จะเห็นว่ามันมีค่าลักษณะเฉพาะ (เช่นความแปรปรวนของพีซี) ถึงปัจจัย n n 1 " - นี่ไม่ได้หมายความว่าพวกเขาจะไม่เทียบเท่าอย่างสมบูรณ์หรือไม่? สมมุติว่าฉันมีเมทริกซ์ที่มีตัวอย่าง n = 10, d = 200 มิติ ใน PCA มาตรฐานฉันจะสามารถฉายข้อมูลได้ถึง 199 ส่วนข้อมูลหากฉันต้องการ แต่ในเคอร์เนล PCA ที่มีเคอร์เนลเชิงเส้นฉันสามารถทำได้สูงสุด 10 มิติเท่านั้น

— Cesar

@ ซีซาร์ไม่ถ้าคุณมีตัวอย่าง n = 10 เมทริกซ์ความแปรปรวนร่วมจะมีอันดับ 10-1 = 9 และ PCA มาตรฐานจะพบเฉพาะมิติที่ 9 (เช่นเดียวกับเคอร์เนล PCA) ดูที่นี่: stats.stackexchange.com/questions/123318

— อะมีบาพูดว่า Reinstate Monica

ฉันไม่พบไฟล์สำหรับลิงก์อ้างอิงของ Scholkopf B, Smola A และMüller KR

— อาจเป็นไปได้

$X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ มีเวกเตอร์เอกพจน์ซ้ายเดียวกันและส่วนประกอบหลักเดียวกัน

— มาร์ธาไวท์
แหล่งที่มา

สำหรับ PCA มาตรฐานฉันคิดว่าเราใส่ใจเกี่ยวกับ SVD ของเมทริกซ์ความแปรปรวนร่วมดังนั้นไม่เข้าใจจริงๆว่า SVD ของ X เกี่ยวข้องกันอย่างไรคุณช่วยขยายได้ไหม

— m0s

@ m0s สำหรับ PCA เราสนใจเกี่ยวกับ eigendecomposition ของเมทริกซ์ความแปรปรวนร่วมซึ่งเรามักจะดำเนินการโดย SVD ของเมทริกซ์ข้อมูล (กึ่งกลาง)

— MrDrFenner

ฉันว่า KPCA ที่มีเคอร์เนลเชิงเส้นควรเหมือนกับ PCA แบบง่าย

เมทริกซ์ความแปรปรวนร่วมที่คุณจะได้รับค่าลักษณะเฉพาะนั้นเหมือนกัน:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

You can check with more details here.

— Jundiaius
แหล่งที่มา

Your answer is correct in spirit, but the formula looks confusing. KPCA works with Gram matrix

K (x_{i}, x_{j})

$K(x_i, x_j)$ , not with covariance matrix (for many nonlinear kernels it's actually impossible to compute covariance matrix as the target space has infinite dimensionality). See page 2 of the paper you cite.

— amoeba says Reinstate Monica