จะพิสูจน์ได้อย่างไรว่าไม่มีพื้นที่ จำกัด สำหรับเคอร์เนล Gaussian RBF?


14

วิธีการพิสูจน์ว่าสำหรับฟังก์ชันพื้นฐานของรัศมีไม่มีคุณลักษณะพื้นที่ จำกัด มิติHดังกล่าวว่าสำหรับบางΦ:Rn→Hเรามีk(x,Y)=⟨Φ(x),Φ(Y)⟩?k(x,y)=exp⁡(−||x−y||2)2σ2)HΦ:Rn→Hk(x,y)=⟨Φ(x),Φ(y)⟩


คำถามนี้เหมาะสมกว่าสำหรับวิชาคณิตศาสตร์หรือไม่?
— Leo

1
หนึ่งในแผนการโจมตีที่เป็นไปได้คือแสดงพื้นที่ย่อยของที่ไม่ได้ปิด H
— Nick Alger

@Nick Alger: อาจช่วยได้: stats.stackexchange.com/questions/80398/…

คำตอบ:


11

มัวร์-Aronszajn ทฤษฎีบทรับประกันว่าสมมาตรเคอร์เนลที่ชัดเจนในเชิงบวกมีความเกี่ยวข้องกับการทำซ้ำที่ไม่ซ้ำกันเคอร์เนลพื้นที่ Hilbert (โปรดทราบว่าแม้ว่า RKHS จะไม่ซ้ำกัน แต่การทำแผนที่เองไม่ได้เป็นเช่นนั้น)

ดังนั้นคำถามของคุณสามารถตอบได้โดยแสดง RKHS แบบไม่ จำกัด มิติที่สอดคล้องกับเคอร์เนล Gaussian (หรือ RBF) คุณสามารถค้นหาการศึกษาในเชิงลึกของเรื่องนี้ใน " คำอธิบายที่ชัดเจนของการทำซ้ำเคอร์เนลช่องว่างของฮิลแบร์ตของเมล็ดเกาส์เซียน RBF ", Steinwart et al.


2

k(x,y)X×XXx1,...,xm∈X(k(xi,xj))m×mΦ(x1),...,Φ(xm) are linearly independent. Thus, a feature space H for the kernel k cannot have a finite number of dimensions.


Here you find a more 'intuitive' explanation that the Φ can map onto a spave of dimension equal to the size of the training sample, even for an infinite training sample: stats.stackexchange.com/questions/80398/…
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.