จะพิสูจน์ได้อย่างไรว่าไม่มีพื้นที่ จำกัด สำหรับเคอร์เนล Gaussian RBF?


14

วิธีการพิสูจน์ว่าสำหรับฟังก์ชันพื้นฐานของรัศมีไม่มีคุณลักษณะพื้นที่ จำกัด มิติHดังกล่าวว่าสำหรับบางΦ:RnHเรามีk(x,Y)=Φ(x),Φ(Y)?k(x,y)=exp(||xy||2)2σ2)HΦ:RnHk(x,y)=Φ(x),Φ(y)


คำถามนี้เหมาะสมกว่าสำหรับวิชาคณิตศาสตร์หรือไม่?
Leo

1
หนึ่งในแผนการโจมตีที่เป็นไปได้คือแสดงพื้นที่ย่อยของที่ไม่ได้ปิด H
Nick Alger

@Nick Alger: อาจช่วยได้: stats.stackexchange.com/questions/80398/…

คำตอบ:


11

มัวร์-Aronszajn ทฤษฎีบทรับประกันว่าสมมาตรเคอร์เนลที่ชัดเจนในเชิงบวกมีความเกี่ยวข้องกับการทำซ้ำที่ไม่ซ้ำกันเคอร์เนลพื้นที่ Hilbert (โปรดทราบว่าแม้ว่า RKHS จะไม่ซ้ำกัน แต่การทำแผนที่เองไม่ได้เป็นเช่นนั้น)

ดังนั้นคำถามของคุณสามารถตอบได้โดยแสดง RKHS แบบไม่ จำกัด มิติที่สอดคล้องกับเคอร์เนล Gaussian (หรือ RBF) คุณสามารถค้นหาการศึกษาในเชิงลึกของเรื่องนี้ใน " คำอธิบายที่ชัดเจนของการทำซ้ำเคอร์เนลช่องว่างของฮิลแบร์ตของเมล็ดเกาส์เซียน RBF ", Steinwart et al.


2

k(x,y)X×XXx1,...,xmX(k(xi,xj))m×mΦ(x1),...,Φ(xm) are linearly independent. Thus, a feature space H for the kernel k cannot have a finite number of dimensions.


Here you find a more 'intuitive' explanation that the Φ can map onto a spave of dimension equal to the size of the training sample, even for an infinite training sample: stats.stackexchange.com/questions/80398/…
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.