วิธีการทำความเข้าใจผลกระทบของ RBF SVM

ฉันจะเข้าใจว่า RBF Kernel ใน SVM ทำอะไรได้บ้าง? ฉันหมายถึงฉันเข้าใจคณิตศาสตร์ แต่มีวิธีรับความรู้สึกเมื่อเคอร์เนลนี้จะมีประโยชน์หรือไม่

ผลลัพธ์จาก kNN เกี่ยวข้องกับ SVM / RBF หรือไม่เนื่องจาก RBF มีระยะห่างของเวกเตอร์

มีวิธีรับความรู้สึกสำหรับเคอร์เนลพหุนามหรือไม่? ฉันรู้มิติที่สูงขึ้น แต่ฉันต้องการได้สัญชาตญาณว่าเมล็ดทำอะไรมากกว่าลองใช้เมล็ดที่เป็นไปได้ทั้งหมดและเลือกประสบความสำเร็จมากที่สุด

svm kernel-trick

— เกรินุก
แหล่งที่มา

คุณสามารถเริ่มด้วยการดูคำตอบของฉันที่นี่:
การจัดประเภท SVM แบบไม่เป็นเชิงเส้นพร้อมเคอร์เนล RBF

ในคำตอบนั้นฉันพยายามอธิบายว่าฟังก์ชันเคอร์เนลพยายามทำอะไร เมื่อคุณเข้าใจสิ่งที่พยายามทำแล้วในการติดตามคุณสามารถอ่านคำตอบของคำถามใน Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- รัศมีพื้นฐานฟังก์ชันเคอร์เนลแผนที่ลงอนันต์มิติพื้นที่ / คำตอบ / อรุณเยอร์-1

ผลิตซ้ำเนื้อหาของคำตอบใน Quora ในกรณีที่คุณไม่มีบัญชี Quora

คำถาม: ทำไมแผนผังเคอร์เนล RBF (ฟังก์ชันเรเดียนพื้นฐาน) ถึงพื้นที่มิติไม่ จำกัด คำตอบ: พิจารณาเคอร์เนลพหุนามระดับ 2 ที่กำหนดโดย, โดยที่และ )
$k (x, Y) = (x^{T} Y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
ดังนั้นฟังก์ชั่นเคอร์เนลสามารถเขียนเป็น, ตอนนี้ให้เราลองทำแผนที่คุณลักษณะ เพื่อให้ฟังก์ชั่นเคอร์เนลสามารถเขียนเป็น
$k (x, Y) = (x_{1} Y_{1} + x_{2} Y_{2})^{2} = x_{1}^{2} Y_{1}^{2} + 2 x_{1} x_{2} Y_{1} Y_{2} + x_{2}^{2} Y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ ) $k(x, y) = \Phi(x)^T\Phi(y)$
พิจารณาแผนผังคุณลักษณะต่อไปนี้โดยทั่วไปแผนที่คุณลักษณะนี้จะทำแผนที่จุดในจุดใน 3โปรดสังเกตด้วยว่า
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (Y) = x_{1}^{2} Y_{1}^{2} + 2 x_{1} x_{2} Y_{1} Y_{2} + x_{2}^{2} Y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$ ซึ่งเป็นฟังก์ชันเคอร์เนลของเรา
ซึ่งหมายความว่าการทำงานเคอร์เนลของเราเป็นจริงการคำนวณภายใน / dot สินค้าของจุดใน 3นั่นคือมันคือการทำแผนที่จุดของเราโดยปริยายจากถึง $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$ 3

คำถามที่ออกกำลังกาย : หากคะแนนของคุณอยู่ใน $\mathbb{R}^n$ , เคอร์เนลพหุนามของระดับ 2 แผนที่จะปริยายแผนที่ไปยังปริภูมิเวกเตอร์บาง F. อะไรคือสิ่งที่มิติของปริภูมิเวกเตอร์นี้ F หรือไม่ คำแนะนำ: ทุกสิ่งที่ฉันทำข้างต้นเป็นเงื่อนงำ

ตอนนี้มาถึง RBF

$\mathbb{R}^2$
$k (x, Y) = ประสบการณ์ (- ‖ x - Y ‖^{2}) = ประสบการณ์ (- (x_{1} - Y_{1})^{2} - (x_{2} - Y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= ประสบการณ์ (- x_{1}^{2} + 2 x_{1} Y_{1} - Y_{1}^{2} - x_{2}^{2} + 2 x_{2} Y_{2} - Y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= ประสบการณ์ (- ‖ x ‖^{2}) ประสบการณ์ (- ‖ Y ‖^{2}) ประสบการณ์ (2 x^{T} Y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, Y) = ประสบการณ์ (- ‖ x ‖^{2}) ประสบการณ์ (- ‖ Y ‖^{2}) Σ_{n = 0}^{\infty} \frac{(2 x^{T} Y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$ กับเวกเตอร์ที่ไม่มีที่สิ้นสุด ดังนั้น RBF โดยปริยายทำแผนที่ทุกจุดไปยังพื้นที่มิติไม่สิ้นสุด
คำถามการออกกำลังกาย : รับองค์ประกอบเวกเตอร์แรก ๆ ของแผนที่คุณลักษณะสำหรับ RBF สำหรับกรณีด้านบนหรือไม่

ตอนนี้จากคำตอบข้างต้นเราสามารถสรุปบางสิ่ง:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
แหล่งที่มา