วิธีการพิสูจน์ว่าฟังก์ชันพื้นฐานของเรเดียนเป็นเคอร์เนล

34

วิธีการพิสูจน์ว่าเรเดียนพื้นฐานฟังก์ชั่นเป็นเคอร์เนล? เท่าที่ฉันเข้าใจเพื่อพิสูจน์ว่าเราต้องพิสูจน์ข้อใดข้อหนึ่งต่อไปนี้: $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

สำหรับชุดเวกเตอร์ใด ๆเมทริกซ์ =เป็น semidefinite บวก $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
การแมปสามารถนำเสนอเช่น =\ $\Phi$ $k(x, y)$ $\langle\Phi(x), \Phi(y)\rangle$

ความช่วยเหลือใด ๆ

svm kernel-trick

— สิงห์
แหล่งที่มา

1

เพื่อเชื่อมโยงอย่างชัดเจนยิ่งขึ้น: แผนที่คุณลักษณะถูกกล่าวถึงในคำถามนี้โดยเฉพาะคำตอบของ Marc Claesenตามชุด Taylor และMineซึ่งกล่าวถึงทั้ง RKHS และรุ่นทั่วไปของฝังโดย Douglas ด้านล่าง

L_{2}

$L_2$

— Dougal

26

เซนใช้วิธีที่ 1 นี่คือวิธีที่ 2: แผนที่กับการกระจายเสียนทรงกลมสมมาตรศูนย์กลางที่ในพื้นที่ Hilbert 2 ค่าเบี่ยงเบนมาตรฐานและปัจจัยคงที่จะต้องได้รับการปรับแต่งเพื่อให้สามารถทำงานได้อย่างแน่นอน ตัวอย่างเช่นในหนึ่งมิติ $x$ $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

ดังนั้นการใช้ค่าเบี่ยงเบนมาตรฐานของและขนาดการกระจายแบบเกาส์ที่จะได้รับ\ การลดขนาดครั้งล่าสุดนี้เกิดขึ้นเนื่องจากบรรทัดฐานของการแจกแจงแบบปกติไม่ใช่โดยทั่วไป $\sigma/\sqrt 2$ $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ $L^2$ $1$

— ดักลาสแซร์
แหล่งที่มา

2

@Zen, Douglas Zare: ขอบคุณสำหรับคำตอบที่ดีของคุณ ฉันควรเลือกคำตอบอย่างเป็นทางการตอนนี้ได้อย่างไร

— Leo

23

ฉันจะเพิ่มวิธีที่สามเพียงเพื่อความหลากหลาย: สร้างเคอร์เนลจากลำดับขั้นตอนทั่วไปที่รู้จักกันในการสร้างเมล็ด pd ให้แทนโดเมนของเมล็ดด้านล่างและแผนที่คุณลักษณะ $\mathcal X$ $\varphi$

scalings: ถ้าเป็น PD เคอร์เนลเพื่อให้เป็นสำหรับค่าคงที่ใด ๆ0 $\kappa$ $\gamma \kappa$ $\gamma > 0$

พิสูจน์: ถ้าคือแผนที่คุณลักษณะสำหรับ ,คือแผนที่ที่ถูกต้องสำหรับ\ $\varphi$ $\kappa$ $\sqrt\gamma \varphi$ $\gamma \kappa$
จำนวนเงิน: หากและมีเมล็ด PD เพื่อให้เป็น\ $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

พิสูจน์: Concatenate คุณลักษณะแผนที่และจะได้รับ{bmatrix} $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
ข้อ จำกัด : ถ้าเป็น pd kernels และสำหรับทั้งหมดแล้วคือ pd $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

พิสูจน์: สำหรับแต่ละและทุก ๆเรามี0 การ จำกัด เป็นให้คุณสมบัติเดียวกันสำหรับ\ $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
ผลิตภัณฑ์: ถ้าและมีเมล็ด PD ดังนั้นy) $\kappa_1$ $\kappa_2$ $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

การพิสูจน์: ตามมาทันทีจากทฤษฎีบทผลิตภัณฑ์ Schurแต่Schölkopfและ Smola (2002) ให้การพิสูจน์เบื้องต้นที่ดีต่อไปนี้ ให้ เป็นอิสระ ดังนั้น เมทริกซ์ความแปรปรวนร่วมจะต้องเป็น psd ดังนั้นเมื่อพิจารณาเมทริกซ์ความแปรปรวนร่วมของพิสูจน์ได้
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
Powers: ถ้าเป็น PD เคอร์เนลเพื่อให้เป็นสำหรับการใด ๆ จำนวนเต็มบวกn $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

หลักฐาน: ทันทีจากคุณสมบัติ "ผลิตภัณฑ์"
Exponents: ถ้าเป็น PD เคอร์เนลเพื่อให้เป็นy)) $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

พิสูจน์: เรามี ; ใช้คุณสมบัติ "powers", "scalings", "ผลรวม" และ "จำกัด " $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
ฟังก์ชั่น: ถ้าเป็น pd kernel และ ,ก็เช่นกัน $\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

พิสูจน์: ใช้แผนที่คุณลักษณะ(x) $x \mapsto f(x) \varphi(x)$

ตอนนี้โปรดทราบว่า เริ่มต้นด้วยเคอร์เนลเชิงเส้นใช้ "scalings" กับ , ใช้ "exponents" และใช้ "ฟังก์ชั่น" กับขวา)

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— Dougal
แหล่งที่มา

22

ฉันจะใช้วิธีที่ 1 ตรวจสอบคำตอบของ Douglas Zare เพื่อหาหลักฐานโดยใช้วิธีที่ 2

ฉันจะพิสูจน์กรณีเมื่อเป็นจำนวนจริงดังนั้น2) กรณีทั่วไปดังต่อไปนี้โดยอนุโลมจากอาร์กิวเมนต์เดียวกันและมีมูลค่าการทำ $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

โดยไม่สูญเสียของทั่วไปเช่นสมมติว่า 1 $\sigma^2=1$

เขียนโดยที่เป็นฟังก์ชันลักษณะของตัวแปรสุ่มมีการแจกแจง $k(x,y)=h(x-y)$

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

สำหรับจำนวนจริงและเรามี ซึ่งหมายถึงว่าเป็นฟังก์ชัน semidefinite บวกหรือที่เรียกว่าเคอร์เนล $x_1,\dots,x_n$ $a_1,\dots,a_n$

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

เพื่อทำความเข้าใจผลลัพธ์นี้ในเรื่องทั่วไปมากขึ้นลองอ่านทฤษฎีบทของ Bochner: http://en.wikipedia.org/wiki/Positive-definite_function

— เซน
แหล่งที่มา

2

นี่เป็นการเริ่มต้นที่ดีในทิศทางที่ถูกต้องโดยมีสองประการ: (a)ไม่เท่ากับความคาดหวังที่แสดง (ตรวจสอบเครื่องหมายในเลขชี้กำลัง) และ (b) สิ่งนี้ดูเหมือนจะจำกัดความสนใจของกรณีที่และเป็นสเกลาร์และไม่ใช่เวกเตอร์ ฉันได้รับการโหวตในช่วงเวลานี้เนื่องจากงานแสดงนั้นดีและสะอาดและฉันแน่ใจว่าคุณจะเสียบช่องว่างเล็ก ๆ เหล่านี้อย่างรวดเร็ว :-)

h (t)

$h(t)$

x

$x$

y

$y$

— พระคาร์ดินัล

1

Tks! ฉันกำลังรีบที่นี่ :-)

— Zen

1

ขอโทษฉันฉันไม่เห็นว่าคุณจัดการโดยอนุโลมที่นี่ได้อย่างไร หากคุณพัฒนาบรรทัดฐานก่อนส่งผ่านแบบฟอร์มคุณจะได้ผลิตภัณฑ์และคุณไม่สามารถสลับผลิตภัณฑ์และผลรวมได้ และฉันก็ไม่เห็นวิธีการพัฒนาบรรทัดฐานหลังจากผ่านไปยังรูปแบบ h เพื่อให้ได้การแสดงออกที่ดี คุณช่วยพาฉันไปที่นั่นได้ไหม :)

h

$h$

— Alburkerk