พิสูจน์ความใกล้ชิดของฟังก์ชันเคอร์เนลภายใต้ผลิตภัณฑ์แบบจุด

13

ฉันจะพิสูจน์ได้ว่าผลคูณของผลิตภัณฑ์เคอร์เนลสองฟังก์ชันคือฟังก์ชันเคอร์เนล?

machine-learning kernel-trick

18

ฉันคิดว่าคุณหมายความว่าถ้าเป็นทั้งฟังก์ชันเคอร์เนลที่ถูกต้องแล้วผลิตภัณฑ์ของพวกเขา $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

ยังเป็นฟังก์ชันเคอร์เนลที่ถูกต้อง

การพิสูจน์คุณสมบัตินี้ค่อนข้างตรงไปตรงมาเมื่อเราเรียกทฤษฎีบทของเมอร์เซอร์ เนื่องจากเป็นเมล็ดที่ถูกต้องเรารู้ (ผ่าน Mercer) ว่าพวกเขาต้องยอมรับการแสดงผลิตภัณฑ์ภายใน ให้แทนเวกเตอร์คุณลักษณะของและแสดงถึงกัน $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

ดังนั้นเป็นฟังก์ชั่นที่ผลิตต์เวกเตอร์ -dim และผลิตเวกเตอร์ -dim $a$ $M$ $b$ $N$

ต่อไปเราเพิ่งเขียนผลิตภัณฑ์ในรูปของและและทำการจัดกลุ่มใหม่ $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

ที่เป็นเวกเตอร์มิติ, St(z) $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

ตอนนี้เนื่องจากเราสามารถเขียนเป็นผลิตภัณฑ์ภายในโดยใช้คุณลักษณะแผนที่เรารู้ว่าเป็นเคอร์เนลที่ถูกต้อง (ผ่านทฤษฎีบทของเมอร์เซอร์) นั่นคือทั้งหมดที่มีให้มัน $k_p(x,y)$ $c$ $k_p$

— ไมค์ฮิวจ์
แหล่งที่มา

คุณจะรู้ได้อย่างไรว่าคุณสมบัติของฮิลแบร์ตสเปซนั้น จำกัด ขนาด? ไม่สามารถแยกออกไม่ได้ใช่ไหม

— Andrei Kh

ตามวรรคแรกของคุณเรารู้เพียงว่าเคอร์เนลการดำรงอยู่ของการแสดงสินค้าด้านใน แต่ในข้อสรุปของคุณคุณใช้ว่าการมีอยู่ของการเป็นตัวแทนผลิตภัณฑ์ภายในหมายความว่าเป็นเคอร์เนล ทำไมถึงถูกต้อง?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Viktor Glombik

3

วิธีการเกี่ยวกับการพิสูจน์ต่อไปนี้:

แหล่งที่มา: บรรยายวิธีการเคอร์เนล UChicago , หน้า 5

— Palen
แหล่งที่มา

0

สมมติว่าและเป็นเมทริกซ์เคอร์เนลของเคอร์เนลสองตัวนี้และตามลำดับและเป็น PSD เรากำหนดและต้องการพิสูจน์ว่ามันเป็นเคอร์เนล สิ่งนี้เทียบเท่ากับการพิสูจน์เคอร์เนลเมทริกซ์ที่เกี่ยวข้องคือ PSD $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ เป็น PSD (ผลิตภัณฑ์ kronecker ของสอง PSD คือ PSD)
$K$ เป็นหลักของดังนั้นจึงเป็น PSD (หลักของ PSD คือ PSD) $K_3$

— ceyao zhang
แหล่งที่มา