แผนที่คุณลักษณะสำหรับเคอร์เนลเกาส์เซียน

24

ใน SVM เคอร์เนล Gaussian ถูกกำหนดเป็น: ที่n} ผมไม่ทราบว่าสมการที่ชัดเจนของ\ฉันอยากรู้

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

ฉันยังต้องการที่จะทราบว่า

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ ที่

c_{i} \in R

$c_i\in \mathbb R$ R ตอนนี้ฉันคิดว่ามันไม่เท่ากันเพราะการใช้เคอร์เนลจัดการกับสถานการณ์ที่ Linearierier ไม่ทำงาน ฉันรู้

ϕ

$\phi$ โปรเจ็กต์ x ถึงพื้นที่ไม่มีที่สิ้นสุด ดังนั้นถ้ามันยังคงเป็นเส้นตรงไม่ว่าจะเป็นมิติใด svm ยังคงไม่สามารถทำการจำแนกที่ดีได้

machine-learning svm kernel-trick

— วิเวียน
แหล่งที่มา

ทำไมเคอร์เนลนี้แสดงถึงการเปลี่ยนแปลง? หรือคุณอ้างถึงพื้นที่ของฟีเจอร์ที่เกี่ยวข้อง?

— Placidia

ใช่อะไรคือคุณสมบัติของพื้นที่

ϕ (\cdot)

$\phi(\cdot)$ ดังนั้น

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— 27886

20

คุณสามารถขอรับสมการที่ชัดเจนของ $\phi$ สำหรับเคอร์เนล Gaussian ผ่านการขยายตัว Tailor ชุดของ $e^x$ x เพื่อความง่ายในการใช้สัญสมมติสมมติ $x\in \mathbb{R}^1$ :

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

รายละเอียดเพิ่มเติมในสไลด์เหล่านี้ยังถูกกล่าวถึงโดย Chih-Jen Lin แห่ง NTU (สไลด์ 11 โดยเฉพาะ) โปรดทราบว่าในสไลด์ใช้เป็นพารามิเตอร์เคอร์เนล $\gamma=\frac{1}{2\sigma^2}$

สมการใน OP เก็บเฉพาะสำหรับเคอร์เนลเชิงเส้น

— Marc Claesen
แหล่งที่มา

2

สวัสดี แต่สมการข้างต้นนี้เหมาะกับมิติเดียวเท่านั้น

— วิเวียน

ดังนั้นที่นี่เคอร์เนลที่ทำซ้ำของฮิลแบร์ตสเปซเป็นพื้นที่ย่อยของถูกต้องหรือไม่

ℓ^{2}

$\ell^2$

— The_Anomaly

มีการแสดงอย่างชัดเจนของเคอร์เนล Laplacian หรือไม่?

— เฟลิกซ์ Crazzolara

13

สำหรับเคอร์เนล psd ที่ถูกต้องใด ๆมีแผนที่คุณลักษณะเช่นนั้นmathcal} ที่จริงแล้วและการฝังไม่จำเป็นต้องมีลักษณะเฉพาะ แต่มีคู่ที่สำคัญไม่ซ้ำกันรู้จักกันในชื่อการทำซ้ำเคอร์เนล Hilbert space (RKHS) $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

The RKHS ถูกกล่าวถึงโดย: Steinwart, Hush and Scovel, คำอธิบายที่ชัดเจนของการทำซ้ำเคอร์เนลฮิลแบร์ตสเปซของ Gaussian RBF Kernels , ธุรกรรม IEEE เกี่ยวกับทฤษฎีข้อมูล 2006 ( doi , Citeseer pdf ฟรี )

มันค่อนข้างซับซ้อน แต่มันก็ลดลงเหลือดังนี้: กำหนดเหมือน $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

ปล่อยเป็นลำดับที่ครอบคลุมทุก -tuples ของจำนวนเต็ม nonnegative; ถ้าอาจเป็น , ,และอื่น ๆ แสดงว่าองค์ประกอบ TH ของ TH tuple โดย{IJ} $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

จากนั้นส่วนประกอบของ THเป็น(x_j) ดังนั้นแผนที่เวกเตอร์ในกับเวกเตอร์เชิงซ้อนมิติที่ไม่มีที่สิ้นสุด $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

สิ่งที่เราจับได้คือเราต้องกำหนดบรรทัดฐานสำหรับเวกเตอร์เชิงซ้อนแบบไร้ขีด จำกัด เหล่านี้ในวิธีพิเศษ ดูกระดาษสำหรับรายละเอียด

Steinwart และคณะ ยังให้ตรงไปตรงมามากขึ้น (ความคิดของฉัน) ฝังเข้าไปใน , พื้นที่ฮิลแบร์ตของฟังก์ชั่นสี่เหลี่ยมจตุรัสจาก : โปรดทราบว่าเป็นตัวฟังก์ชั่นจากจะR มันคือความหนาแน่นของGaussian Dimensions ที่มีค่าเฉลี่ยและความแปรปรวนร่วม ; เฉพาะค่าคงที่ normalizing จะแตกต่างกัน ดังนั้นเมื่อเรารับ $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ เราจะได้ผลคูณของฟังก์ชันความหนาแน่นแบบเกาส์เซียนซึ่งเป็นค่าคงที่แน่นอนคูณกับฟังก์ชันความหนาแน่นแบบเกาส์ เมื่อคุณทำหนึ่งว่าโดยแล้วคงที่ตกออกมาสิ้นสุดขึ้นเป็นว่าy)

t

$t$

k (x, y)

$k(x, y)$

สิ่งเหล่านี้ไม่ใช่ embeddings เท่านั้นที่ทำงาน

ส่วนอีกเรื่องจะขึ้นอยู่กับการแปลงฟูริเยร์ซึ่งกระดาษ Rahimi และ Recht ( คุณสมบัติแบบสุ่มสำหรับเครื่องเคอร์เนลขนาดใหญ่ , NIPS 2007) ใกล้เคียงกับเอฟเฟกต์เยี่ยม

นอกจากนี้คุณยังสามารถทำได้โดยใช้ชุดเทย์เลอร์: ได้อย่างมีประสิทธิภาพรุ่นที่ไม่มีที่สิ้นสุดของชาวชนบท Keshet และ Srebro, ประการที่ชัดเจนของเกาส์เคอร์เนล , arXiv: 1109.4603

— Dougal
แหล่งที่มา

1

ดักลาสจนผ่านให้รุ่น 1D ของ "ตรงไปตรงมามากขึ้น" ฝังในหัวข้อที่น่าสนใจที่นี่

— Dougal

ที่นี่คุณจะพบคำอธิบายเพิ่มเติมที่ 'ใช้งานง่าย' ที่สามารถแมปลงในมิติที่มีขนาดเท่ากับขนาดของตัวอย่างการฝึกอบรมแม้สำหรับตัวอย่างการฝึกอบรมที่ไม่มีที่สิ้นสุด: stats.stackexchange.com/questions/80398/ …

Φ

$\Phi$

6

สำหรับฉันแล้วว่าสมการที่สองของคุณจะเป็นจริงถ้าคือการจับคู่เชิงเส้น (และด้วยเหตุนี้เป็นเคอร์เนลเชิงเส้น) เนื่องจากเคอร์เนลเกาส์เซียนนั้นไม่ใช่แบบเส้นตรงความเสมอภาคจะไม่ถูกเก็บไว้ (ยกเว้นในขีด จำกัด เมื่อไปที่ศูนย์) $\phi$ $K$ $\sigma$

— Dikran Marsupial
แหล่งที่มา

ขอบคุณสำหรับคำตอบ. เมื่อมิติของโครงการเคอร์เนล Gaussian จะเพิ่มขึ้น และด้วยแรงบันดาลใจของคุณตอนนี้ฉันคิดว่ามันไม่เท่ากัน เนื่องจากการใช้เคอร์เนลเพียงจัดการกับสถานการณ์ที่การจำแนกเชิงเส้นไม่ทำงาน

σ \to 0

$\sigma\rightarrow 0$

— วิเวียน