36

สัญชาตญาณที่อยู่เบื้องหลังความจริงที่ว่า SVM พร้อมเคอร์เนล Gaussian มีพื้นที่มิติคุณลักษณะ dimensional nite คืออะไร?

svm feature-selection kernel-trick

1

ฉันไม่เข้าใจคำถามจริงๆ คุณต้องการคำอธิบายว่าทำไมพื้นที่คุณลักษณะที่สอดคล้องกันของมันคือมิติที่ไม่มีที่สิ้นสุดหรือการตีความว่าไฮเปอร์เพลนที่เกิดขึ้นนั้นหมายถึงอะไร?

— Marc Claesen

1

ฉันจะไม่รังเกียจที่จะได้ยินทั้งคู่!

— user36162

5

ฉันคิดว่านี่เป็นคำถามที่น่าสนใจ (+1)

39

คำตอบนี้อธิบายต่อไปนี้:

เหตุใดการแยกที่สมบูรณ์แบบจึงเป็นไปได้เสมอด้วยจุดที่แตกต่างและเคอร์เนล Gaussian (มีแบนด์วิดท์ขนาดเล็กเพียงพอ)
วิธีการแยกนี้อาจตีความได้ว่าเป็นแบบเส้นตรง แต่จะอยู่ในพื้นที่คุณลักษณะนามธรรมที่แตกต่างจากพื้นที่ที่ข้อมูลอยู่
วิธีการทำแผนที่จากพื้นที่ข้อมูลไปยังพื้นที่คุณลักษณะ "พบ" สปอยเลอร์: ไม่พบโดย SVM แต่ถูกกำหนดโดยเคอร์เนลที่คุณเลือก
เหตุใดคุณลักษณะของพื้นที่จึงมีขนาดไม่ จำกัด

1. บรรลุการแยกที่สมบูรณ์แบบ

การแยกที่สมบูรณ์แบบเป็นไปได้เสมอด้วยเคอร์เนลเกาส์เซียน (หากไม่มีสองคะแนนจากคลาสที่แตกต่างกันจะเหมือนกันทุกประการ) เนื่องจากคุณสมบัติท้องถิ่นของเคอร์เนลซึ่งนำไปสู่ขอบเขตการตัดสินใจที่ยืดหยุ่นโดยพลการ สำหรับแบนด์วิดท์เคอร์เนลขนาดเล็กเพียงพอขอบเขตการตัดสินใจจะดูเหมือนว่าคุณวาดวงกลมเล็ก ๆ รอบจุดเมื่อใดก็ตามที่พวกเขาต้องการแยกตัวอย่างบวกและลบ:

(เครดิต: หลักสูตรการเรียนรู้เครื่องออนไลน์ของ Andrew Ng )

แล้วทำไมสิ่งนี้ถึงเกิดขึ้นจากมุมมองทางคณิตศาสตร์?

พิจารณาการตั้งค่ามาตรฐาน: คุณมี Gaussian เคอร์เนล และการฝึกอบรมข้อมูล $K(\mathbf{x},\mathbf{z}) = \exp(-||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ ที่มีค่า 1เราต้องการเรียนรู้ฟังก์ชั่นลักษณนาม $(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$ $y^{(i)}$ $\pm 1$

\hat{y} (x) = \sum_{i} w_{i} y^{(i)} K (x^{(i)}, x)

$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$

ตอนนี้วิธีการที่เราจะเคยกำหนดน้ำหนัก ? เราต้องการช่องว่างมิติที่ไม่มีที่สิ้นสุดและอัลกอริทึมการเขียนโปรแกรมสมการกำลังสองหรือไม่? ไม่เพราะฉันแค่ต้องการแสดงให้เห็นว่าฉันสามารถแยกประเด็นได้อย่างสมบูรณ์แบบ ดังนั้นผมจึงทำให้พันล้านครั้งมีขนาดเล็กกว่าแยกเล็กระหว่างสองตัวอย่างการฝึกอบรมและฉันเพียงแค่ตั้ง 1ซึ่งหมายความว่าทุกจุดการฝึกอบรมเป็นพันล้าน sigmas นอกเหนือเท่าที่เคอร์เนลเป็นห่วงและแต่ละจุดสมบูรณ์ควบคุมสัญลักษณ์ของ $w_i$ $\sigma$ $||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$ $w_i = 1$ $\hat{y}$ ในละแวกของมัน อย่างเป็นทางการเรามี

\hat{y} (x^{(k)}) = \sum_{i = 1}^{n} y^{(k)} K (x^{(i)}, x^{(k)}) = y^{(k)} K (x^{(k)}, x^{(k)}) + \sum_{i \neq k} y^{(i)} K (x^{(i)}, x^{(k)}) = y^{(k)} + ϵ

$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$

โดยที่เป็นค่าที่น้อยมากตามอำเภอใจ เรารู้ว่าเป็นขนาดเล็กเพราะเป็นพันล้าน sigmas ห่างจากจุดอื่น ๆ เพื่อให้ทุกเรามี $\epsilon$ $\epsilon$ $\mathbf{x}^{(k)}$ $i \neq k$

K (x^{(i)}, x^{(k)}) = \exp (- | | x^{(i)} - x^{(k)} | |^{2} / σ^{2}) \approx 0.

$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(-||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$

ตั้งแต่ แน่นอนมีการเข้าสู่ระบบเดียวกับและจําแนกประสบความสำเร็จในความถูกต้องสมบูรณ์แบบในข้อมูลการฝึกอบรม $\epsilon$ $\hat{y}(\mathbf{x}^{(k)})$ $y^{(k)}$

2. การเรียนรู้ SVM เคอร์เนลเป็นการแยกเชิงเส้น

ความจริงที่ว่าสิ่งนี้สามารถตีความได้ว่าเป็น "การแยกเชิงเส้นที่สมบูรณ์แบบในพื้นที่คุณลักษณะมิติที่ไม่มีที่สิ้นสุด" มาจากเคอร์เนลเคล็ดลับซึ่งช่วยให้คุณสามารถตีความเคอร์เนลเป็นผลิตภัณฑ์ภายในในพื้นที่คุณลักษณะ (อาจไม่มีที่สิ้นสุดมิติ):

K (x^{(i)}, x^{(j)}) = ⟨ Φ (x^{(i)}), Φ (x^{(j)}) ⟩

$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$

โดยที่คือการแม็พจากพื้นที่ข้อมูลไปยังพื้นที่คุณลักษณะ มันดังต่อไปทันทีว่าฟังก์ชั่นเป็นฟังก์ชันเชิงเส้นในพื้นที่คุณลักษณะ: $\Phi(\mathbf{x})$ $\hat{y}(\mathbf{x})$

\hat{y} (x) = \sum_{i} w_{i} y^{(i)} ⟨ Φ (x^{(i)}), Φ (x) ⟩ = L (Φ (x))

$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$

โดยที่ฟังก์ชันเชิงเส้นถูกนิยามไว้บนเวกเตอร์พื้นที่คุณลักษณะเป็น $L(\mathbf{v})$ $\mathbf{v}$

L (v) = \sum_{i} w_{i} y^{(i)} ⟨ Φ (x^{(i)}), v ⟩

$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$

ฟังก์ชั่นนี้เป็นแบบเชิงเส้นในเพราะมันเป็นเพียงการผสมผสานเชิงเส้นของผลิตภัณฑ์ภายในกับเวกเตอร์คงที่ ในพื้นที่คุณลักษณะการตัดสินใจเขตแดนเป็นเพียง , ชุดระดับของฟังก์ชั่นการเชิงเส้น นี่คือคำจำกัดความของไฮเปอร์เพลนในพื้นที่คุณลักษณะ $\mathbf{v}$ $\hat{y}(\mathbf{x}) = 0$ $L(\mathbf{v}) = 0$

3. ทำความเข้าใจเกี่ยวกับการทำแผนที่และพื้นที่คุณลักษณะ

หมายเหตุ:ในส่วนนี้สัญกรณ์หมายถึงชุดจุดโดยพลการและไม่ใช่ข้อมูลการฝึกอบรม นี่คือคณิตศาสตร์บริสุทธิ์ ข้อมูลการฝึกอบรมไม่ได้คิดในส่วนนี้เลย! $\mathbf{x}^{(i)}$ $n$

วิธีการของเคอร์เนลไม่เคย "ค้นหา" หรือ "คำนวณ" จริง ๆ ของพื้นที่คุณลักษณะหรือการแมปอย่างชัดเจน วิธีการเรียนรู้เคอร์เนลเช่น SVM ไม่ต้องการให้ทำงาน พวกเขาจะต้องฟังก์ชั่นเคอร์เนลK $\Phi$ $K$

ที่กล่าวว่ามันเป็นไปได้ที่จะเขียนลงสูตรสำหรับΦพื้นที่คุณลักษณะที่แมปไปนั้นเป็นนามธรรม (และอาจเป็นมิติไม่สิ้นสุด) แต่โดยพื้นฐานแล้วการทำแผนที่นั้นใช้เคอร์เนลเพื่อทำวิศวกรรมฟีเจอร์แบบง่าย ๆ ในแง่ของผลลัพธ์สุดท้ายแบบจำลองที่คุณเรียนรู้ด้วยการใช้เมล็ดไม่แตกต่างจากวิศวกรรมฟีเจอร์ดั้งเดิมที่นิยมใช้ในการถดถอยเชิงเส้นและการสร้างแบบจำลอง GLM เช่นการบันทึกล็อกของตัวแปรทำนายเชิงบวกก่อนป้อนลงในสูตรการถดถอย คณิตศาสตร์ส่วนใหญ่อยู่ที่นั่นเพื่อช่วยให้แน่ใจว่าเคอร์เนลเล่นได้ดีกับอัลกอริธึม SVM ซึ่งมีข้อได้เปรียบของการ sparsity และการปรับสเกลให้ดีกับชุดข้อมูลขนาดใหญ่ $\Phi$ $\Phi$

หากคุณยังสนใจนี่คือวิธีการใช้งาน เป็นหลักที่เราใช้ตัวตนที่เราต้องการที่จะถือและสร้างพื้นที่และสินค้าภายในดังกล่าวว่าจะถือตามคำนิยาม การทำเช่นนี้เรากำหนดนามธรรมปริภูมิเวกเตอร์ซึ่งแต่ละเวกเตอร์เป็นฟังก์ชั่นจากพื้นที่ข้อมูลที่อาศัยอยู่ในที่เพื่อตัวเลขจริงRเวกเตอร์ในเป็นฟังก์ชันที่เกิดขึ้นจากการรวมกันเชิงเส้นของเคอร์เนลชิ้น: $\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$ $V$ $\mathcal{X}$ $\mathbb{R}$ $f$ $V$ สะดวกในการเขียนมีขนาดกะทัดรัดมากขึ้นเมื่อ โดยที่เป็นฟังก์ชั่นให้ชิ้น "" ของเคอร์เนลที่x

f (x) = \sum_{i = 1}^{n} α_{i} K (x^{(i)}, x)

$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$

f

$f$

f = \sum_{i = 1}^{n} α_{i} K_{x^{(i)}}

$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$

K_{x} (y) = K (x, y)

$K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$

x

$\mathbf{x}$

ผลิตภัณฑ์ชั้นในบนอวกาศไม่ใช่ผลิตภัณฑ์ดอทธรรมดา แต่เป็นผลิตภัณฑ์ชั้นในที่เป็นนามธรรมซึ่งอ้างอิงจากเคอร์เนล:

⟨ \sum_{i = 1}^{n} α_{i} K_{x^{(i)}}, \sum_{j = 1}^{n} β_{j} K_{x^{(j)}} ⟩ = \sum_{i, j} α_{i} β_{j} K (x^{(i)}, x^{(j)})

$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$

$\Phi$ $\mathcal{X} \rightarrow V$ $\mathbf{x}$

Φ (x) = K_{x}, where K_{x} (y) = K (x, y) .

$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$

$V$ $K$

4. เหตุใดคุณลักษณะของพื้นที่ไม่ จำกัด เป็นมิติ

คำตอบนี้ให้คำอธิบายที่ดีเกี่ยวกับพีชคณิตเชิงเส้น แต่นี่เป็นมุมมองทางเรขาคณิตที่มีทั้งสัญชาตญาณและการพิสูจน์

ปรีชา

$\mathbf{z}$ $K_\mathbf{z}(\mathbf{x}) = K(\mathbf{z},\mathbf{x})$ $K_\mathbf{z}$ $\mathbf{z}$ . ตอนนี้ถ้าพื้นที่ของฟีเจอร์มีเพียงมิติ จำกัด นั่นก็หมายความว่าเราสามารถทำการกระแทกแบบ จำกัด ได้ที่จุดคงที่และสร้างแบบเกาส์ใด ๆ ที่ใดก็ได้ แต่ชัดเจนไม่มีวิธีที่เราสามารถทำได้ คุณไม่สามารถสร้างการชนแบบใหม่จากการกระแทกแบบเก่าได้เนื่องจากการชนแบบใหม่อาจอยู่ห่างไกลจากสิ่งเก่า ดังนั้นไม่ว่าเราจะมีเวกเตอร์ฟีเจอร์กี่ (กระแทก) เราสามารถเพิ่มการกระแทกใหม่ได้เสมอและในพื้นที่ฟีเจอร์เหล่านี้คือเวกเตอร์อิสระใหม่ ดังนั้นพื้นที่ของฟีเจอร์ไม่สามารถ จำกัด ขนาดได้ มันจะต้องไม่มีที่สิ้นสุด

พิสูจน์

$\mathbf{x}^{(1)}, \mathbf{x}^{(2)}, \ldots, \mathbf{x}^{(n)}$ $\Phi(\mathbf{x}^{(i)})$ $\mathbf{x}^{(n+1)}$ $n$ $\Phi(\mathbf{x}^{(n+1)})$ $n$ $\Phi(\mathbf{x}^{(i)})$

พิสูจน์จากความขัดแย้ง สมมติว่าตรงกันข้าม

Φ (x^{(n + 1)}) = \sum_{i = 1}^{n} α_{i} Φ (x^{(i)})

$\Phi(\mathbf{x}^{(n+1)}) = \sum_{i=1}^n \alpha_i \Phi(\mathbf{x}^{(i)})$

$\mathbf{x}$ $\langle \Phi(\mathbf{z}), \Phi(\mathbf{x}) \rangle = K(\mathbf{z},\mathbf{x})$

K (x^{(n + 1)}, x) = \sum_{i = 1}^{n} α_{i} K (x^{(i)}, x)

$K(\mathbf{x}^{(n+1)},\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$

$\mathbf{x}$ $\mathbf{x}^{(n+1)}$ $\mathbf{x}^{(i)}$

— พอล
แหล่งที่มา

6

การแยกที่สมบูรณ์แบบเป็นไปไม่ได้ ตัวอย่าง: (0,0, ClasssA), (0,0, ClassB) โชคดีที่แยกชุดข้อมูลนี้!

— Anony-Mousse

4

นั่นคือ ... ถูกต้องทางเทคนิคชนิดที่ถูกต้องที่สุด! มี upvote ฉันจะเพิ่มบันทึกย่อในโพสต์

— พอล

3

(ฉันคิดว่าประเด็นของคุณเหมาะสมถ้าคุณต้องการระยะห่างขั้นต่ำระหว่างตัวอย่างของคลาสที่แตกต่างกันมันอาจคุ้มค่าที่ชี้ให้เห็นว่าในสถานการณ์นี้ SVM จะกลายเป็นลักษณนามเพื่อนบ้านที่ใกล้เคียงที่สุด)

— Anony-Mousse

1

n

$n$

k_{i}

$k_i$

x^{(i)}

$x^{(i)}$

k_{x}

$k_x$

x

$x$

\hat{y} (x) = \sum_{i} w_{i} y^{(i)} ⟨ k_{i}, k_{x} ⟩ = \sum_{i} w_{i} y^{(i)} k_{i} (x)

$\hat y(x) = \sum_i w_i y^{(i)} \langle k_i, k_x \rangle = \sum_i w_i y^{(i)} k_i(x)$

\hat{y} = \sum_{i} z_{i} k_{i}

$\hat y = \sum_i z_i k_i$

z_{i} \in R

$z_i \in \mathbb R$

\hat{y}

$\hat y$

X

$X$

12

$\mathbf x_1,...,\mathbf x_m$ $1$ $\sigma$

$\Phi(\mathbf x)$ $\Phi(\mathbf x_1),...,\Phi(\mathbf x_m)$ $||\Phi(\mathbf x)||_{\mathcal H}^²=k(\mathbf x,\mathbf x)=1$

Burges, CJC (1999) เรขาคณิตและความแปรปรวนของวิธีการแบบเคอร์เนล. ใน B. Schölkopf, CJC Burges, & AJ Smola (บรรณาธิการ), ความก้าวหน้าในวิธีการเคอร์เนลรองรับการเรียนรู้เวกเตอร์ (หน้า 89–116) กด MIT

— fabee
แหล่งที่มา

ผมก็ยังไม่เข้าใจ แต่คุณมีรายได้อยู่แล้ว upvote :)

— stmax

คุณหมายถึงคุณไม่เข้าใจว่าทำไมเรขาคณิตจึงแบนหรือทำไมมันถึงเป็นมิติที่ไม่สิ้นสุด ขอบคุณสำหรับการโหวต

— fabee

หากฉันมีตัวอย่าง 100 รายการคุณลักษณะของฉันมีพื้นที่ 100 มิติหรือมีมิติไม่สิ้นสุดอยู่แล้วหรือไม่ ทำไมฉันสามารถเพิ่มตัวอย่างมากมายนับไม่ถ้วน นั่นเป็นอนันต์ที่นับได้ใช่ไหม ทำไมเรื่องที่นับไม่ได้นับไม่ได้ที่นี่? ฉันยังไม่ได้ลองคิดเกี่ยวกับ "ทรงกลมแบน": D ขอบคุณสำหรับคำอธิบายของคุณ!

— stmax

5

ฉันหวังว่าคุณจะเชื่อฉันว่าตัวอย่างใหม่ทุกตัวอย่างเป็นแบบเส้นตรงจากทุกตัวอย่างก่อนหน้านี้ (ยกเว้นสำหรับเดียวกัน) ในคุณไม่สามารถทำเช่นนั้นได้: ทุก ๆ จุดที่เกินจะต้องขึ้นอยู่กับผู้อื่น สำหรับ Gaussian RKHS ถ้าคุณมีตัวอย่างที่แตกต่างกัน 100 ตัวอย่างพวกมันจะขยายพื้นที่ย่อย 100 มิติของพื้นที่มิติที่ไม่มีที่สิ้นสุด ดังนั้นระยะคือมิติที่ จำกัด แต่พื้นที่ของคุณสมบัติที่พวกมันอาศัยอยู่คือมิติที่ไม่มีที่สิ้นสุด อินฟินิตี้คือนับไม่ได้เพราะทุกจุดใหม่ในเป็นมิติใหม่และมีหลายจุดที่ uncountably ใน n

x

$x$

R^{n}

$\mathbb R^n$

n

$n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

— fabee

@fabee: ฉันลองมันในวิธีที่ต่างออกไปคุณดูเหมือนคุณรู้มากเกี่ยวกับเรื่องนี้คุณสามารถดูคำตอบของฉันได้ไหมว่าฉันได้รับ 'สิทธิ' มากหรือน้อย?

5

สำหรับพื้นหลังและสัญกรณ์ที่ฉันอ้างถึงคำตอบวิธีการคำนวณขอบเขตการตัดสินใจจากเวกเตอร์สนับสนุน? .

$x_i$ $y_i \in \{-1, +1\}$ $\alpha_i$

$K(x,y)=\Phi(x) \cdot \Phi(y)$ $\cdot$ $\Phi$

ฉันจะพยายามให้คำอธิบายที่ 'เข้าใจง่าย'ในสิ่งที่นี้ดูเหมือนดังนั้นคำตอบนี้ไม่มีข้อพิสูจน์อย่างเป็นทางการมันแค่ต้องการให้ความรู้สึกว่าฉันคิดว่ามันทำงานอย่างไร อย่าลังเลที่จะแก้ไขให้ฉันถ้าฉันผิด พื้นฐานสำหรับคำอธิบายของฉันคือส่วนที่ 2.2.1 ของไฟล์ PDF นี้ $\Phi$

ฉันต้อง 'แปลง' พื้นที่คุณลักษณะของฉัน (ดังนั้นของฉัน) เป็นพื้นที่คุณลักษณะ 'ใหม่' บางส่วนซึ่งการแยกเชิงเส้นจะถูกแก้ไข $x_i$

สำหรับการสังเกตแต่ละครั้ง ฉันกำหนดฟังก์ชันดังนั้นฉันจึงมีฟังก์ชั่นสำหรับแต่ละองค์ประกอบของตัวอย่างการฝึกอบรมของฉัน ฟังก์ชั่นเหล่านี้ขยายพื้นที่เวกเตอร์ ปริภูมิเวกเตอร์ทอดโดยทราบมันN}) (คือขนาดของตัวอย่างการฝึกอบรม) $x_i$ $\phi_i(x)=K(x_i,x)$ $\phi_i$ $\phi_i$ $\phi_i$ $V=span(\phi_{i, i=1,2,\dots N})$ $N$

ฉันจะพยายามยืนยันว่าเวกเตอร์สเปซนี้คือสเปซเวกเตอร์ที่การแยกเชิงเส้นจะเป็นไปได้ $V$ เวกเตอร์แต่ละตัวในเวกเตอร์สเปซสามารถเขียนเป็นชุดเชิงเส้นของเช่น:โดยที่เป็นจำนวนจริง ดังนั้นในความเป็นจริง $V$ $\phi_i$ $\sum_{i=1}^N \gamma_i \phi_i$ $\gamma_i$ $V=\{v=\sum_{i=1}^N \gamma_i \phi_i|(\gamma_1,\gamma_2,\dots\gamma_N) \in \mathbb{R}^N \}$

โปรดทราบว่าเป็นพิกัดของเวกเตอร์ในปริภูมิเวกเตอร์V $(\gamma_1,\gamma_2,\dots\gamma_N)$ $v$ $V$

$N$ คือขนาดของตัวอย่างการฝึกอบรมดังนั้นขนาดของปริภูมิเวกเตอร์สามารถเพิ่มได้ถึงขึ้นอยู่กับว่ามีความเป็นอิสระเชิงเส้น ในขณะที่ (ดู supra เราได้นิยามด้วยวิธีนี้) ซึ่งหมายความว่าขนาดของขึ้นอยู่กับเคอร์เนลที่ใช้และสามารถขึ้นอยู่กับขนาดของตัวอย่างการฝึกอบรม $V$ $N$ $\phi_i$ $\phi_i(x)=K(x_i,x)$ $\phi$ $V$

หากเคอร์เนลมี 'ซับซ้อนเพียงพอ' ดังนั้นทั้งหมดจะเป็นอิสระจากนั้นขนาดของจะเป็นขนาดของตัวอย่างการฝึกอบรม $\phi_i(x)=K(x_i, x)$ $V$ $N$

การแปลงที่แมปพื้นที่คุณลักษณะดั้งเดิมของฉันไปที่ถูกกำหนดเป็น $V$

$\Phi: x_i \to \phi_i(x)=K(x_i, x)$ x)

แผนที่นี้แมปพื้นที่ฟีเจอร์ดั้งเดิมของฉันไปยังพื้นที่เวคเตอร์ที่สามารถมีมิติที่เพิ่มขึ้นตามขนาดของตัวอย่างการฝึกอบรมของฉัน $\Phi$ ดังนั้นแมปแต่ละการสังเกตในตัวอย่างการฝึกของฉันลงในพื้นที่เวคเตอร์ที่ฟังก์ชันเวกเตอร์ เวกเตอร์จากตัวอย่างการฝึกของฉันคือ 'แมป' กับเวกเตอร์ในคือ vectorมีพิกัดเท่ากับเท่ากับศูนย์ยกเว้นพิกัด -th คือ 1 $\Phi$ $x_i$ $V$ $\phi_i$ $i$

เห็นได้ชัดว่าการแปลงนี้ (a) ขึ้นอยู่กับเคอร์เนล (b) ขึ้นอยู่กับค่าในตัวอย่างการฝึกอบรมและ (c) สามารถขึ้นอยู่กับเคอร์เนลของฉันมีมิติที่ขึ้นอยู่กับขนาดของตัวอย่างการฝึกอบรมของฉันและ ( d) เวกเตอร์ของดูเหมือนโดยที่เป็นจำนวนจริง $x_i$ $V$ $\sum_{i=1}^N \gamma_i \phi_i$ $\gamma_i$

ดูฟังก์ชันในวิธีการคำนวณขอบเขตการตัดสินใจจากเวกเตอร์สนับสนุน? ก็จะเห็นได้ว่า B การตัดสินใจเขตแดนพบโดย SVM เป็น 0 $f(x)$ $f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$ $f(x)=0$

กล่าวอีกนัยหนึ่งเป็นการรวมกันเชิงเส้นของและเป็นไฮเพอร์เพลตแบบแยกเชิงเส้นใน -space : มันเป็นตัวเลือกเฉพาะของคือ ! $f(x)$ $\phi_i$ $f(x)=0$ $V$ $\gamma_i$ $\gamma_i=\alpha_i y_i$

เป็นที่รู้จักจากการสังเกตของเราเป็นตัวคูณ Lagrange ที่ SVM ได้พบ ในคำอื่น ๆ SVM พบว่าผ่านการใช้เคอร์เนลและโดยการแก้ปัญหาการเขียนโปรแกรมสมการกำลังสองการแยกเชิงเส้นใน -spave $y_i$ $\alpha_i$ $V$

นี่คือความเข้าใจง่ายของฉันว่า 'เคอร์เนลเคล็ดลับ' ช่วยให้หนึ่งใน 'โดยปริยาย' เปลี่ยนพื้นที่คุณลักษณะเดิมเป็นคุณลักษณะใหม่พื้นที่มีมิติที่แตกต่าง มิตินี้ขึ้นอยู่กับเคอร์เนลที่คุณใช้และสำหรับเคอร์เนล RBF มิตินี้สามารถขึ้นอยู่กับขนาดของตัวอย่างการฝึกอบรม ในฐานะที่เป็นตัวอย่างการฝึกอบรมอาจจะมีขนาดใด ๆ นี้อาจจะไปถึง 'อนันต์' เห็นได้ชัดว่าในพื้นที่ที่มีมิติสูงมากความเสี่ยงของการเกิดoverfittingจะเพิ่มขึ้น $V$

ดังนั้นเมล็ดเป็นเทคนิคที่ช่วยให้ SVM ในการแปลงพื้นที่คุณลักษณะของคุณเห็นสิ่งที่ทำให้เคอร์เนลเกาส์จึงมีมนต์ขลังสำหรับ PCA และยังอยู่ในทั่วไป?

— ชุมชน
แหล่งที่มา

+1 นี่แข็ง ฉันแปลเนื้อหานี้เป็นสไตล์ของฉันเองและเพิ่มลงในคำตอบของฉัน

— พอล

5

น่าเสียดายที่คำอธิบายของ fcop ค่อนข้างไม่ถูกต้อง ก่อนอื่นเขาบอกว่า "เป็นที่รู้กันว่าเคอร์เนลสามารถเขียนได้เป็น ... โดยที่ ... คือการแปลง (โดยปริยายและไม่ทราบ) ให้เป็นพื้นที่ว่างใหม่" ไม่เป็นที่รู้จัก นี่คือความจริงแล้วพื้นที่ที่คุณสมบัติถูกแมปและนี่คือพื้นที่ที่อาจเป็นมิติที่ไม่มีที่สิ้นสุดเช่นในกรณี RBF เคอร์เนลทั้งหมดจะใช้ผลิตภัณฑ์ภายในของเวกเตอร์คุณลักษณะที่แปลงด้วยเวกเตอร์คุณลักษณะที่แปลงแล้วของตัวอย่างการฝึกอบรมและใช้ฟังก์ชันบางอย่างกับผลลัพธ์ ดังนั้นมันจึงแสดงถึงเวกเตอร์คุณลักษณะมิติที่สูงกว่านี้โดยปริยาย คิดว่าการเขียน (x + y) ^ 2 แทน x ^ 2 + 2xy + y ^ 2 ทีนี้ลองคิดว่าซีรี่ย์อินฟินิตี้ใดที่มีการแสดงออกโดยปริยายโดยฟังก์ชันเลขชี้กำลัง ... คุณมีพื้นที่คุณลักษณะที่ไม่มีที่สิ้นสุดของคุณ

วิธีที่ถูกต้องในการคิดเกี่ยวกับ SVMs คือคุณแมปฟีเจอร์ของคุณไปยังพื้นที่ฟีเจอร์มิติที่ไม่มีที่สิ้นสุดซึ่งเกิดขึ้นที่จะแสดงได้โดยปริยายในพื้นที่คุณลักษณะ "เคอร์เนล" อีกมิติหนึ่งที่มีขนาดอาจใหญ่เท่ากับขนาดชุดฝึกอบรม

— ซัลวาดอ
แหล่งที่มา

SVM จะ 'ค้นหา' พื้นที่ที่ไม่มีขีด จำกัด ได้อย่างไรซึ่งการแยกเชิงเส้นเป็นไปได้เสมอ?

1. บรรลุการแยกที่สมบูรณ์แบบ

2. การเรียนรู้ SVM เคอร์เนลเป็นการแยกเชิงเส้น

3. ทำความเข้าใจเกี่ยวกับการทำแผนที่และพื้นที่คุณลักษณะ

4. เหตุใดคุณลักษณะของพื้นที่ไม่ จำกัด เป็นมิติ

ปรีชา

พิสูจน์