ขอบเขตทั่วไปบน SVM

ฉันสนใจในผลลัพธ์ทางทฤษฎีสำหรับความสามารถในการวางนัยทั่วไปของ Support Vector Machines เช่นขอบเขตของความน่าจะเป็นของข้อผิดพลาดการจัดหมวดหมู่และมิติ Vapnik-Chervonenkis (VC) ของเครื่องเหล่านี้ อย่างไรก็ตามการอ่านวรรณกรรมฉันรู้สึกว่าผลลัพธ์ที่คล้าย ๆ กันบางครั้งมีแนวโน้มที่จะแตกต่างกันเล็กน้อยจากผู้เขียนถึงผู้เขียนโดยเฉพาะอย่างยิ่งเกี่ยวกับเงื่อนไขทางเทคนิคที่จำเป็นสำหรับขอบเขตที่กำหนดไว้

ในต่อไปนี้ฉันจะเรียกคืนโครงสร้างของปัญหา SVM และสถานะ 3 ของผลลัพธ์การสรุปทั่วไปหลักที่ฉันพบซ้ำในรูปแบบเดียวหรืออีกรูปแบบหนึ่งฉันให้การอ้างอิงหลัก 3 รายการตลอดการจัดนิทรรศการ $-$

การตั้งค่าปัญหา :

สมมติว่าเรามีตัวอย่างข้อมูลของคู่อิสระและการกระจาย (iid) คู่โดยที่ ,และ\} เราสร้างเครื่องเวกเตอร์สนับสนุน (SVM) ที่เพิ่มระยะขอบให้น้อยที่สุดระหว่างไฮเปอร์เพลนแยกที่กำหนดโดย ,และและจุดที่ใกล้ที่สุดในหมู่เพื่อแยกทั้งสองเรียนที่กำหนดโดยและ1 เราปล่อยให้ SVM ยอมรับข้อผิดพลาดบางอย่างผ่านการทำกำไรขั้นต้นโดยการแนะนำตัวแปรหย่อน $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ แต่สำหรับความเรียบง่ายที่สังเกตได้เราไม่สนใจความเป็นไปได้ของเมล็ด สามารถหาพารามิเตอร์ของโซลูชันและได้โดยการแก้ไขโปรแกรมการหาค่ากำลังสองแบบนูนต่อไปนี้: $w^*$ $b^*$

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

เราสนใจความสามารถทั่วไปของเครื่องนี้

มิติ Vapnik-Chervonenkis $VC$ :

ผลลัพธ์แรกเกิดจาก (Vapnik, 2000) ซึ่งเขากำหนดขอบเขต VC ของไฮเปอร์เพลนแบบแยกทฤษฎีบท 5.1 การให้, เรามี: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

ผลลัพธ์นี้สามารถพบได้อีกใน (Burges, 1998), ทฤษฎีบท 6 อย่างไรก็ตามดูเหมือนว่าทฤษฎีบทของ Burges นั้นมีข้อ จำกัด มากกว่าผลลัพธ์เดียวกันโดย Vapnik ในขณะที่เขาต้องการกำหนดหมวดหมู่พิเศษของตัวแยกประเภทที่รู้จักกันในชื่อซึ่งเป็นสมาชิกของ SVMเพื่อระบุทฤษฎีบท $-$ $-$

ขอบเขตความน่าจะเป็นของข้อผิดพลาด :

ใน (Vapnik, 2000), ทฤษฎีบท 5.2 ในหน้า 139 ให้ความผูกพันกับความสามารถในการวางนัยทั่วไปต่อไปนี้

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

โดยที่คือจำนวนเวกเตอร์สนับสนุนของ SVM ผลลัพธ์นี้น่าจะพบได้อีกใน (Burges, 1998), สมการ (86) และ (93) ตามลำดับ แต่อีกครั้ง Burges ดูเหมือนจะแตกต่างจาก Vapnik ในขณะที่เขาแยกส่วนประกอบภายในฟังก์ชันขั้นต่ำข้างต้นในทฤษฎีบทต่าง ๆ โดยมีเงื่อนไขแตกต่างกัน $n_{SV}$

ผลลัพธ์อื่นที่ปรากฏใน (Vapnik, 2000), p.133 มีดังต่อไปนี้ สมมติว่าอีกครั้งสำหรับ ,และให้และเรานิยามให้เท่ากับ: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

นอกจากนี้เรายังกำหนดเป็นจำนวนตัวอย่างการฝึกอบรมที่ไม่ได้รับการจำแนกโดย SVM จากนั้นด้วยความน่าจะเป็นเราสามารถยืนยันได้ว่าความน่าจะเป็นที่ตัวอย่างทดสอบจะไม่ถูกแยกอย่างถูกต้องโดย -margin hyperplaneเช่น SVM กับ marginมีขอบเขต: $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

อย่างไรก็ตามใน (Hastie, Tibshirani และ Friedman, 2009), p.438 พบผลลัพธ์ที่คล้ายกันมาก:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

สรุป :

สำหรับฉันดูเหมือนว่ามีความขัดแย้งระดับหนึ่งระหว่างผลลัพธ์เหล่านี้ ในอีกทางหนึ่งการอ้างอิงทั้งสองนี้ถึงแม้ว่าจะเป็นที่ยอมรับในวรรณคดี SVM แต่ก็เริ่มค่อนข้างเก่า (1998 และ 2000) โดยเฉพาะอย่างยิ่งหากเราพิจารณาว่าการวิจัยเกี่ยวกับอัลกอริทึม SVM นั้นเริ่มต้นขึ้นในช่วงกลางยุค

คำถามของฉันคือ:

ผลลัพธ์เหล่านี้ยังคงใช้งานได้ในปัจจุบันหรือมีการพิสูจน์ว่าผิดหรือเปล่า?
ขอบเขตที่แน่นขึ้นและมีสภาวะค่อนข้างหลวมนับตั้งแต่นั้นมา? ถ้าเป็นเช่นนั้นฉันจะพบพวกเขาโดยใครและที่ไหน?
ในที่สุดมีวัสดุอ้างอิงใดที่สังเคราะห์ผลลัพธ์หลักทั่วไปเกี่ยวกับ SVM หรือไม่?

การอ้างอิง :

Burges, JC (1998) "การสอนเกี่ยวกับการสนับสนุนเครื่องเวกเตอร์สำหรับการจดจำรูปแบบ", การทำเหมืองข้อมูลและการค้นหาความรู้ , 2: 121-167

Hastie, T. , Tibshirani, R. และ Friedman, J. (2009) องค์ประกอบของการเรียนรู้ทางสถิติ , รุ่นที่ 2, Springer

Vapnik, VN (1998) ทฤษฎีการเรียนรู้ทางสถิติ , ฉบับที่ 1, John Wiley & Sons

Vapnik, VN (1999) "ภาพรวมของทฤษฎีการเรียนรู้ทางสถิติ", ธุรกรรม IEEE บนโครงข่ายประสาทเทียม , 10 (5): 988-999

Vapnik, VN (2000) ธรรมชาติของทฤษฎีการเรียนรู้ทางสถิติ , รุ่นที่ 2, Springer

machine-learning svm vc-dimension

— Daneel Olivaw
แหล่งที่มา

การอ้างอิงสรุปรัฐของศิลปะ (ราว 2008) ขอบเขตความเสี่ยงสำหรับการจำแนก: "การสนับสนุนเวกเตอร์เครื่อง" (Ingo Steinwart, Andreas Christmann สปริงเกอร์ 2008)

— ลงทะเบียน

ฉันไม่ทราบวรรณกรรมที่คุณอ้างถึงในรายละเอียด แต่ฉันคิดว่าบทสรุปที่ครอบคลุมของขอบเขตทั่วไปที่ควรเป็นข้อมูลล่าสุดสามารถพบได้ใน Boucheron และคณะ (2004) (Link: https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- Canberra-Australia-February-2-14-2003-Tuebingen-Germany-August-4-16-2003-Revised-Lectures.pdf # หน้า = 176 )

ฉันจะร่างส่วนหนึ่งของ SVM ที่ถูกผูกไว้ในสิ่งต่อไปนี้โดยละทิ้งรายละเอียดและพิสูจน์

ก่อนที่จะอธิบายอย่างละเอียดเกี่ยวกับขอบเขตของ SVM เราต้องเข้าใจว่าขอบเขตการวางตัวแบบทั่วไปกำลังพยายามที่จะบรรลุผลอย่างไร

ก่อนอื่นให้เราสมมติว่าความน่าจะเป็นที่แท้จริงเป็นที่รู้จักกันแล้วตัวจําแนกที่ดีที่สุดที่เป็นไปได้คือตัวจําแนกเบย์คือ start start $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

เป้าหมายของทฤษฎีการเรียนรู้เชิงสถิติในขณะนี้คือการหาความแตกต่างระหว่างลักษณนามของคลาส (เช่น SVM) และตัวจําแนกเบส์นั่นคือ start โปรดทราบว่าคือการสูญเสียที่ได้รับข้อมูลที่คาดหวังและเป็นลักษณนามที่ดีที่สุดในรูปแบบคลาสCคำว่าเรียกว่าข้อผิดพลาดในการประมาณค่าและมักจะให้ความสำคัญเพราะมันสามารถล้อมรอบได้ง่ายกว่าข้อผิดพลาดการประมาณ (อีกคำ) ฉันจะละเว้นข้อผิดพลาดการประมาณที่นี่ $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

ข้อผิดพลาดในการประมาณค่าสามารถจำแนกได้ด้วย ตอนนี้สิ่งนี้สามารถล้อมรอบด้วยสองขั้นตอน: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

Boundโดยใช้ความไม่เท่าเทียมกันของ McDiarmid $Z - \mathbb{E}Z$
Boundพร้อมความซับซ้อนของ Rademacher $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

การใช้ความไม่เท่าเทียมกันของ McDiarmids สามารถแสดงให้เห็นว่าหากฟังก์ชันการสูญเสียอยู่ในช่วงไม่เกินขั้นตอนที่หนึ่งส่งผลให้มีขอบเขตของ โดยที่คือระดับความมั่นใจ สำหรับขั้นตอนที่สองเราสามารถแสดงให้เห็นว่า หากคุณมีฟังก์ชั่นการสูญเสียแบบไม่ต่อเนื่องนั่นคือไม่ใช่ Lipschitz เช่น 0-1 - สูญเสียคุณจะต้องใช้ VC-Dimension เพื่อเพิ่มขอบเขตความซับซ้อนของ Rademacher อย่างไรก็ตามสำหรับฟังก์ชั่น L-lipschitz เช่น Hinge-loss สิ่งนี้สามารถล้อมรอบได้โดย โดยที่ $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ หมายถึง regularizer เนื่องจาก Hinge-Lossและ (พิสูจน์ด้วยความไม่เท่าเทียมกันของ Gauchy-Schwartz) สิ่งนี้จะลดความซับซ้อนลง ในที่สุดการรวมผลลัพธ์ทั้งหมดเข้าด้วยกันเราสามารถ จำกัด

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
แหล่งที่มา