ด้วยชุดของจุดในพื้นที่สองมิติหนึ่งฟังก์ชันการตัดสินใจออกแบบสำหรับ SVM ได้อย่างไร

ใครสามารถอธิบายฉันได้ว่าคน ๆ หนึ่งจะออกแบบฟังก์ชันการตัดสินใจ SVM ได้อย่างไร หรือชี้ให้ฉันไปที่ทรัพยากรที่กล่าวถึงตัวอย่างที่เป็นรูปธรรม

แก้ไข

สำหรับตัวอย่างด้านล่างฉันจะเห็นว่าสมการ $X_2 = 1.5$ แยกชั้นเรียนด้วยระยะขอบสูงสุด แต่ฉันจะปรับน้ำหนักและเขียนสมการสำหรับไฮเปอร์เพลนในรูปแบบต่อไปนี้ได้อย่างไร

\begin{array}{ll} H_{1} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : w_0+w_1x_1+w_2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : w_0+w_1x_1+w_2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

ป้อนคำอธิบายรูปภาพที่นี่

ฉันพยายามทำให้ทฤษฎีพื้นฐานถูกต้องในพื้นที่ 2 มิติ (เพราะมองเห็นได้ง่ายกว่า) ก่อนที่ฉันจะคิดถึงมิติที่สูงขึ้น

ฉันได้แก้ปัญหาสำหรับสิ่งนี้แล้วใครบางคนได้โปรดยืนยันว่าสิ่งนี้ถูกต้องหรือไม่?

น้ำหนักเวกเตอร์คือ (0, -2) และ W_0 คือ 3

\begin{array}{ll} H_{1} : 3 + 0 x_{1} - 2 x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : 3 + 0 x_{1} - 2 x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : 3+0x_1-2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : 3+0x_1 -2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

svm

— Naresh
แหล่งที่มา

มีภาพประกอบพร้อม R อยู่ที่นี่แต่ฉันคิดว่าคำถามของคุณเกี่ยวกับด้านอัลกอริทึมมากกว่า ในกรณีนี้มันจะช่วยถ้าคุณสามารถเพิ่มรายละเอียดเพิ่มเติมเกี่ยวกับแอปพลิเคชันที่ต้องการหรือทรัพยากรที่มีอยู่

— chl

@chl ฉันได้อัปเดตคำถามพร้อมรายละเอียดแล้ว

— naresh

มีอย่างน้อยสองวิธีในการกระตุ้นให้ SVM มี แต่ฉันจะใช้เส้นทางที่เรียบง่ายที่นี่

ตอนนี้ลืมทุกสิ่งที่คุณรู้เกี่ยวกับ SVM ในขณะนี้และเพียงแค่มุ่งเน้นปัญหาที่อยู่ในมือ คุณจะได้รับชุดของจุดพร้อมกับป้ายกำกับบางคน ( ) ซึ่งมาจาก }ตอนนี้เรากำลังพยายามหาบรรทัดใน 2D เพื่อให้ทุกจุดที่มีเลเบลอยู่ด้านหนึ่งของบรรทัดและทุกจุดที่มีเลเบลตกลงบนอีกด้านหนึ่ง $\mathcal{D} = \{(x^i_1, x^i_2, y_i)\}$ $y_i$ $\{1, -1\}$ $1$ $-1$

ก่อนอื่นให้ตระหนักว่าเป็นเส้นใน 2D และหมายถึง "ด้านใดด้านหนึ่ง" ของเส้นและแทน "ด้านอื่น ๆ " ของบรรทัด $w_0 + w_1x_1 + w_2x_2 = 0$ $w_0 + w_1x_1 + w_2x_2 > 0$ $w_0 + w_1x_1 + w_2x_2 < 0$

จากด้านบนเราสามารถสรุปได้ว่าเราต้องการเวกเตอร์เช่นนั้น, สำหรับทุกจุดกับและ $[w_0, w_1, w_2]$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ สำหรับคะแนนทั้งหมดกับ [1] $x^i$ $y_i = -1$

ขอให้เราสมมติว่ามีเส้นดังกล่าวอยู่จริงแล้วฉันสามารถนิยามตัวจําแนกในวิธีต่อไปนี้

min | w_{0} | + | w_{1} | + | w_{2} | subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 0, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} < 0, \forall x^{i} with y_{i} = - 1

$\min |w_0| + |w_1| + |w_2| \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 0, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 < 0, \forall x^i\text{ with }y_i = -1 \\$

ฉันใช้ฟังก์ชันวัตถุประสงค์ตามอำเภอใจด้านบนเราไม่สนใจจริงๆในขณะที่ฟังก์ชันวัตถุประสงค์ใช้ เราเพียงแค่ต้องการตอบสนองความว่าข้อ จำกัด ของเรา เนื่องจากเราสันนิษฐานว่ามีบรรทัดหนึ่งที่เราสามารถแยกสองคลาสด้วยบรรทัดนั้นเราจะหาวิธีแก้ไขปัญหาการปรับให้เหมาะสมข้างต้น $w$

$w$ $w$

$w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 1$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 \leq -1$ $x^i$ $y_i = -1$ $\frac{1}{\|w\|_2}$

ดังนั้นเราได้รับปัญหาการเพิ่มประสิทธิภาพต่อไปนี้ รูปแบบย่อที่ย่อเล็กน้อยนี้คือ นี่คือสูตรพื้นฐาน SVM พื้นฐาน ฉันข้ามการถกเถียงกันค่อนข้างมากสำหรับเรื่องย่อ หวังว่าฉันจะได้รับความคิดส่วนใหญ่ผ่าน

max \frac{1}{‖ w ‖_{2}} subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 1, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \leq - 1, \forall x^{i} with y_{i} = - 1

$\max \frac{1}{\|w\|_2} \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 1, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 \leq -1, \forall x^i\text{ with }y_i = -1 \\$

min ‖ w ‖_{2} subject to : y_{i} (w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i}) \geq 1, \forall i

$\min \|w\|_2 \\ \text{subject to} : y_i(w_0 + w_1x^i_1 + w_2x^i_2) \geq 1, \forall i$

CVX script เพื่อแก้ปัญหาตัวอย่าง:

A = [1 2 1; 3 2 1; 2 3 1; 3 3 1; 1 1 1; 2 0 1; 2 1 1; 3 1 1];
b = ones(8, 1);
y = [-1; -1; -1; -1; 1; 1; 1; 1];
Y = repmat(y, 1, 3);
cvx_begin
variable w(3)
minimize norm(w)
subject to
(Y.*A)*w >= b
cvx_end

ภาคผนวก - ขอบเรขาคณิต

ข้างต้นเราได้ขออยู่แล้วว่าเรามองหาดังกล่าวว่าหรือทั่วไป1 LHS ที่นี่ที่คุณเห็นจะเรียกว่าอัตรากำไรขั้นต้นการทำงานดังนั้นสิ่งที่เราได้รับการร้องขอที่นี่เป็นที่อัตรากำไรขั้นต้นทำงานเป็น1 ตอนนี้เราจะพยายามคำนวณระยะขอบทางเรขาคณิตเนื่องจากความต้องการมาร์จิ้นการทำงานนี้ $w$ $y_i(w_0 + w_1x_1 + w_2x_2) \geq 1$ $y_i(w_0 + w^Tx) \geq 1$ $\geq 1$

ระยะขอบทางเรขาคณิตคืออะไร? ขอบเรขาคณิตเป็นระยะทางที่สั้นที่สุดระหว่างจุดในตัวอย่างบวกและจุดในตัวอย่างลบ ตอนนี้จุดที่มีระยะทางสั้นที่สุดตามที่ต้องการข้างต้นสามารถมีระยะขอบการทำงานมากกว่า 1 ได้อย่างไรก็ตามขอให้เราพิจารณากรณีที่รุนแรงเมื่อพวกมันอยู่ใกล้กับไฮเปอร์เพลนนั่นคือขอบของการทำงานที่สั้นที่สุดนั้นเท่ากัน ถึง 1 ให้เป็นจุดในตัวอย่างบวกเป็นจุดที่และเป็นจุดบนตัวอย่างลบเป็นจุดที่ . ทีนี้ระยะห่างระหว่างและจะสั้นที่สุดเมื่อ $x_+$ $w^Tx_+ + w_0 = 1$ $x_-$ $w^Tx_- + w_0 = -1$ $x_+$ $x_-$ $x_+ - x_-$ ตั้งฉากกับไฮเปอร์เพลน

ตอนนี้ด้วยข้อมูลทั้งหมดข้างต้นเราจะพยายามหาซึ่งเป็นระยะขอบทางเรขาคณิต $\|x_+ - x_-\|_2$

w^{T} x_{+} + w_{0} = 1

$w^Tx_+ + w_0 = 1$

w^{T} x_{-} + w_{0} = - 1

$w^Tx_- + w_0 = -1$

w^{T} (x_{+} - x_{-}) = 2

$w^T(x_+ - x_-) = 2$

| w^{T} (x_{+} - x_{-}) | = 2

$|w^T(x_+ - x_-)| = 2$

‖ w ‖_{2} ‖ x_{+} - x_{-} ‖_{2} = 2

$\|w\|_2\|x_+ - x_-\|_2 = 2$

‖ x_{+} - x_{-} ‖_{2} = \frac{2}{‖ w ‖_{2}}

$\|x_+ - x_-\|_2 = \frac{2}{\|w\|_2}$

[1] มันไม่จริงเรื่องที่ด้านข้างที่คุณเลือกสำหรับและ-1คุณเพียงแค่ต้องอยู่กับสิ่งที่คุณเลือก $1$ $-1$

— TenaliRaman
แหล่งที่มา

w = [0, - 2, 3]

$w = [0, -2, 3]$

@ ขอบคุณขอบคุณฉันได้แก้ไขพิมพ์ผิด ฉันจะเพิ่มคำอธิบายขอบเรขาคณิต

— TenaliRaman

@entropy ฉันได้อัปเดตคำตอบพร้อมกับคำอธิบายทางเรขาคณิต

— TenaliRaman

@entropyเป็นไฮเปอร์เพลนที่ส่งผ่านจุดกำเนิด เพื่อให้ครอบคลุมช่องว่างของสมการเชิงเส้นทั้งหมดคุณจำเป็นต้องมีคำว่าอคติ นึกถึงจุดที่อยู่ในแบบ 2 มิติและให้เราบอกว่าคุณกำลังพยายามหาเส้นที่คั่นจุดเหล่านี้ อย่างไรก็ตามจุดเหล่านี้อยู่ในจตุภาคแรก ตอนนี้เราสามารถจัดเรียงจุดเหล่านี้เพื่อที่พวกเขาจะแยกกันไม่ได้ แต่โดยสายใด ๆ ที่ผ่านการกำเนิด อย่างไรก็ตามเส้นที่มีอคติที่เหมาะสมสามารถทำได้

w^{T} x

$w^{T}x$

— TenaliRaman

@entropy ต้องบอกว่าข้างต้นคุณอาจรู้แล้วว่าถ้าคุณหมุนและเปลี่ยนจุดได้อย่างเหมาะสมแม้แต่เส้นที่ผ่านจุดกำเนิดก็ควรแยกชั้นเรียนออกได้ อย่างไรก็ตามโดยทั่วไปแล้วการค้นหาการหมุนที่ถูกต้องและการกะนั้นไม่ใช่เรื่องง่ายเมื่อเปรียบเทียบกับการเรียนคำศัพท์อคติ

— TenaliRaman