ในอัลกอริธึม SVM ทำไมเวกเตอร์ w ตั้งฉากกับการแยกไฮเปอร์เพลน?

ฉันเป็นผู้เริ่มต้นในการเรียนรู้ของเครื่อง ใน SVM ที่ไฮเปอร์เพลแยกถูกกำหนดให้เป็นB ทำไมเราพูดเวกเตอร์มุมฉากกับไฮเปอร์เพลแยก?$y = w^T x + b$$w$

เรขาคณิตเวกเตอร์ W เป็นผู้กำกับฉากกับเส้นที่กำหนดโดยb สามารถเข้าใจได้ดังนี้$w^{T} x = b$

ครั้งแรก0 ตอนนี้ก็เป็นที่ชัดเจนว่าเวกเตอร์ทั้งหมด , หายไปกับสินค้าภายในกับตอบสนองสมการนี้คือเวกเตอร์ทั้งหมดที่ตั้งฉากกับ W ตอบสนองสมการนี้$b = 0$$x$$w$

ตอนนี้แปลไฮเปอร์เพลนออกไปจากจุดกำเนิดบนเวกเตอร์ก สมการของเครื่องบินในขณะนี้กลายเป็น:คือเราพบว่าสำหรับชดเชยซึ่งเป็นประมาณการของเวกเตอร์บนเวกเตอร์W$(x − a)^{T} w = 0$$b = a^{T} w$$a$$w$

เราอาจเลือกตั้งฉากกับระนาบซึ่งในกรณีนี้ความยาวซึ่งหมายถึงสั้น orthogonal ระยะห่างระหว่างจุดกำเนิดและไฮเปอร์เพลน$\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

ดังนั้นเวกเตอร์ถูกบอกว่าเป็นมุมฉากกับไฮเพอร์เพลทแบบแยก$w$

สาเหตุที่เป็นเรื่องปกติสำหรับไฮเปอร์ - ระนาบคือเพราะเรากำหนดให้เป็นแบบนั้น:$w$

สมมติว่าเรามีระนาบ (ไฮเปอร์) ในพื้นที่ 3 มิติ Let เป็นจุดบนเครื่องบินลำนี้คือP 0 = x 0 , Y 0 , Z 0 ดังนั้นเวกเตอร์จากแหล่งกำเนิด( 0 , 0 , 0 )ถึงจุดนี้เป็นเพียง< x 0 , Y 0 , Z 0 > สมมติว่าเรามีจุดP ( x , y , z )บนเครื่องบินโดยพลการ เวกเตอร์เข้าร่วม$P_0$$P_0 = x_0, y_0, z_0$$(0,0,0)$$<x_0,y_0,z_0>$$P (x,y,z)$$P$และถูกกำหนดโดย: → P - → P 0 = < x - x 0 , y - y 0 , z - z 0 > โปรดทราบว่าเวกเตอร์นี้อยู่ในระนาบ$P_0$

$$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$$

ตอนนี้ให้nเป็นปกติ (มุมฉาก) เวกเตอร์เครื่องบิน ดังนั้น: n ∙ ( → P - → P 0 ) = 0 ดังนั้น: n ∙ → P - n ∙ → P 0 = 0 หมายเหตุ- n ∙ → P 0เป็นเพียงตัวเลขและมีค่าเท่ากับbใน กรณีของเราในขณะที่nเป็นเพียงWและ→ P$\hat{n}$

$$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$$ $$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$$ $-\hat{n} \bullet \vec{P_0}$$b$$\hat{n}$$w$$\vec{P}$เป็นxดังนั้นโดยนิยามwคือมุมฉากของไฮเปอร์เพลน$x$$w$

ขอให้ตัดสินใจเขตแดนถูกกำหนดเป็น$w^Tx + b = 0$ 0 พิจารณาคะแนน$x_a$และ$x_b$ซึ่งอยู่บนขอบเขตการตัดสินใจ นี่ทำให้เราสองสมการ:

$$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$$

$w^T.(x_a - x_b) = 0$$x_a - x_b$$x_b$$x_a$$w^T.(x_a - x_b)$$w^T$$x_a - x_b$

การใช้นิยามพีชคณิตของเวกเตอร์ที่เป็นฉากตั้งฉากกับไฮเปอร์เพลน:

$\forall \ x_1, x_2$

$$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$$