108

อย่างไรเครื่องสนับสนุนเวกเตอร์ (SVM)การทำงานและสิ่งที่แตกต่างจากตัวจําแนกเชิงเส้นอื่น ๆ เช่นเป็น Linear Perceptron , เชิงเส้นวิเคราะห์จำแนกหรือถดถอยโลจิสติ ? * * * *

(* ฉันกำลังคิดในแง่ของแรงจูงใจพื้นฐานสำหรับอัลกอริทึมกลยุทธ์การปรับให้เหมาะสมความสามารถในการวางนัยทั่วไปและความซับซ้อนของเวลาทำงาน )

— TDC
แหล่งที่มา

4

ดูเพิ่มเติมที่: stats.stackexchange.com/questions/3947/…

ดูเพิ่มเติมstats.stackexchange.com/questions/80398/…

126

เครื่องเวกเตอร์สนับสนุนเน้นเฉพาะจุดที่ยากที่สุดในการแยกออกจากกันในขณะที่ตัวแยกประเภทอื่น ๆ ให้ความสนใจกับทุกจุด

สัญชาตญาณเบื้องหลังการสนับสนุนเวกเตอร์แมชชีนวิชวลคือถ้าลักษณนามดีในการเปรียบเทียบที่ท้าทายที่สุด (คะแนนใน B และ A ที่ใกล้เคียงกันมากที่สุดในรูปที่ 2) ลักษณนามจะดียิ่งขึ้นเมื่อเปรียบเทียบง่าย ๆ ( เปรียบเทียบคะแนนใน B และ A ที่อยู่ห่างไกลกัน)

Perceptrons และตัวแยกประเภทอื่น ๆ :

Perceptrons สร้างขึ้นโดยการทีละจุดและปรับเส้นแบ่งตาม ทันทีที่มีการแยกจุดทั้งหมดอัลกอริทึม Perceptron จะหยุด แต่มันสามารถหยุดได้ทุกที่ รูปที่ 1 แสดงว่ามีเส้นแบ่งจำนวนมากมายที่แยกข้อมูล เกณฑ์การหยุดของ perceptron นั้นง่าย: "แยกจุดและหยุดปรับปรุงเส้นเมื่อคุณได้รับการแยก 100%" Perceptron ไม่ได้บอกอย่างชัดเจนว่าให้หาเส้นแบ่งที่ดีที่สุด การถดถอยแบบลอจิสติกและแบบจำลองเชิงเส้นเชิงพหุถูกสร้างขึ้นคล้ายกับ perceptrons

เส้นแบ่งที่ดีที่สุดจะช่วยเพิ่มระยะห่างระหว่างจุด B ใกล้กับ A และจุด A ใกล้กับ B ที่สุดไม่จำเป็นต้องมองจุดทั้งหมดเพื่อทำสิ่งนี้ ในความเป็นจริงการรวมคำติชมจากจุดที่อยู่ห่างไกลสามารถชนบรรทัดน้อยเกินไปดังที่แสดงด้านล่าง

ป้อนคำอธิบายรูปภาพที่นี่

สนับสนุน Vector Machines:

ซึ่งแตกต่างจากตัวแยกประเภทอื่น ๆ เครื่องเวกเตอร์สนับสนุนจะถูกบอกอย่างชัดเจนเพื่อหาเส้นแยกที่ดีที่สุด อย่างไร? เครื่องสนับสนุนเวกเตอร์ค้นหาจุดที่ใกล้ที่สุด (รูปที่ 2) ซึ่งเรียกว่า "เวกเตอร์สนับสนุน" (ชื่อ "เครื่องสนับสนุนเวกเตอร์") เนื่องจากข้อเท็จจริงที่ว่าจุดนั้นเป็นเหมือนเวกเตอร์และเส้นที่ดีที่สุด "ขึ้นอยู่กับ" หรือ คือ "สนับสนุนโดย" จุดที่ใกล้ที่สุด)

เมื่อพบจุดที่ใกล้ที่สุดแล้ว SVM จะลากเส้นเชื่อมต่อพวกเขา (ดูบรรทัดที่มีข้อความ 'w' ในรูปที่ 2) มันวาดเส้นเชื่อมต่อนี้โดยทำการลบเวกเตอร์ (จุด A - จุด B) จากนั้นเครื่องเวกเตอร์สนับสนุนจะประกาศเส้นแบ่งที่ดีที่สุดให้เป็นเส้นที่แบ่งครึ่งและตั้งฉากกับ - เส้นเชื่อมต่อ

เครื่องเวคเตอร์สนับสนุนนั้นดีกว่าเพราะเมื่อคุณได้รับตัวอย่างใหม่ (จุดใหม่) คุณจะได้สร้างบรรทัดที่ทำให้ B และ A อยู่ห่างจากกันและกันมากที่สุดเท่าที่จะเป็นไปได้ บรรทัดเข้าไปในดินแดนของอีก

ป้อนคำอธิบายรูปภาพที่นี่

ฉันคิดว่าตัวเองเป็นผู้เรียนรู้ทางสายตาและฉันก็ต้องดิ้นรนกับสัญชาตญาณเบื้องหลังการสนับสนุนเวกเตอร์แมชชีนเป็นเวลานาน ในที่สุดกระดาษที่ชื่อว่าDuality และ Geometry ใน SVM Classifiersก็ช่วยให้ฉันมองเห็นแสงได้ในที่สุด นั่นคือสิ่งที่ฉันได้รับภาพจาก

— Ryan Zotti
แหล่งที่มา

4

+1 จากผู้เรียนรู้ภาพอีกคน! สำหรับผู้อ่านฉันต้องการทราบว่าขอบเขตเหล่านี้ชัดเจนในรูปข้างต้นขึ้นอยู่กับชุดข้อมูลที่ได้ถูกแปลงไปแล้ว ไม่ใช่ชุดข้อมูลดิบ

— Kingz

การอ่าน svm มากว่าสองปีแล้ววันนี้เข้าใจว่ามีการระบุบรรทัดการแยกและอีกสองสามสิ่ง ขอบคุณสำหรับคำตอบที่สะอาด

— user123

53

คำตอบของไรอันซอตติอธิบายแรงจูงใจเบื้องหลังขอบเขตการตัดสินใจสูงสุดคำตอบของคาร์ลอสซีให้ความคล้ายคลึงและความแตกต่างบางประการกับผู้จำแนกประเภทอื่น ฉันจะให้ในคำตอบนี้ภาพรวมทางคณิตศาสตร์โดยย่อของวิธีการฝึกอบรมและใช้งาน SVM

ข้อความ

ในต่อไปนี้สเกลาร์จะแสดงด้วยตัวพิมพ์เล็กตัวเอียง (เช่น $y,\, b$ ) เวกเตอร์ที่มี lowercases หนา (เช่น $\mathbf{w},\, \mathbf{x}$ $W$ $\mathbf{w^T}$ $\mathbf{w}$ $\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

ปล่อย:

$\mathbf{x}$ เป็นคุณลักษณะของเวกเตอร์ (เช่นอินพุตของ SVM) โดยที่คือมิติของเวกเตอร์คุณลักษณะ $\mathbf{x} \in \mathbb{R}^n$ $n$
$y$ เป็นคลาส (เช่นเอาต์พุตของ SVM) , นั่นคืองานการจำแนกประเภทเป็นเลขฐานสอง $y \in \{ -1,1\}$
$\mathbf{w}$ และเป็นพารามิเตอร์ของ SVM: เราจำเป็นต้องเรียนรู้พวกเขาโดยใช้ชุดการฝึกอบรม $b$
$(\mathbf{x}^{(i)}, y^{(i)})$ เป็นตัวอย่างในชุดข้อมูล สมมติว่าเรามีตัวอย่างในชุดการฝึกอบรม $i^ {\text {th}}$ $N$

ด้วยเราสามารถแทนขอบเขตการตัดสินใจของ SVM ได้ดังนี้: $n=2$

คลาสถูกพิจารณาดังนี้: $y$

y^{(i)} = {\begin{cases} - 1 & if w^{T} x^{(i)} + b \leq - 1 \\ 1 & if w^{T} x^{(i)} + b \geq 1 \end{cases}

$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$

ซึ่งสามารถเขียนได้รัดกุมมากเป็น1 $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

เป้าหมาย

SVM มุ่งมั่นที่จะสนองความต้องการสองประการ:

SVM ควรเพิ่มระยะห่างระหว่างขอบเขตการตัดสินใจทั้งสอง ในทางคณิตศาสตร์นี่หมายความว่าเราต้องการเพิ่มระยะห่างระหว่างไฮเปอร์เพลนที่กำหนดโดยและไฮเปอร์เพลนที่กำหนดโดย1 ระยะนี้จะมีค่าเท่ากับ|} ซึ่งหมายความว่าเราต้องการที่จะแก้|} เราต้องการ เท่ากัน $\mathbf{w^T}\mathbf{x}+b = -1$ $\mathbf{w^T}\mathbf{x}+b = 1$ $\frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$
SVM ควรจัดหมวดหมู่ทั้งหมดอย่างถูกต้องซึ่งหมายถึง $\mathbf{x}^{(i)}$ $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

ซึ่งนำเราไปสู่ปัญหาการหาค่าเหมาะที่สุดต่อไปนี้:

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$

นี่คือSVM แบบ hard-marginเนื่องจากปัญหาการหาค่าเหมาะที่สุดแบบสมการกำลังสองนี้ยอมรับวิธีแก้ปัญหาหากข้อมูลแยกกันเป็นเส้นตรง

หนึ่งสามารถผ่อนคลายข้อ จำกัด โดยการแนะนำที่เรียกว่าตัวแปรหย่อน {(i)} โปรดทราบว่าแต่ละตัวอย่างของชุดการฝึกอบรมมีตัวแปรสแลคของตัวเอง สิ่งนี้ทำให้เรามีปัญหาการหาค่าเหมาะที่สุดสมการกำลังสองต่อไปนี้: $\xi^{(i)}$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

นี่คือSVM นุ่มขอบ เป็น hyperparameter เรียกว่าโทษของระยะข้อผิดพลาด ( อะไรคืออิทธิพลของ C ใน SVM ที่มีเคอร์เนลเชิงเส้น?และช่วงการค้นหาใดสำหรับการพิจารณาพารามิเตอร์ที่เหมาะสมที่สุดของ SVM ) $C$

เราสามารถเพิ่มความยืดหยุ่นได้มากขึ้นด้วยการแนะนำฟังก์ชั่นที่แมปพื้นที่คุณลักษณะดั้งเดิมกับพื้นที่คุณลักษณะมิติที่สูงขึ้น สิ่งนี้อนุญาตให้มีขอบเขตการตัดสินใจที่ไม่ใช่เชิงเส้น ปัญหาการหาค่าเหมาะที่สุดกำลังสองจะกลายเป็น: $\phi$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} ϕ (x^{(i)}) + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

การเพิ่มประสิทธิภาพ

ปัญหาการหาค่าเหมาะที่สุดกำลังสองสามารถเปลี่ยนเป็นปัญหาการเพิ่มประสิทธิภาพอื่นที่ชื่อปัญหาคู่ลากรองจ์ (ปัญหาก่อนหน้านี้เรียกว่าครั้งแรก ):

\begin{aligned} max_{α} & min_{w, b} \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} α^{(i)} (1 - w^{T} ϕ (x^{(i)}) + b)), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

ปัญหาการปรับให้เหมาะสมนี้สามารถทำให้ง่ายขึ้น (โดยตั้งค่าการไล่ระดับสีเป็น ) เป็น: $0$

\begin{aligned} max_{α} & \sum_{i = 1}^{N} α^{(i)} - \sum_{i = 1}^{N} \sum_{j = 1}^{N} (y^{(i)} α^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{(j)}) y^{(j)} α^{(j)}), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

$\mathbf{w}$ ไม่ปรากฏเป็น (ตามที่ระบุไว้ในทฤษฎีบทของผู้ตอบโต้ ) $\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

เราจึงเรียนรู้โดยใช้ของชุดฝึกอบรม $\alpha^{(i)}$ $(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: ทำไมต้องกังวลกับปัญหาที่สองเมื่อทำการปรับ SVMคำตอบสั้น ๆ : การคำนวณเร็วขึ้น + อนุญาตให้ใช้เคอร์เนลเคล็ดลับแม้ว่าจะมีวิธีการที่ดีในการฝึกอบรม SVM ในระยะแรกเช่นดู {1})

การทำนายผล

เมื่อเรียนรู้แล้วเราสามารถทำนายคลาสของตัวอย่างใหม่ได้ด้วยคุณสมบัติเวกเตอร์ดังนี้: $\alpha^{(i)}$ $\mathbf{x}^{\text {test}}$

\begin{aligned} y^{test} & = sign (w^{T} ϕ (x^{test}) + b) \\ = sign (\sum_{i = 1}^{N} α^{(i)} y^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{test}) + b) \end{aligned}

$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$

การรวมอาจดูล้นหลามเนื่องจากมันหมายความว่าเราต้องสรุปผลการฝึกอบรมทั้งหมด แต่ส่วนใหญ่ของเป็น (ดูทำไม Lagrange ทวีคูณกระจายสำหรับ SVMs ) ดังนั้นในทางปฏิบัติมันไม่เป็นปัญหา (โปรดทราบว่าหนึ่งสามารถสร้างกรณีพิเศษที่ทั้งหมด ) iffเป็นเวกเตอร์สนับสนุน . ภาพประกอบด้านบนมี 3 เวกเตอร์สนับสนุน $\sum_{i =1}^{N}$ $\alpha^{(i)}$ $0$ $\alpha^{{(i)}} > 0$ $\alpha^{{(i)}}=0$ $x^{{(i)}}$

เคล็ดลับเคอร์เนล

สามารถสังเกตได้ว่าปัญหาการปรับให้เหมาะสมใช้เฉพาะในผลิตภัณฑ์ภายในขวา) ฟังก์ชั่นที่แม็พกับผลิตภัณฑ์ภายในจะเรียกว่าเคอร์เนล , ฟังก์ชันเคอร์เนล aka, แสดงโดยมักk $\phi\left(\mathbf{x}^{(i)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $k$

สามารถเลือกเพื่อให้ผลิตภัณฑ์ภายในมีประสิทธิภาพในการคำนวณ สิ่งนี้ทำให้สามารถใช้พื้นที่ฟีเจอร์ที่มีศักยภาพสูงในราคาที่สามารถคำนวณได้ ที่เรียกว่าเคล็ดลับเคอร์เนล สำหรับฟังก์ชันเคอร์เนลที่จะถูกต้องเช่นสามารถใช้งานได้กับเคล็ดลับเคอร์เนลก็ควรตอบสนองสองคุณสมบัติที่สำคัญ มีอยู่เคอร์เนลฟังก์ชันมากมายให้เลือก ตามบันทึกข้าง, เคล็ดลับเคอร์เนลอาจถูกนำไปใช้กับโมเดลการเรียนรู้อื่น ๆซึ่งในกรณีที่พวกเขาจะเรียกว่าเป็นkernelized $k$

ก้าวต่อไป

QA ที่น่าสนใจเกี่ยวกับ SVM:

ลิงค์อื่น ๆ :

กำลังสองน้อยสนับสนุนเครื่องเวกเตอร์

อ้างอิง:

{1} Chapelle, Olivier "การฝึกอบรมเครื่องเวกเตอร์สนับสนุนในครั้งแรก" การคำนวณระบบประสาท 19, ครั้งที่. 5 (2007): 1155-1178 https://scholar.google.com/scholar?cluster=469291847682573606&hl=en&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

— Franck Dernoncourt
แหล่งที่มา

2

สวัสดี Franck ขอบคุณมากสำหรับคำตอบของคุณ คุณพอจะอธิบายได้ไหมว่าทำไมเวกเตอร์ตั้งฉากกับไฮเปอร์เพลนที่ SVM สร้างขึ้น และคุณคำนวณระยะห่างระหว่างสองขอบเขตการตัดสินใจให้เท่ากับ

w

$w$

\frac{2}{‖ w ‖}

$\frac{2}{\lVert w \rVert}$

— tosik

3

นอกจากคำตอบที่ยอดเยี่ยมนี้ฉันต้องการแนะนำวิดีโอนี้ที่เดินผ่านทางคณิตศาสตร์หลัง SVM โดยเฉพาะอย่างยิ่งและชี้แจงคำถาม @tosik ให้ความเห็นyoutube.com/watch?v=_PwhiWxHK8o

— Nikolas Rieble

คำตอบที่ดีมาก เพียงหนึ่งคำพูดให้เป็นไปในส่วนนี้: IFFเป็นเวกเตอร์การสนับสนุน สำหรับการจัดหมวดหมู่ผลรวมนั้นมีประสิทธิภาพเหนือเวกเตอร์สนับสนุน (เช่น )

α^{(i)} = 0

$\alpha^{{(i)}}=0$

x^{(i)}

$x^{{(i)}}$

α^{(i)} \geq 0

$\alpha^{{(i)}} \ge 0$

— 989

13

ฉันจะมุ่งเน้นไปที่ความคล้ายคลึงและความแตกต่างจากตัวแยกประเภทอื่น ๆ :

จาก perceptron: SVM ใช้การสูญเสียแบบบานพับและการทำให้เป็นมาตรฐาน L2, perceptron ใช้การสูญเสียแบบ perceptron และสามารถใช้การหยุดแบบเร็ว (หรือในเทคนิคอื่น ๆ ) สำหรับการทำให้เป็นมาตรฐานจริงๆแล้วไม่มีคำว่า normalization ใน perceptron เนื่องจากไม่มีข้อกำหนดการทำให้เป็นปกติเพอร์เซ็ปตรอนจะถูกใช้งานมากเกินไปดังนั้นความสามารถในการวางนัยทั่วไปจึงไม่ดีตามอำเภอใจ การเพิ่มประสิทธิภาพทำได้โดยใช้การไล่ระดับสีแบบสุ่มและรวดเร็วมาก ในด้านบวกกระดาษนี้แสดงให้เห็นว่าโดยการหยุดก่อนกำหนดด้วยฟังก์ชั่นการสูญเสียที่แก้ไขเล็กน้อยประสิทธิภาพอาจเทียบเท่ากับ SVM
จากการถดถอยโลจิสติก: การถดถอยโลจิสติกใช้คำศัพท์การสูญเสียโลจิสติกและสามารถใช้การทำให้เป็นมาตรฐาน L1 หรือ L2 คุณสามารถนึกถึงการถดถอยแบบโลจิสติกในฐานะพี่น้องผู้พินิจพิเคราะห์ของกลุ่มผู้ไร้เดียงสารุ่นเบย์
จาก LDA: LDA ยังสามารถมองเห็นเป็นอัลกอริธึมกำเนิดมันสันนิษฐานว่าฟังก์ชั่นความหนาแน่นความน่าจะเป็น (p (x | y = 0) และ p (x | y = 1) มีการกระจายตามปกตินี่คืออุดมคติเมื่อข้อมูลอยู่ใน ความจริงปกติกระจายอย่างไรก็ตามมันมีข้อเสียที่ "การฝึกอบรม" ต้องมีการผกผันของเมทริกซ์ที่สามารถมีขนาดใหญ่ (เมื่อคุณมีคุณสมบัติมากมาย) ภายใต้ homocedasticity LDA กลายเป็นQDAซึ่งเป็น Bayes ที่ดีที่สุดสำหรับการกระจายข้อมูลตามปกติ สมมติฐานมีความพึงพอใจจริง ๆ คุณไม่สามารถทำได้ดีกว่านี้

ที่รันไทม์ (เวลาทดสอบ) เมื่อแบบจำลองได้รับการฝึกอบรมความซับซ้อนของวิธีการเหล่านี้จะเหมือนกันมันเป็นเพียงแค่ผลิตภัณฑ์ dot ระหว่างไฮเปอร์เพลนที่กระบวนการฝึกอบรมพบและดาต้าพอยน์

— carlosdc
แหล่งที่มา

1

เนื่องจากคุณดูเหมือนเก่งใน SVM ให้ฉันขอให้คุณชี้แจงข้อสงสัยของฉัน: เมื่อเราพบไฮเปอร์เพลตที่แยกได้ดีที่สุดแล้วเราจะใช้มันเพื่ออะไร เราสามารถกำหนด SVM เป็นวิธีที่แรกเลือกไฮเปอร์เพลนที่ดีที่สุดในการจำแนกจุดข้อมูลอย่างถูกต้องและประการที่สองมันใช้ไฮเปอร์เพลนนี้เพื่อตัดจุดข้อมูลใหม่ในสองคลาส ขวา? (ฉันมีข้อสงสัยในส่วนที่สอง)

— DavideChicco.it

1

@ DavideChicco.it ใช่เราสามารถใช้ฟังก์ชั่นตัวบ่งชี้เพื่อจำแนกข้อมูลใหม่ซึ่งมักจะเป็นวัตถุประสงค์หลักของตัวจําแนก (อย่าใช้คำพูดของฉันสำหรับสิ่งนี้แม้ว่าฉันจะใหม่ทั้งหมด)

— keyser

12

เทคนิคนี้ได้รับการบอกกล่าวล่วงหน้าเมื่อวาดเส้นแบ่งการตัดสินใจที่เหลือไว้เพียงระยะขอบให้กับตัวอย่างบวกและลบแรกสุดเท่าที่จะเป็นไปได้:

ในภาพประกอบด้านบนถ้าเราเลือกเวกเตอร์มุมฉากที่เราสามารถสร้างเกณฑ์การตัดสินใจสำหรับตัวอย่างที่ไม่รู้จักเพื่อจัดหมวดหมู่เป็นแบบบวก: $\lVert w \rVert=1$ $\mathbf u$

w \cdot u \geq C

$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$

สอดคล้องกับค่าที่จะทำให้การฉายภาพเกินเส้นการตัดสินใจที่อยู่ตรงกลางถนน ขอให้สังเกตว่าw} $\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

เงื่อนไขที่เท่าเทียมกันสำหรับตัวอย่างที่เป็นบวกคือ:

\begin{matrix} (1) & w \cdot u + b \geq 0 \end{matrix}

$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$

ด้วย $C = - b.$

เราจำเป็นต้องและจะมีกฎการตัดสินใจและการที่จะได้มีที่เราต้องจำกัด $b$ $\color{blue}{\mathbf w}$

จำกัด เป็นครั้งแรกที่เราจะไปกำหนดเป็นที่สำหรับบวกใด ๆ ตัวอย่าง , ; และสำหรับตัวอย่างเชิงลบ-1 ในขอบเขตการหารหรือไฮเปอร์เพลน ( ค่ามัธยฐาน ) ค่าจะเป็นในขณะที่ค่าที่ท่อจะเท่ากับและ : $\mathbf x_+,$ $\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$ $\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$ $0$ $1$ $-1$

เวกเตอร์เป็นเวกเตอร์น้ำหนักในขณะที่เป็นอคติ $\bf w$ $b$

เมื่อต้องการนำความไม่เท่าเทียมกันทั้งสองเข้าด้วยกันเราสามารถแนะนำตัวแปรเพื่อให้สำหรับตัวอย่างที่เป็นบวกและหากตัวอย่างเป็นลบและสรุป $y_i$ $y_i=+1$ $y_i=-1$

y_{i} (x_{i} \cdot w + b) - 1 \geq 0.

$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$

ดังนั้นเรายืนยันว่าสิ่งนี้จะต้องมากกว่าศูนย์แต่ถ้าตัวอย่างอยู่บนไฮเปอร์เพลน ("ราง") ที่เพิ่มระยะห่างระหว่างการแยกไฮเปอร์เพลนของการตัดสินใจและเคล็ดลับของเวกเตอร์สนับสนุนในกรณีนี้) แล้ว:

\begin{matrix} (2) & y_{i} (x_{i} \cdot w + b) - 1 = 0 \end{matrix}

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$

ขอให้สังเกตว่านี่เทียบเท่ากับที่กำหนดให้ $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

ข้อ จำกัด ที่สอง : ระยะทางของไฮเปอร์เพลนของการตัดสินใจจนถึงเคล็ดลับของเวกเตอร์สนับสนุนจะถูกขยายให้ใหญ่สุด กล่าวอีกนัยหนึ่งระยะห่างของการแยก ("ถนน")จะถูกขยายให้ใหญ่สุด:

สมมติว่าเวกเตอร์หน่วยตั้งฉากกับขอบเขตการตัดสินใจ , ผลิตภัณฑ์ดอทที่มีความแตกต่างระหว่าง "ขอบ" สองบวกและลบตัวอย่างคือความกว้างของ "ถนน" : $\mathbf w$

width = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖}

$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$

ในสมการข้างบนและอยู่ในรางน้ำ (บนไฮเปอร์เพลนส์ทำให้การแยกสูงสุด) ดังนั้นสำหรับตัวอย่างที่เป็นบวก:หรือ ; และเป็นตัวอย่างที่ลบ:ข ดังนั้นปรับความกว้างของถนน: $x_+$ $x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$ ${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$ ${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

\begin{aligned} width & = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖} \\ = \frac{x_{+} \cdot w - x_{-} \cdot w}{‖ w ‖} \\ = \frac{1 - b - (- 1 - b)}{‖ w ‖} \\ (3) & = \frac{2}{‖ w ‖} \end{aligned}

$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$

ดังนั้นตอนนี้เราต้องเพิ่มความกว้างของถนนให้มากที่สุด - เช่นขยายสูงสุด ลดหรือย่อให้เล็กสุด: $\frac{2}{\lVert w \rVert},$ $\lVert w \rVert$

\begin{matrix} (4) & \frac{1}{2} ‖ w ‖^{2} \end{matrix}

$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$

ซึ่งสะดวกในเชิงคณิตศาสตร์

ดังนั้นเราต้องการ:

ย่อเล็กสุดด้วยข้อ จำกัด : $\lVert x\rVert^2$
$y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

เนื่องจากเราต้องการลดการแสดงออกนี้ตามข้อ จำกัด บางอย่างเราจึงต้องใช้ตัวคูณ Lagrange (กลับไปที่สมการ 2 และ 4):

\begin{matrix} (5) & L = \frac{1}{2} ‖ w ‖^{2} - \sum λ_{i} [y_{i} (x_{i} \cdot w + b) - 1] \end{matrix}

$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$

ความแตกต่าง,

\frac{\partial L}{\partial w} = w - \sum λ_{i} y_{i} x_{i} = 0

$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$ 0

ดังนั้น,

\begin{matrix} (6) & w = \sum λ_{i} y_{i} x_{i} \end{matrix}

$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$

และสร้างความแตกต่างด้วยความเคารพต่อ $b:$

\frac{\partial L}{\partial b} = - \sum λ_{i} y_{i} = 0,

$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$

ซึ่งหมายความว่าเรามีผลรวมเป็นศูนย์ของตัวคูณและป้ายกำกับ:

\begin{matrix} (7) & \sum λ_{i} y_{i} = 0 \end{matrix}

$\sum \lambda_i \, y_i = 0\tag 7$

การเสียบสมการ Eq (6) กลับไปที่ Eq (5)

L = \frac{1}{2} (\sum λ_{i} y_{i} x_{i}) (\sum λ_{j} y_{j} x_{j}) - (\sum λ_{i} y_{i} x_{i}) \cdot (\sum λ_{j} y_{j} x_{j}) - \sum λ_{i} y_{i} b + \sum λ_{i}

$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$

เทอมสุดท้ายคือศูนย์ตามสมการ Eq (7)

ดังนั้น,

\begin{matrix} (8) & L = \sum λ_{i} - \frac{1}{2} \sum_{i} \sum_{j} λ_{i} λ_{j} y_{i} y_{j} x_{i} \cdot x_{j} \end{matrix}

$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$

สมการ (8) เป็นลากรองจ์สุดท้าย

ดังนั้นการเพิ่มประสิทธิภาพขึ้นอยู่กับผลิตภัณฑ์ดอทของคู่ตัวอย่าง

กลับไปที่ "กฎการตัดสินใจ" ใน Eq (1) ด้านบนและใช้ Eq (6):

\begin{matrix} (9) & \sum λ_{i} y_{i} x_{i} \cdot u + b \geq 0 \end{matrix}

$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$

จะเป็นกฎการตัดสินใจขั้นสุดท้ายสำหรับเวกเตอร์ใหม่ $\mathbf u.$

— Antoni Parellada
แหล่งที่มา

ไม่มีอะไรที่เป็นต้นฉบับ ... แค่บันทึกของฉันเองในระดับเริ่มต้น โดยพื้นฐานจากวิดีโอนี้จาก MITพร้อมภาพประกอบของฉันเอง สำหรับข้อผิดพลาดโปรดแจ้งให้เราทราบ สำหรับคำตอบที่ลึกซึ้งและรายละเอียดเพิ่มเติมไปที่ระดับผู้เชี่ยวชาญ (โพสต์ของ Franck และอื่น ๆ )

— Antoni Parellada

และฉันจะคำนวณb ได้อย่างไร

— ไมค์

1

@ ไมค์กับเป็นชุดของดัชนีของเวกเตอร์การสนับสนุนคุณสามารถค้นหาได้ที่นี่

b = y_{s} - \sum_{m \in S} α_{m} y_{m} x_{m} \cdot x_{s}

$b= y_s -\displaystyle \sum_{m\in S} \alpha_m y_m \mathbf{x}_m\cdot \mathbf {x}_s$

S

$S$

(α_{i} > 0) .

$(\alpha_i > 0).$

— Antoni Parellada

@AntoniParellada คำตอบที่น่าอัศจรรย์อันโตขอบคุณมาก - แต่คุณไม่ได้พลาดส่วนหนึ่งของปัญหา Dual และเงื่อนไข KTT ใช่ไหม

— Xavier Bourret Sicotte

@XavierBourretSicotte ฉันไม่สามารถทำงานกับมันได้ซักพักแล้ว โปรดลองเขียนคำตอบทางเลือกที่สัมผัสกับปัญหาเหล่านี้และถ้าคุณทำโปรดแจ้งให้เราทราบเพื่อที่ฉันจะได้ทราบและสามารถลงคะแนนได้

— Antoni Parellada

3

ความคิดเห็นบางประการเกี่ยวกับเงื่อนไข Duality และ KTT

ปัญหาปฐม

หยิบขึ้นมาจาก @ โพสต์อันโตในระหว่างสมการและ , จำได้ว่าเดิมของเราหรือปฐมปัญหาการเพิ่มประสิทธิภาพของรูปแบบ: $(4)$ $(5)$

\begin{aligned} min_{w, b} f (w, b) & = min_{w, b} \frac{1}{2} | | w | |^{2} \\ s . t . g_{i} (w, b) & = - y^{(i)} (w^{T} x^{(i)} + b) + 1 = 0 \end{aligned}

$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$

วิธีการลากรองจ์

วิธีการของตัวคูณ Lagrange ช่วยให้เราสามารถเปลี่ยนปัญหาการเพิ่มประสิทธิภาพที่มีข้อ จำกัด เป็นรูปแบบหนึ่งที่ไม่มีข้อ จำกัด :

L (w, b, α) = \frac{1}{2} | | w | |^{2} - \sum_{i}^{m} α_{i} [y^{(i)} (w^{T} x^{(i)} + b) - 1]

$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$

ที่ไหน ที่เรียกว่าลากรองจ์และจะเรียกว่าคูณลากรองจ์ $\mathcal{L}(w, b, \alpha)$ $\alpha_i$

ปัญหาการปรับให้เหมาะสมครั้งแรกของเรากับ Lagrangian มีดังต่อไปนี้: (โปรดทราบว่าการใช้ ,ไม่ได้เข้มงวดที่สุดเท่าที่เราควรใช้และที่นี่ ... ) $min$ $max$ $\inf$ $\sup$

min_{w, b} (max_{α} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$

ปัญหาคู่

@Antoni และ Prof. Patrick Winston ได้ทำอะไรในการสืบทอดของพวกเขาคือสมมติว่าฟังก์ชั่นการเพิ่มประสิทธิภาพและข้อ จำกัด ตรงตามเงื่อนไขทางเทคนิคบางอย่างเช่นที่เราสามารถทำสิ่งต่อไปนี้:

min_{w, b} (max_{α} L (w, b, α)) = max_{α} (min_{w, b} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$

สิ่งนี้ทำให้เราสามารถนำส่วนอนุพันธ์ของเทียบกับและ , เท่ากับศูนย์แล้วเสียบผลลัพธ์กลับเข้าไปในสมการดั้งเดิมของลากรองจ์ดังนั้นจึงสร้างความเท่าเทียมกันปัญหาการเพิ่มประสิทธิภาพแบบคู่ของแบบฟอร์ม $\mathcal{L}(w, b, \alpha)$ $w$ $b$

\begin{aligned} max_{α} min_{w, b} L (w, b, α) \\ max_{α} \sum_{i}^{m} α_{i} - \frac{1}{2} \sum_{i, j}^{m} y^{(i)} y^{(j)} α_{i} α_{j} < x^{(i)} x^{(j)} > \\ s . t . α_{i} \geq 0 \\ s . t . \sum_{i}^{m} α_{i} y^{(i)} = 0 \end{aligned}

$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$

ความเป็นคู่และ KTT

เงื่อนไขเหล่านี้เป็นการรวมกันของ Duality และเงื่อนไข Karush Kuhn Tucker (KTT) และช่วยให้เราสามารถแก้ปัญหาคู่แทนที่จะเป็นครั้งแรกในขณะที่มั่นใจว่าทางออกที่ดีที่สุดเหมือนกัน ในกรณีของเรามีเงื่อนไขดังต่อไปนี้:

ฟังก์ชั่นวัตถุประสงค์ข้อ จำกัด และความไม่เท่าเทียมกันครั้งแรกจะต้องนูน
ฟังก์ชั่นข้อ จำกัด ความเท่าเทียมกันจะต้องเลียนแบบ
ข้อ จำกัด จะต้องเป็นไปได้อย่างเคร่งครัด

จากนั้นก็มีซึ่งเป็นวิธีแก้ปัญหาสำหรับปัญหาแรกและปัญหาที่สอง นอกจากนี้พารามิเตอร์เป็นไปตามเงื่อนไข KTT ด้านล่าง: $w^*, \alpha^*$ $w^*, \alpha^*$

\begin{aligned} \frac{\partial}{\partial w_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (A) \\ \frac{\partial}{\partial β_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (B) \\ α_{i}^{*} g_{i} (w^{*}) = 0 & (C) \\ g_{i} (w^{*}) \leq 0 & (D) \\ α_{i}^{*} \geq 0 & (E) \end{aligned}

$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$

ยิ่งไปกว่านั้นถ้ามีเป็นไปตามโซลูชัน KTT พวกเขาก็จะสามารถแก้ปัญหาที่สองและครั้งแรก $w^*, \alpha^*$

สมการดังกล่าวข้างต้นมีความสำคัญโดยเฉพาะอย่างยิ่งและเป็นที่เรียกว่าสภาพ complementarity คู่ มันหมายความว่าถ้าแล้วซึ่งหมายความว่าข้อ จำกัดมีการใช้งานนั่นคือมันมีความเสมอภาคมากกว่าความไม่เท่าเทียมกัน นี่คือคำอธิบายเบื้องหลังสมการในแหล่งที่มาของ Antoni โดยที่ข้อ จำกัด ของความไม่เท่าเทียมนั้นเปลี่ยนเป็นข้อ จำกัด ด้านความเท่าเทียมกัน $(C)$ $\alpha_i^* > 0$ $g_i(w^*) = 0$ $g_i(w) \leq 0$ $(2)$

แผนภาพที่ใช้งานง่าย แต่ไม่เป็นทางการ

แหล่งที่มา

Andrew Ng 1และ2
เอ็มไอที

— Xavier Bourret Sicotte
แหล่งที่มา

2

ขอบคุณมาก. ฉันอ่านมันอย่างรวดเร็วและกลับไปหามันทีหลังด้วยเวลามากกว่านี้ แต่มันฟังดูดีและสัมผัสกับจุดที่ขาดหายไปในคำตอบของฉัน

— Antoni Parellada

Support Vector Machine (SVM) ทำงานอย่างไร

ข้อความ

เป้าหมาย

การเพิ่มประสิทธิภาพ

การทำนายผล

เคล็ดลับเคอร์เนล

ก้าวต่อไป

ความคิดเห็นบางประการเกี่ยวกับเงื่อนไข Duality และ KTT

ปัญหาปฐม

วิธีการลากรองจ์

ปัญหาคู่

ความเป็นคู่และ KTT

แผนภาพที่ใช้งานง่าย แต่ไม่เป็นทางการ

แหล่งที่มา