ฟังก์ชั่นการสูญเสียของอัตรากำไรขั้นต้นแข็ง SVM คืออะไร?

คนบอกว่าฟังก์ชั่นการสูญเสียการใช้ขอบนุ่ม SVM บานพับ:B)) อย่างไรก็ตามฟังก์ชั่นวัตถุประสงค์ที่แท้จริงที่ soft margin SVM พยายามลดให้น้อยที่สุดคือ \ frac {1} {2} \ | w \ | ^ 2 + C \ sum_i \ max (0,1-y_i (w ^ \ intercal x_i + b) ) ผู้เขียนบางคนเรียกว่า\ | w \ | ^ 2 regularizer คำและ\ max (0,1-y_i (w ^ \ intercal x_i + b))ฟังก์ชั่นการสูญเสียระยะ$\max(0,1-y_i(w^\intercal x_i+b))$

$$\frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b))$$ $\|w\|^2$$\max(0,1-y_i(w^\intercal x_i+b))$

อย่างไรก็ตามสำหรับ SVM ขอบแข็งฟังก์ชันวัตถุประสงค์ทั้งหมดเป็นเพียง

$$\frac{1}{2}\|w\|^2$$ นั่นหมายความว่า SVM ขอบยากเพียงลดขนาดเรกูเลเตอร์ปกติโดยไม่มีฟังก์ชั่นการสูญเสียหรือไม่? ฟังดูแปลกมาก

ถ้า$\frac{1}{2}\|w\|^2$เป็นฟังก์ชันการสูญเสียในกรณีนี้เราจะเรียกมันว่าฟังก์ชันการสูญเสียกำลังสองได้หรือไม่? ถ้าเป็นเช่นนั้นทำไมฟังก์ชั่นการสูญเสียของฮาร์ดมาร์จิ้น SVM กลายเป็นเครื่องมือปรับสภาพในซอฟท์แวร์ SVM แบบนิ่มและทำการเปลี่ยนแปลงจากการสูญเสียกำลังสองเป็นการสูญเสียบานพับ

การสูญเสียบานพับระยะ$\sum_i\max(0,1-y_i(\mathbf{w}^\intercal \mathbf{x}_i+b))$ในระยะขอบ SVM penalizes นุ่มmisclassifications ในอัตรากำไรขั้นต้นที่ยากมีตามคำนิยามไม่มีการจัดหมวดหมู่

นี้แน่นอนหมายความว่าอัตรากำไรยาก SVM พยายามที่จะลด$\|\mathbf{w}\|^2$ 2 เนื่องจากการกำหนดปัญหาของ SVM ขอบคือ$2/\|\mathbf{w}\|$. ดังนั้นการลดบรรทัดฐานของ$\mathbf{w}$นั้นเทียบเท่ากับการเพิ่มระยะขอบให้กับรูปทรงเรขาคณิต สิ่งที่เราต้องการ!

การทำให้เป็นมาตรฐานเป็นเทคนิคเพื่อหลีกเลี่ยงการ overfitting โดยการลงโทษสัมประสิทธิ์ขนาดใหญ่ในเวกเตอร์วิธีการแก้ปัญหา ในอัตรากำไร SVM ยากเป็นทั้งฟังก์ชั่นการสูญเสียและ regularizerL $\|\mathbf{w}\|^2$$L_2$

ใน SVM นุ่มขอบระยะการสูญเสียบานพับยังทำหน้าที่เหมือน regularizer แต่ในตัวแปรหย่อนแทนและในมากกว่าL_2ทำให้เป็นมาตรฐานทำให้เกิดช่องว่างซึ่งเป็นสาเหตุที่ SVM มาตรฐานกระจัดกระจายในแง่ของการสนับสนุนเวกเตอร์ (ตรงกันข้ามกับ SVM กำลังสองน้อยที่สุด)L 1 L 2 L $\mathbf{w}$$L_1$$L_2$$L_1$

เพื่อชี้แจง จะถูกย่อให้เล็กสุดภายใต้ข้อ จำกัด ที่จุดนั้นสามารถแยกได้เป็นเส้นตรง (เป็นหนึ่งสามารถวาดไฮเปอร์เพลนที่แยกทั้งสอง) กล่าวอีกนัยหนึ่งเฉพาะค่าที่อนุญาตของ w ที่เราสามารถพิจารณาเป็นวิธีแก้ไขคือค่าที่แยกสองชุดของคะแนน

$$\frac{1}{2}\|w\|^2$$

ตอนนี้ก็คิดว่าอัตรากำไรขั้นต้นที่แข็ง SVM "overfits" พร้อมมากกว่าขอบนุ่ม นี่เป็นเรื่องง่ายที่จะจินตนาการด้วย RBF SVM ที่มีค่าสูงซึ่งสามารถสร้าง (มากเกินไป) ที่ซับซ้อนและ (อาจ) ขอบเขตการตัดสินใจที่เหมาะสม ยิ่งระยะขอบ (การจำลองไม่ถูกต้องด้วย "C" ที่สูงขึ้น) ยิ่งการค้นหายากขึ้นเท่าไหร่ก็จะพยายามค้นหาขอบเขตการตัดสินใจที่จำแนกประเภทของคะแนนทั้งสองได้อย่างสมบูรณ์แบบยิ่งขึ้น$\gamma$

เมื่อเราย้ายไปที่ "ระยะขอบที่อ่อนนุ่ม" ข้อ จำกัด จะผ่อนคลายและแทนที่ด้วยความยับยั้งชั่งใจผ่านการแนะนำของ "หย่อน" ตัวแปรหย่อนนี้ถูกกำหนดด้วยคำว่า "การสูญเสียบานพับ" หลังจากที่ทำให้เข้าใจง่ายคน ๆ หนึ่งจะมาถึงบานพับ + l2 เหมือนกับคำศัพท์การสูญเสียที่ทุกคนเชื่อมโยงกับ SVM FWIW ฉันต้องการวางกรอบ SVM ให้เป็นปัญหาการเพิ่มประสิทธิภาพมากกว่าปัญหา "ติดตามการไล่ระดับสี" ที่อยู่ทั่วไปทุกหนทุกแห่ง