เวกเตอร์สนับสนุนการถดถอยทำงานอย่างไรโดยสังหรณ์ใจ?

ตัวอย่างทั้งหมดของ SVM เกี่ยวข้องกับการจำแนกประเภท ฉันไม่เข้าใจว่า SVM สำหรับการถดถอย (สนับสนุน vector regressor) สามารถใช้ในการถดถอยได้อย่างไร

จากความเข้าใจของฉัน SVM เพิ่มระยะห่างระหว่างสองคลาสให้มากที่สุดเพื่อหาไฮเปอร์เพลนที่เหมาะสม สิ่งนี้จะทำงานในปัญหาการถดถอยได้อย่างไร

กล่าวโดยย่อ:การเพิ่มระยะขอบให้กว้างที่สุดโดยทั่วไปสามารถมองได้ว่าเป็นวิธีการแก้ปัญหาที่ทำให้เป็นปกติโดยการลด (ซึ่งก็คือการลดความซับซ้อนของโมเดล) ซึ่งจะทำทั้งในการจำแนกและการถดถอย แต่ในกรณีของการลดการจัดหมวดหมู่นี้จะทำภายใต้เงื่อนไขที่ว่าตัวอย่างทั้งหมดจะถูกจัดอย่างถูกต้องและในกรณีของการถดถอยภายใต้เงื่อนไขที่ว่าค่าYของตัวอย่างทั้งหมดเบี่ยงเบนน้อยกว่าความถูกต้องต้องεจากF ( x )สำหรับการถดถอย$w$$y$$\epsilon$$f(x)$

เพื่อที่จะเข้าใจว่าคุณไปจากการจำแนกประเภทเพื่อการถดถอยมันช่วยให้เห็นว่าทั้งสองกรณีหนึ่งใช้ทฤษฎี SVM เดียวกันเพื่อกำหนดปัญหาเป็นปัญหาการเพิ่มประสิทธิภาพนูน ฉันจะลองใส่ทั้งสองข้าง

(ฉันจะไม่สนใจตัวแปรหย่อนที่อนุญาตสำหรับการแบ่งประเภทและการเบี่ยงเบนที่อยู่เหนือความแม่นยำ )$\epsilon$

การจัดหมวดหมู่

ในกรณีนี้เป้าหมายคือการหาฟังก์ชั่นโดยที่f ( x ) ≥ 1สำหรับตัวอย่างที่เป็นบวกและสำหรับตัวอย่างเชิงลบ ภายใต้เงื่อนไขเหล่านี้เราต้องการที่จะเพิ่มอัตรากำไรขั้นต้น (ระยะห่างระหว่าง 2 แท่งสีแดง) ซึ่งเป็นอะไรมากไปกว่าการลดอนุพันธ์ของ W$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

สัญชาตญาณที่อยู่เบื้องหลังการเพิ่มระยะขอบให้มากที่สุดคือสิ่งนี้จะทำให้เรามีทางออกที่เป็นเอกลักษณ์สำหรับปัญหาในการค้นหา (เช่นเราละทิ้งตัวอย่างเช่นเส้นสีฟ้า) และวิธีนี้เป็นวิธีทั่วไปมากที่สุดภายใต้เงื่อนไขเหล่านี้ เป็นการทำให้เป็นมาตรฐาน สิ่งนี้สามารถเห็นได้ว่ารอบขอบเขตการตัดสินใจ (ที่เส้นสีแดงและสีดำตัดกัน) ความไม่แน่นอนของการจำแนกประเภทนั้นใหญ่ที่สุดและเลือกค่าต่ำสุดสำหรับf ( x )ในภูมิภาคนี้จะให้ผลการแก้ปัญหาทั่วไปมากที่สุด$f(x)$$f(x)$

$f(x) \geq 1$$f(x) \leq -1$

การถอยหลัง

$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$$f'(x)=w$$w$$w=0$

$|y -f(x)|\leq \epsilon$

ข้อสรุป

ทั้งสองกรณีส่งผลให้เกิดปัญหาดังต่อไปนี้:

ภายใต้เงื่อนไขที่:

• ตัวอย่างทั้งหมดได้รับการจำแนกอย่างถูกต้อง (การจำแนก)
• $y$$\epsilon$$f(x)$

ใน SVM สำหรับปัญหาการจำแนกประเภทเราพยายามแยกชั้นเรียนออกจากเส้นแยก (Hyperplane) และแตกต่างจากการถดถอยโลจิสติกเราสร้างขอบเขตความปลอดภัยจากทั้งสองด้านของไฮเปอร์เพลน (แตกต่างกันระหว่างการถดถอยโลจิสติกและการจำแนก SVM ฟังก์ชั่นการสูญเสีย) ในที่สุดการแยกจุดข้อมูลที่แตกต่างกันให้ไกลที่สุดจากไฮเปอร์เพลน

ใน SVM สำหรับปัญหาการถดถอยเราต้องการให้พอดีกับแบบจำลองเพื่อทำนายปริมาณสำหรับอนาคต ดังนั้นเราต้องการให้จุดข้อมูล (การสังเกต) อยู่ใกล้กับไฮเปอร์เพลนมากที่สุดซึ่งไม่เหมือน SVM สำหรับการจำแนกประเภท การถดถอย SVM สืบทอดมาจาก Simple Regression เช่น (Ordinary Least Square) โดยความแตกต่างนี้ซึ่งเรากำหนดช่วง epsilon จากทั้งสองด้านของไฮเปอร์เพลนเพื่อให้ฟังก์ชันการถดถอยไม่มีความผิดพลาดเหมือนกับ SVM สำหรับการจำแนกประเภทที่เรากำหนดขอบเขตให้ปลอดภัย การตัดสินใจในอนาคต (ทำนาย) ในที่สุด