Support Vector Regression แตกต่างจาก SVM อย่างไร

ฉันรู้พื้นฐานเกี่ยวกับ SVM และ SVR แต่ถึงกระนั้นฉันก็ยังไม่เข้าใจว่าปัญหาของการหาไฮเปอร์เพลนที่เพิ่มระยะขอบให้พอดีกับ SVR ได้อย่างไร

ประการที่สองฉันอ่านบางอย่างเกี่ยวกับใช้เป็นระยะเผื่อเผื่อใน SVR มันหมายความว่าอะไร? $\epsilon$

ประการที่สามมีความแตกต่างระหว่างพารามิเตอร์ฟังก์ชันการตัดสินใจที่ใช้ใน SVM และ SVR หรือไม่?

regression machine-learning svm

— encodeflush
แหล่งที่มา

ฉันพยายามอธิบายด้วยวิธีการถ่ายภาพโดยใช้สถิติ

— Lejafar

SVM ทั้งสำหรับการจำแนกประเภทและการถดถอยนั้นเกี่ยวกับการปรับฟังก์ชั่นให้เหมาะสมผ่านฟังก์ชันต้นทุน แต่ความแตกต่างอยู่ในการสร้างแบบจำลองต้นทุน

พิจารณาภาพประกอบนี้ของเครื่องเวกเตอร์สนับสนุนที่ใช้สำหรับการจำแนกประเภท

เนื่องจากเป้าหมายของเราคือการแยกทั้งสองคลาสออกเป็นอย่างดีเราจึงพยายามกำหนดขอบเขตที่ทำให้เกิดระยะห่างระหว่างขอบที่กว้างที่สุดเท่าที่จะเป็นไปได้ระหว่างอินสแตนซ์ที่ใกล้เคียงที่สุด (สนับสนุนเวกเตอร์) โดยมีอินสแตนซ์ ก่อให้เกิดค่าใช้จ่ายสูง (ในกรณีของอัตรากำไรขั้นต้นอ่อน SVM)

ในกรณีของการถดถอยเป้าหมายคือการหาเส้นโค้งที่ช่วยลดความเบี่ยงเบนของคะแนนให้น้อยที่สุด ด้วย SVR เราก็ใช้มาร์จิ้น แต่มีเป้าหมายที่แตกต่างกันโดยสิ้นเชิง - เราไม่สนใจอินสแตนซ์ที่อยู่ภายในระยะขอบรอบโค้งเนื่องจากเส้นโค้งนั้นเหมาะกับมันค่อนข้างดี ระยะขอบนี้ถูกกำหนดโดยพารามิเตอร์ของ SVR อินสแตนซ์ที่ตกอยู่ในระยะขอบนั้นจะไม่เกิดค่าใช้จ่ายใด ๆ นั่นคือสาเหตุที่เราอ้างถึงการสูญเสียในรูปแบบ 'epsilon-insensitive' $\epsilon$

สำหรับฟังก์ชั่นการตัดสินใจทั้งสองด้านเรากำหนดตัวแปรสแลคแต่ละตัวเพื่ออธิบายการเบี่ยงเบนนอก -zone $\xi_+, \xi_-$ $\epsilon$

สิ่งนี้ทำให้เรามีปัญหาการปรับให้เหมาะสม (ดู E. Alpaydin, การเรียนรู้เครื่องเบื้องต้น, รุ่นที่ 2)

m i n \frac{1}{2} | | W | |^{2} + ค \underset{เสื้อ}{Σ} (ξ_{+} + ξ_{-})

$min \frac{1}{2} ||w||^2 + C\sum_{t} (\xi_+ + \xi_-)$

ภายใต้

R^{เสื้อ} - (W^{T} x + W_{0}) \leq ε + ξ_{+}^{เสื้อ} (W^{T} x + W_{0}) - R^{เสื้อ} \leq ε + ξ_{-}^{เสื้อ} ξ_{+}^{เสื้อ}, ξ_{-}^{เสื้อ} \geq 0

$r^t - (\textbf{w}^T \textbf{x} + w_0) \leq \epsilon + \xi_{+}^{t}\\ (\textbf{w}^T \textbf{x} + w_0)-r^t \leq \epsilon + \xi_{-}^{t}\\ \xi_{+}^{t},\xi_{-}^{t} \geq 0$

อินสแตนซ์นอกขอบของ SVM ถดถอยเสียค่าใช้จ่ายในการเพิ่มประสิทธิภาพเพื่อให้เป้าหมายที่จะลดค่าใช้จ่ายนี้เป็นส่วนหนึ่งของการกลั่นเพิ่มประสิทธิภาพการทำงานการตัดสินใจของเรา แต่ในความเป็นจริงไม่ได้เพิ่มอัตรากำไรขั้นต้นในขณะที่มันจะเป็นกรณีใน SVM การจัดหมวดหมู่

สิ่งนี้ควรตอบคำถามสองส่วนแรกของคุณ

เกี่ยวกับคำถามที่สามของคุณ: เนื่องจากคุณอาจได้รับแล้วตอนนี้เป็นพารามิเตอร์เพิ่มเติมในกรณีของ SVR พารามิเตอร์ของ SVM ปกติยังคงอยู่ดังนั้นระยะเวลาการปรับเช่นเดียวกับพารามิเตอร์อื่น ๆ ที่เคอร์เนลต้องการเช่นในกรณีของเคอร์เนล RBF $\epsilon$ $C$ $\gamma$

— deemel
แหล่งที่มา