การทำความเข้าใจการถดถอย SVM: ฟังก์ชั่นวัตถุประสงค์และ "ความเรียบ"

SVM สำหรับการจัดหมวดหมู่ทำให้เข้าใจได้ง่ายสำหรับฉัน: ฉันเข้าใจว่าการย่อขนาดให้ผลกำไรสูงสุด อย่างไรก็ตามฉันไม่เข้าใจวัตถุประสงค์นั้นในบริบทของการถดถอย ข้อความต่าง ๆ ( ที่นี่และที่นี่ ) อธิบายว่านี่เป็นการเพิ่ม "ความเรียบ" ให้สูงสุด ทำไมเราต้องการทำเช่นนั้น? อะไรคือความถดถอยที่เทียบเท่ากับแนวคิดของ "margin"? $||\theta||^2$

ต่อไปนี้เป็นคำตอบพยายามสองสามข้อ แต่ไม่มีผู้ใดที่ช่วยฉันเข้าใจ

regression svm

— ยาง
แหล่งที่มา

ฉันไม่ได้ขึ้นอยู่กับทฤษฎี SVM จริงๆ แต่ 'ความเรียบ' ในการอภิปรายเครื่องจักรเคอร์เนลที่คุณเชื่อมโยงกับดูเหมือนจะเป็น: 'มีอนุพันธ์อันดับสองขนาดเล็ก' (คิดว่าเป็นแรงจูงใจทั่วไปสำหรับแบบจำลองการทำให้เป็นเส้นโค้งเรียบ)

— conjugateprior

คำตอบ:

วิธีหนึ่งที่ฉันคิดเกี่ยวกับความเรียบคือมันทำให้การคาดการณ์ของฉันไม่ไวต่อการรบกวนในคุณสมบัติ นั่นคือถ้าฉันกำลังสร้างรูปแบบของแบบฟอร์ม ที่เวกเตอร์คุณลักษณะของฉันได้รับปกติอยู่แล้วค่าที่มีขนาดเล็กในหมายถึงรูปแบบของฉันคือไม่ไวต่อความผิดพลาดในการวัด / กระแทกสุ่ม / ไม่ใช่ -stationarity x ด้วยสองโมเดล ( เช่นค่าสองค่าที่เป็นไปได้ของ ) ซึ่งอธิบายข้อมูลได้ดีเท่า ๆ กันฉันชอบรุ่น 'ประจบ'

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

นอกจากนี้คุณยังสามารถนึกถึงการถดถอยแบบริดจ์ในลักษณะเดียวกันโดยไม่มีเคอร์เนลหลอกหรือสูตรการถดถอยของหลอด SVM

แก้ไข : เพื่อตอบสนองต่อความคิดเห็นของ @ Yang มีคำอธิบายเพิ่มเติม:

พิจารณากรณีการเชิงเส้น: εสมมติว่าจะวาด IID จากการกระจายบางอิสระของθโดยข้อมูลผลิตภัณฑ์ดอทเรามีโดยที่คือมุมระหว่างและซึ่งอาจกระจายอยู่ภายใต้การกระจายสม่ำเสมอของทรงกลม ตอนนี้ทราบ: 'การแพร่กระจาย' ( เช่นค่าเบี่ยงเบนมาตรฐานตัวอย่าง) ของการทำนายของเรา $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ เป็นสัดส่วนกับ. เพื่อให้ได้ MSE ที่ดีเมื่อใช้การสังเกตแบบไม่มีแฝงในเวอร์ชันที่ซ่อนเร้นเราต้องการลดขนาดให้. CFเจมส์สไตน์ประมาณการ $y$ $||\theta||$ $||\theta||$
พิจารณากรณีเชิงเส้นที่มีคุณสมบัติมากมาย พิจารณารูปแบบและ εถ้ามีศูนย์องค์ประกอบอื่น ๆ ในกว่าแต่เกี่ยวกับการชี้แจงประเด็นเดียวกันเราจะชอบมันฐานในสาธารณรัฐโคลัมเบียเนื่องจากมีการอ้างอิงกับตัวแปรน้อยลง ( เช่นเรามี 'การเลือกคุณลักษณะทำ' โดยการตั้งค่าองค์ประกอบบางอย่าง จากถึงศูนย์) ความเรียบเป็นชนิดของอาร์กิวเมนต์นี้รุ่นต่อเนื่อง หากระยะขอบแต่ละส่วนของ $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ มีค่าเบี่ยงเบนมาตรฐานของหน่วยและมีเช่น 2 องค์ประกอบคือ 10 และส่วนที่เหลือมีขนาดเล็กกว่า 0.0001 ขึ้นอยู่กับความอดทนของเสียงรบกวนของคุณนี่คือ 'การเลือก' คุณสมบัติทั้งสองอย่างมีประสิทธิภาพ . $\theta_1$ $n-2$
$\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ $\theta$ $l$ $l$

— shabbychef
แหล่งที่มา

ดังนั้นนี่คือการถดถอยด้วยฟังก์ชันการสูญเสีย 'tube' (0 ค่าปรับสำหรับคะแนน +/- epsilon ของการทำนาย) แทนที่จะเป็นฟังก์ชันการสูญเสียกำลังสองจาก OLS?

— conjugateprior

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

@shabbychef ขอบคุณ ฉันมักจะสงสัยว่าเกิดอะไรขึ้นที่นั่น

— ผัน

@ Conjugate ก่อนหน้า: ฉันไม่คิดว่านี่เป็นฟังก์ชั่นการสูญเสียที่ต้องการ แต่คณิตศาสตร์ก็จบลงด้วยดีดังนั้นพวกเขาจึงวิ่งไปด้วย อย่างน้อยนั่นก็เป็นความสงสัยของฉัน

— shabbychef

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

shabbychefให้คำอธิบายที่ชัดเจนมากจากมุมมองของความซับซ้อนของแบบจำลอง ฉันจะพยายามเข้าใจปัญหานี้จากมุมมองอื่นในกรณีที่อาจช่วยใครก็ได้

$e$

$(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

$e$ $\omega$

ทุกคนสามารถขยายเคสหนึ่งมิติไปยังเคส N- มิติได้อย่างง่ายดายเนื่องจากสมการระยะทางจะเป็นระยะทางแบบยุคลิดเสมอ

นอกจากนี้เราอาจพบปัญหาการเพิ่มประสิทธิภาพใน SVR สำหรับการเปรียบเทียบ [1]

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

ขอบคุณ

[1] Smola, A. และ B. Schölkopf บทช่วยสอนเกี่ยวกับการถดถอยเวกเตอร์สนับสนุน สถิติและคอมพิวเตอร์, ฉบับที่ 14, ฉบับที่ 3, ส.ค. 2004, หน้า 199–222

— oloopy
แหล่งที่มา

$\theta$

— lynnjohn
แหล่งที่มา