การเขียนโปรแกรมกำลังสองและ Lasso

ฉันพยายามทำการ lasso ถดถอยซึ่งมีแบบฟอร์มต่อไปนี้:

ย่อขนาดใน $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

ได้รับฉันแนะนำให้หาดีที่สุดด้วยความช่วยเหลือของการเขียนโปรแกรมกำลังสองซึ่งใช้รูปแบบต่อไปนี้: $\lambda$ $w$

ย่อในโดยขึ้นอยู่กับ $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

ตอนนี้ฉันรู้แล้วว่าควรเปลี่ยนเป็นเทอมซึ่งค่อนข้างตรงไปตรงมา อย่างไรก็ตามฉันไม่เห็นว่าฉันจะถ่ายโอนเทอมแรกของสมการแรกไปสู่เทอมแรกของสมการที่สองได้อย่างไร ฉันหาอะไรเกี่ยวกับมันไม่ได้ในเน็ตฉันเลยตัดสินใจถามที่นี่ $\lambda$ $Ax \le b$

regression lasso quadratic-form

— spurra
แหล่งที่มา

คำตอบ:

โปรดทราบว่าเรากำลังทำงานกับเป็นตัวแปร ' ' ในรูปแบบมาตรฐานขยายและรวบรวมคำศัพท์ในและในและและค่าคงที่ $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

อธิบายว่าทำไมคุณสามารถเพิกเฉยต่อค่าคงที่ได้

อธิบายว่าทำไมคุณสามารถรวมคำศัพท์และ $w'$ $w$

เนื่องจาก BananaCode ได้คิดออกมาพร้อมกับผู้นำบางคนตามเส้นทางคุณสามารถเขียนและหรือมากกว่านั้นง่ายๆคุณสามารถเขียนและ (ตั้งแต่และมี argmin เดียวกันสำหรับการใด ๆ ) $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b -Reinstate Monica
แหล่งที่มา

ค่าคงที่สามารถถูกละเว้นได้เพราะถ้า x_ น้อยที่สุดถึง f (x) ดังนั้น x_ + c คือค่าต่ำสุดของ f (x) + c ดังนั้นเราสามารถละเว้นค่าคงที่ c ฉันจะแก้ไขคำถามของฉันเพื่อแสดงว่าฉันติดอยู่ที่ไหน

— spurra

BananaCode คำอธิบายของคุณมีข้อบกพร่องหลายประการ หากโดย "คือค่าต่ำสุดที่ " คุณหมายถึง "คืออาร์กิวเมนต์ที่ย่อขนาดเล็กสุด" คุณพูดบางสิ่งเช่น "คือของ " แต่ข้อสรุปของคุณมีข้อผิดพลาด หากคุณเพิ่มเป็นคุณจะไม่ต้องเพิ่มลงใน argmin

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -Reinstate Monica

ดูว่าฉันเขียนในคำตอบของฉันหรือไม่ อะไรคือสิ่งที่ตอนนี้คุณมีระหว่างและที่ด้านล่างของคำถามของคุณ ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -Reinstate Monica

ใช่ฉันหมายถึงเป็นของฉคุณสามารถยกตัวอย่างที่ข้อสรุปของฉันผิดหรือเปล่า? เป็นเมทริกซ์ฉันพยายามที่จะรูปแบบ ถ้าผมขยายฉันได้รับw'X'Y ส่วนแรกจะเป็นตัวแทนของรูปแบบของเมทริกซ์ แต่ฉันไม่สามารถได้รับการกำจัดของระยะที่สอง-w'X'Y

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— spurra

@ AD.Net ข้อ จำกัด ส่วนใหญ่จะกล่าวถึงในคำตอบอื่น ๆ

— Glen_b -Reinstate Monica

ฉันต้องการเพิ่มวิธีแก้ปัญหาการแปลงข้อ จำกัดเป็นรูปแบบที่ใช้งานได้สำหรับการเขียนโปรแกรมกำลังสองเนื่องจากมันไม่ตรงไปตรงมาตามที่ฉันคิด มันเป็นไปไม่ได้ที่จะหาเมทริกซ์ตัวจริงซึ่ง . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

$w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$

$\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

$Q$ $c$

สิ่งนี้จะต้องถูกแปลงเป็นรูปแบบที่ใช้งานได้เช่นเราต้องการเวกเตอร์หนึ่งอัน วิธีนี้ทำได้ในวิธีต่อไปนี้:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

ภายใต้

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

$I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

แหล่งที่มาและการอ่านเพิ่มเติม: การแก้ปัญหาการเขียนโปรแกรมสมการกำลังสองด้วยข้อ จำกัด เชิงเส้นที่มีค่าสัมบูรณ์

— spurra
แหล่งที่มา

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

เมทริกซ์และเวกเตอร์ในนิพจน์สุดท้ายนั้นเรียบง่ายขึ้นและถูกต้องมากขึ้น แทนที่จะเป็น [Id Id] [w + w−] '≤ Sd คุณสามารถใส่ [1 1 .... 1] 1] [w + w-]' ≤ s นี่คืออักษรที่เทียบเท่ากับ ∑ | wi | = ∑ (wi + + wi−) ≤ s

— Marko