KKT เทียบกับสูตรที่ไม่มีข้อ จำกัด ของการถดถอยแบบ lasso

L1 ลงโทษการถดถอย (aka Lasso) จะถูกนำเสนอในสองสูตร ให้ทั้งสองฟังก์ชั่นวัตถุประสงค์เป็น ดังนั้นสูตรที่แตกต่างกันสองอย่างคือ อยู่ภายใต้ และ, การใช้เงื่อนไข Karush-Kuhn-Tucker (KKT) มันง่ายที่จะเห็นว่าเงื่อนไขคงที่สำหรับสูตรแรกนั้นเทียบเท่ากับการไล่ระดับสีของสูตรที่สองและตั้งค่าเท่ากับ 0 สิ่งที่ฉันไม่สามารถหาได้ เป็นวิธีที่เงื่อนไขความหย่อนสมบูรณ์ของสูตรแรก

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ รับประกันว่าจะได้รับการตอบสนองด้วยวิธีการแก้ปัญหาในสูตรที่สอง

regression lasso penalized

— goodepic
แหล่งที่มา

คำตอบ:

สูตรทั้งสองนั้นเทียบเท่ากันในแง่ที่ว่าทุกค่าของในสูตรแรกมีค่าของสำหรับสูตรที่สองซึ่งสูตรทั้งสองนั้นมี minimizerเดียวกัน $t$ $\lambda$ $\beta$

นี่คือเหตุผล:

พิจารณาสูตร lasso: ปล่อยให้ minimizer เป็นและ ให้ขการเรียกร้องของฉันคือว่าถ้าคุณตั้งค่าในการกำหนดแรกแล้วการแก้ปัญหาของสูตรแรกยังจะ * นี่คือข้อพิสูจน์:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

พิจารณาสูตรแรก ถ้าเป็นไปได้ให้สูตรที่สองนี้มีทางออกเช่นนั้น (สังเกตเครื่องหมายน้อยกว่าอย่างเคร่งครัด) จากนั้นจึงง่ายที่จะเห็นว่าขัดแย้งกับข้อเท็จจริงที่ว่าเป็นวิธีแก้ปัญหาสำหรับบ่วง ดังนั้นวิธีการแก้สูตรแรกคือยัง *

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

ตั้งแต่สภาพความสะเพร่าที่สมบูรณ์มีความพึงพอใจในการแก้ปัญหาจุด * $t=b$ $\beta^*$

ดังนั้นเมื่อกำหนดสูตร lasso ด้วยคุณต้องสร้างสูตรแบบ จำกัด โดยใช้เท่ากับค่าของบรรทัดฐานของสารละลาย Lasso ในทางกลับกันเมื่อกำหนดสูตรด้วยคุณจะพบซึ่งวิธีแก้ปัญหาของ lasso จะเท่ากับโซลูชันของ formulation ที่ จำกัด $\lambda$ $t$ $l_1$ $t$ $\lambda$

(ถ้าคุณรู้เกี่ยวกับ subgradients คุณสามารถหานี้ได้โดยการแก้สมการ , โดยที่ $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
แหล่งที่มา

ยอดเยี่ยม เมื่อคุณเห็นวิธีแก้ปัญหาคุณจะรู้สึกโง่ที่ไม่ไปอยู่ที่นั่นด้วยตนเอง ฉันถือว่าคุณหมายถึงในการค้นหาความขัดแย้งสมมติว่าเราพบเช่นนั้น ?

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

ลองตอบ flaggin ให้ถูกต้อง

— bdeonovic

คุณช่วยอธิบายได้ไหมว่าทำไม

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

นี่พิสูจน์ได้ว่าวิธีแก้ปัญหาสำหรับสูตรแรกต้องมีค่า l1-norm ของ b ด้วย มันพิสูจน์ได้อย่างไรว่าคำตอบทั้งสองนั้นเหมือนกันจริง ๆ ?

— broncoAbierto

นอกจากนี้ Lasso ไม่เคยมีวิธีการแก้ปัญหาที่ไม่ซ้ำกันดังนั้นเราจึงไม่สามารถอ้างถึงผืน arxiv.org/pdf/1206.0313.pdf อย่างไรก็ตามเราสามารถอ้างถึงชุดย่อเล็กสุดและแสดงให้เห็นว่าต้องเป็นของชุดนั้น

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

ฉันคิดว่าความคิดของ elexhobby สำหรับหลักฐานนี้เป็นสิ่งที่ดี แต่ฉันไม่คิดว่ามันถูกต้องทั้งหมด

ในการแสดงให้เห็นว่าการมีอยู่ของโซลูชันสำหรับสูตรแรกเช่นนั้นนำไปสู่ความขัดแย้งเราสามารถสรุปได้เฉพาะความจำเป็นของไม่ว่า * $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

ฉันขอแนะนำให้เราดำเนินการดังนี้:

เพื่อความสะดวกขอแสดงเป็นโดยและสูตรแรกและสูตรที่สองตามลำดับ สมมติว่ามีวิธีการแก้ปัญหาที่ไม่ซ้ำกันกับ b ให้มีวิธีการแก้ปัญหา * จากนั้นเรามี(มันไม่สามารถจะมากขึ้นเพราะข้อ จำกัด ) และดังนั้นจึง*) หากดังนั้นไม่ใช่ทางออกสำหรับซึ่งขัดแย้งกับสมมติฐานของเรา ถ้า $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ ดังนั้นเนื่องจากเราคิดว่าวิธีแก้ปัญหาจะไม่ซ้ำกัน $\hat{\beta} = \beta^*$

อย่างไรก็ตามอาจเป็นกรณีที่ Lasso มีวิธีแก้ปัญหาหลายอย่าง โดย lemma 1 จากarxiv.org/pdf/1206.0313.pdfเรารู้ว่าโซลูชันเหล่านี้ทั้งหมดมี -norm ที่เหมือนกัน (และมีค่าขั้นต่ำเท่ากันแน่นอน) เรากำหนดบรรทัดฐานนั้นเป็นข้อ จำกัด สำหรับและดำเนินการต่อ $\ell 1$ $P_1$

แสดงว่า Let 's โดยชุดของโซลูชั่นเพื่อกับS ให้มีวิธีการแก้ปัญหาS จากนั้นเรามีและดังนั้นจึงS ถ้าสำหรับ (และดังนั้นสำหรับพวกเขาทั้งหมด) แล้วซึ่งขัดแย้งกับสมมติฐานของเรา ถ้าสำหรับบางแล้วไม่ได้เป็นชุดของการแก้ $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ P_2ดังนั้นวิธีการแก้ปัญหาทุกอยู่ในคือวิธีการแก้ปัญหาใด ๆ ในการนอกจากนี้ยังมีวิธีการแก้P_2มันจะยังคงอยู่เพื่อพิสูจน์ว่าการเกื้อหนุนก็เช่นกัน $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
แหล่งที่มา