ที่เล็กที่สุดคืออะไร

กำหนดประมาณการ lassoที่แถวของเมทริกซ์การออกแบบเป็นเวกเตอร์ ของ covariates สำหรับการอธิบายการตอบสนองแบบสุ่ม (สำหรับ )

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

เรารู้ว่าสำหรับ $\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ ประมาณการเชือก $\hat\beta^\lambda = 0$ 0 (ดูตัวอย่างเช่นเชือกและริดจ์ปรับพารามิเตอร์ขอบเขต .) ในสัญกรณ์อื่น ๆ นี้จะแสดงว่า $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ Y ขอให้สังเกตว่า $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$ เราสามารถมองเห็นสิ่งนี้ด้วยภาพต่อไปนี้ซึ่งแสดงเส้นทางการแก้ไขแบบ lasso:

ขอให้สังเกตว่าในไกลด้านขวามือของพล็อตทั้งหมดของสัมประสิทธิ์เป็นศูนย์ สิ่งนี้เกิดขึ้นที่จุด $\lambda_\mathrm{max}$ อธิบายไว้ข้างต้น

จากพล็อตนี้เรายังสังเกตเห็นว่าบนไกลด้านซ้ายทั้งหมดของค่าสัมประสิทธิ์ที่มีภัณฑ์: สิ่งที่เป็นคุณค่าของที่ส่วนประกอบใด ๆเป็นครั้งแรกเป็นศูนย์? นั่นคือเท่ากับฟังก์ชันของและ ? ฉันสนใจโซลูชันแบบปิด โดยเฉพาะอย่างยิ่งฉันไม่สนใจวิธีการแก้ปัญหาอัลกอริทึมเช่นเช่นแนะนำว่า LARS สามารถค้นหาปมผ่านการคำนวณ $\lambda$ $\hat\beta^\lambda$

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

แม้จะมีความสนใจของฉันดูเหมือนว่าอาจไม่สามารถใช้ได้ในรูปแบบปิดเนื่องจากมิฉะนั้นแพ็คเกจการคำนวณแบบบ่วงบาศน่าจะใช้ประโยชน์จากมันเมื่อพิจารณาความลึกของพารามิเตอร์การปรับในระหว่างการตรวจสอบความถูกต้องไขว้ ด้วยเหตุนี้ฉันจึงสนใจในสิ่งใดก็ตามที่สามารถแสดงได้ในเชิงทฤษฎีเกี่ยวกับและ (ยัง) สนใจเป็นพิเศษในรูปแบบปิด $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— user795305
แหล่งที่มา

นี่คือที่ระบุและพิสูจน์ในกระดาษglmnet

— Matthew Drury

@MatthewDrury ขอบคุณที่แชร์สิ่งนี้! อย่างไรก็ตามบทความนี้ดูเหมือนจะไม่แบ่งปันสิ่งที่คุณดูเหมือนจะแนะนำให้ทำ โดยเฉพาะอย่างยิ่งที่แจ้งให้ทราบล่วงหน้าของฉันเป็นของพวกเขา\

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— user795305

คุณแน่ใจหรือว่าเราต้องการแท็ก [tuning-parameter]

— อะมีบาพูดว่า Reinstate Monica

คุณถูกต้องไม่มีรูปแบบปิดสำหรับโซลูชัน lasso โดยทั่วไปแล้วไม่มีอยู่ (ดูstats.stackexchange.com/questions/174003/… ) อย่างไรก็ตามอย่างน้อย lars จะบอกคุณว่าเกิดอะไรขึ้นและภายใต้เงื่อนไขที่แน่นอน / ในเวลาที่คุณสามารถเพิ่ม / ลบตัวแปรได้ ฉันคิดว่านี่เป็นสิ่งที่ดีที่สุดที่คุณจะได้รับ

— chRrr

@chRrr ผมไม่แน่ใจว่าเป็นธรรมอย่างสมบูรณ์จะพูดว่า: เรารู้ว่าสำหรับ\ นั่นคือในกรณีที่รุนแรงของการแก้ปัญหาเป็น 0 เรามีรูปแบบปิด ฉันถามว่าคล้ายกันเป็นจริงในกรณีสุดขีดของการประมาณเชือกแบบคร่าวๆว่าหนาแน่นหรือไม่ อันที่จริงฉันไม่สนใจแม้แต่รายการแน่ชัดว่าเป็นศูนย์หรือไม่

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— user795305

การประมาณการแบบบ่วงบาศที่อธิบายไว้ในคำถามคือตัวคูณแบบลากรองจ์ของปัญหาการปรับให้เหมาะสมต่อไปนี้:

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

optimizazion นี้มีการนำเสนอทางเรขาคณิตในการค้นหาจุดสัมผัสระหว่างทรงกลมหลายมิติและโพลิปท็อป (ทอดด้วยเวกเตอร์ของ X) พื้นผิวของ polytope หมายเบต้า) สแควร์ของรัศมีของทรงกลมแสดงถึงฟังก์ชั่นและถูกย่อให้เล็กสุดเมื่อสัมผัสกับพื้นผิว $g(\beta)$ $f(\beta)$

ภาพด้านล่างมีคำอธิบายกราฟิก รูปภาพใช้ปัญหาง่าย ๆ ดังต่อไปนี้กับเวกเตอร์ความยาว 3 (เพื่อความเรียบง่ายเพื่อให้สามารถวาดภาพได้):

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$

และเราลดกับข้อ จำกัด

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

ภาพแสดง:

พื้นผิวสีแดงแสดงให้เห็นถึงข้อ จำกัด ซึ่งเป็นโพลีท็อปซึ่งขยายโดย X
และพื้นผิวสีเขียวแสดงให้เห็นถึงพื้นผิวที่เรียบง่ายเป็นทรงกลม
สีฟ้าแสดงเส้นเส้นทางเชือก, การแก้ปัญหาที่เราพบขณะที่เราเปลี่ยนหรือ\ $t$ $\lambda$
สีเขียวเวกเตอร์แสดงให้เห็นว่าการแก้ปัญหา OLS (ซึ่งได้รับเลือกเป็นหรือx_3 $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
สามเวกเตอร์สีดำเป็น ,และ-0.48) $x_1 = (0.8,0.6,0)$ $x_2 = (0,0.6,0.8)$ $x_3 = (0.6,0.64,-0.48)$

เราแสดงภาพสามภาพ:

ในภาพแรกเพียงจุด polytope ที่สัมผัสทรงกลม ภาพนี้แสดงให้เห็นได้อย่างดีว่าเหตุใดโซลูชัน lasso จึงไม่ใช่เพียงแค่โซลูชัน OLS หลายตัว ทิศทางของการแก้ปัญหา OLS เพิ่มมากขึ้นเพื่อรวม\ ในกรณีนี้มีเพียงเดียวไม่ใช่ศูนย์ $\vert \beta \vert_1$ $\beta_i$
ในภาพที่สองสันเขาของ polytope สัมผัสกับทรงกลม (ในมิติที่สูงกว่าเราจะได้มิติแอนะล็อกที่สูงขึ้น) ในกรณีนี้มีหลายไม่ใช่ศูนย์ $\beta_i$
ในภาพที่สามแง่ TOF polytope จะสัมผัสทรงกลม ในกรณีนี้ทั้งหมด $\beta_i$ เป็นภัณฑ์

ช่วงของหรือที่เรามีกรณีแรกและที่สามสามารถคำนวณได้ง่าย ๆ เนื่องจากการแทนค่าทางเรขาคณิตอย่างง่าย $t$ $\lambda$

กรณีที่ 1: มีเพียงเดียวที่ไม่ใช่ศูนย์ $\beta_i$

ไม่ใช่ศูนย์เป็นเวกเตอร์ที่เกี่ยวข้องมีค่าสัมบูรณ์สูงสุดของความแปรปรวนร่วมกับ (นี่คือจุดของ parrallelotope ซึ่งใกล้เคียงกับโซลูชัน OLS มากที่สุด) เราสามารถคำนวณตัวคูณลากรองจ์ด้านล่างซึ่งเรามีอย่างน้อยไม่ใช่ศูนย์โดยการหาอนุพันธ์ด้วย (เครื่องหมายขึ้นอยู่กับว่าเราเพิ่มในทิศทางลบหรือบวก): $\beta_i$ $x_i$ $\hat{y}$ $\lambda_{max}$ $\beta$ $\pm\beta_i$ $\beta_i$

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

ซึ่งนำไปสู่

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

ซึ่งเท่ากับกล่าวถึงในความคิดเห็น $\vert \vert X^Ty \vert \vert_\infty$

ที่เราควรสังเกตว่านี่เป็นความจริงสำหรับกรณีพิเศษที่ปลายของโพลีท็อปสัมผัสกับทรงกลม ( ดังนั้นนี่ไม่ใช่วิธีการแก้ปัญหาทั่วไปแม้ว่าการวางนัยทั่วไปจะตรงไปตรงมา)

กรณีที่ 3:ทั้งหมดไม่ใช่ศูนย์ $\beta_i$

ในกรณีนี้โพลีท็อปด้านสัมผัสกับทรงกลม จากนั้นทิศทางของการเปลี่ยนแปลงของเส้นทางบ่วงเป็นเรื่องปกติไปยังพื้นผิวของด้านใดด้านหนึ่ง

polytope มีหลายแง่มุมที่มีผลงานในเชิงบวกและเชิงลบของx_iในกรณีของขั้นตอนสุดท้ายของ lasso เมื่อโซลูชัน lasso ใกล้กับ ols solution ดังนั้นการมีส่วนร่วมของต้องถูกกำหนดโดยเครื่องหมายของโซลูชัน OLS ปกติของด้านสามารถกำหนดได้โดยใช้การไล่ระดับสีของฟังก์ชั่น , ค่าของผลรวมของเบต้าที่จุดซึ่งคือ: $x_i$ $x_i$ $\vert \vert \beta(r) \vert \vert_1$ $r$

n = - \nabla_{r} (| | β (r) | |_{1}) = - \nabla_{r} (sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T} r) = - sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

และการเปลี่ยนแปลงที่เท่าเทียมกันของเบต้าสำหรับทิศทางนี้คือ:

{\vec{β}}_{l a s t} = (X^{T} X)^{- 1} X n = - (X^{T} X)^{- 1} X^{T} [sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

ซึ่งหลังจากเทคนิคเกี่ยวกับพีชคณิตบางอย่างที่มีการเปลี่ยน transposes ( ) และการกระจายของวงเล็บจะกลายเป็น $A^TB^T = [BA]^T$

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

เราทำให้ทิศทางนี้เป็นปกติ:

{\vec{β}}_{l a s t, n o r m a l i z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s i g n (\hat{β})}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

หากต้องการค้นหาด้านล่างซึ่งสัมประสิทธิ์ทั้งหมดไม่ใช่ศูนย์ เราต้องคำนวณย้อนกลับจากโซลูชัน OLS กลับไปยังจุดที่สัมประสิทธิ์อย่างใดอย่างหนึ่งเป็นศูนย์ $\lambda_{min}$

d = m i n (\frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}}) with the condition that \frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

และ ณ จุดนี้เราจะประเมินอนุพันธ์ (เหมือนเมื่อก่อนที่เราคำนวณ ) เราใช้สิ่งนั้นสำหรับฟังก์ชันกำลังสองเรามี : $\lambda_{max}$ $q'(x) = 2 q(1) x$

λ_{m i n} = \frac{d}{n} | | X {\vec{β}}_{l a s t, n o r m a l i z e d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

ภาพ

จุดหนึ่งของโพกำลังสัมผัสกับทรงกลมหนึ่งเดียวไม่ใช่ศูนย์: $\beta_i$

สันเขา (หรือแตกต่างกันในหลายมิติ) ของ polytope สัมผัสกับทรงกลมจำนวนมากไม่ใช่ศูนย์: $\beta_i$

ด้านหนึ่งของ polytope สัมผัสกับทรงกลมทั้งหมดนั้นไม่ใช่ศูนย์: $\beta_i$

ตัวอย่างรหัส:

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

หมายเหตุ: สามบรรทัดสุดท้ายนั้นสำคัญที่สุด

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

เขียนโดยStackExchangeStrike

— Sextus Empiricus
แหล่งที่มา

ขอบคุณที่รวมการแก้ไข! จนถึงตอนนี้ที่ฉันอ่านฉันติดอยู่กับส่วน "กรณีที่ 1" ผลลัพธ์สำหรับได้มานั้นผิดเนื่องจากไม่มีค่าสัมบูรณ์หรือค่าสูงสุด เรารู้เพิ่มเติมว่ามีข้อผิดพลาดตั้งแต่ต้นกำเนิดมีข้อผิดพลาดในการลงชื่อสถานที่ที่ถือว่าความแตกต่างนั้นเป็นทางผิด "ทางเลือกโดยพลการ" ของเพื่อแยกแยะด้วยความเคารพและอนุพันธ์ที่ประเมินไม่ถูกต้อง หากต้องการพูดอย่างตรงไปตรงมาไม่มีเครื่องหมาย " " ที่ถูกต้อง

λ_{max}

$\lambda_\max$

i

$i$

=

$=$

— user795305

ฉันแก้ไขด้วยเครื่องหมายบวกลบ การเปลี่ยนแปลงของเบต้าอาจเป็นไปได้หรือเชิงลบ เกี่ยวกับค่าสูงสุดและ "ตัวเลือกโดยพลการ" ... "ซึ่งเวกเตอร์ที่เกี่ยวข้องมีความแปรปรวนร่วมสูงสุดกับ " $x_i$ $\hat{y}$

— Sextus Empiricus

ขอบคุณสำหรับการอัพเดท! อย่างไรก็ตามยังมีปัญหาอยู่ ตัวอย่างเช่นถูกประเมินอย่างไม่ถูกต้อง

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$

— user795305

ถ้าดังนั้นความสัมพันธ์นี้เข้าสู่สมการเพราะ ถ้า s = 0 ดังนั้นการเปลี่ยนแทนเจนต์เป็นคือการเปลี่ยนความยาวของเวกเตอร์

β = 0

$\beta=0$

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= \frac{\partial | | y - X β | |_{2}}{\partial β_{i}} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= \frac{\partial | | y - s x_{i} | |_{2}}{\partial s} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= 2 c o r (x_{i}, y) | | x_{i} | |_{2} | | y | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= 2 x_{i} \cdot y

$= 2 x_i \cdot y$

s x_{i}

$s x_i$

y

$y$

y - s x_{i}

$y - s x_i$

— Sextus Empiricus

อ่าโอเคมีข้อ จำกัด ในเรื่องของคุณ! (คุณกำลังใช้ทั้งและค่าสัมประสิทธิ์ไม่เป็นศูนย์) ยิ่งไปกว่านั้นความเท่าเทียมกันครั้งที่สองในบรรทัดที่มีนั้นทำให้เข้าใจผิดเนื่องจากสัญญาณอาจเปลี่ยนไปเนื่องจากความแตกต่างของค่าสัมบูรณ์

β = 0

$\beta = 0$

λ_{max}

$\lambda_\max$

— user795305

ที่เล็กที่สุดคืออะไร

กรณีที่ 1: มีเพียงเดียวที่ไม่ใช่ศูนย์βiβi\beta_i

กรณีที่ 3:ทั้งหมดไม่ใช่ศูนย์βiβi\beta_i

ภาพ

ตัวอย่างรหัส:

กรณีที่ 1: มีเพียงเดียวที่ไม่ใช่ศูนย์ $\beta_i$

กรณีที่ 3:ทั้งหมดไม่ใช่ศูนย์ $\beta_i$