สัญชาตญาณความเป็นอิสระของลาซโซ

Zou และคณะ "ใน" องศาอิสระ "ของเชือก" (2007) แสดงให้เห็นว่าจำนวนของค่าสัมประสิทธิ์ที่ไม่ใช่ศูนย์เป็นค่าประมาณที่เป็นกลางและสม่ำเสมอสำหรับองศาอิสระของเชือก

ดูเหมือนว่าฉันจะต่อต้านได้ง่าย

สมมติว่าเรามีรูปแบบการถดถอย (โดยที่ตัวแปรมีค่าเฉลี่ยเป็นศูนย์)

y = β x + ε .

$y=\beta x + \varepsilon.$

สมมติว่า OLS ไม่ จำกัด ประเมินของเป็น 0.5มันอาจตรงกับประมาณการ LASSO ที่ประมาณสำหรับความรุนแรงที่ต่ำมาก $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
สมมติต่อไปว่าประมาณการเชือกสำหรับความเข้มโทษโดยเฉพาะอย่างยิ่งเป็น 0.4ตัวอย่างเช่นอาจเป็น "ดีที่สุด" สำหรับชุดข้อมูลที่อยู่ในมือโดยใช้การตรวจสอบข้าม $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
หากฉันเข้าใจอย่างถูกต้องทั้งสองกรณีระดับความเป็นอิสระเท่ากับ 1 เนื่องจากทั้งสองครั้งมีค่าสัมประสิทธิ์การถดถอยที่ไม่ใช่ศูนย์

คำถาม:

มาได้อย่างไรองศาอิสระในทั้งสองกรณีจะเหมือนกันแม้ว่าแสดงให้เห็นน้อย "เสรีภาพ" ในการกระชับกว่า ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

อ้างอิง:

Zou, Hui, Trevor Hastie และ Robert Tibshirani "ใน" องศาอิสระ "ของบ่วงบาศ" พงศาวดารของสถิติ 35.5 (2007): 2173-2192

— Richard Hardy
แหล่งที่มา

คำถามที่ดีที่จะได้รับความสนใจมากขึ้น!

— Matifou

$n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

โดยการตรวจสอบสูตรนี้เราสามารถคาดการณ์ได้ว่าตามจริงแล้วสัญชาตญาณของคุณอานนท์ที่แท้จริงสำหรับ LASSO จะน้อยกว่าอานนท์ที่แท้จริงของ OLS ค่าสัมประสิทธิ์การหดตัวที่ได้รับผลกระทบจาก LASSO น่าจะมีแนวโน้มลดลงของค่าความแปรปรวนร่วม

ตอนนี้ที่จะตอบคำถามของคุณด้วยเหตุผลที่ว่าอานนท์สำหรับ Lasso เป็นเช่นเดียวกับอานนท์สำหรับ OLS ในตัวอย่างของคุณเป็นเพียงว่ามีคุณจะจัดการกับประมาณการ (แม้ว่าคนที่เป็นกลาง) ที่ได้รับจากชุดข้อมูลโดยเฉพาะอย่างยิ่งการเก็บตัวอย่างจากแบบจำลอง ของค่า DOF จริง สำหรับชุดข้อมูลใด ๆ การประมาณเช่นนี้จะไม่เท่ากับมูลค่าที่แท้จริง (โดยเฉพาะอย่างยิ่งเมื่อจำเป็นต้องมีการประมาณการให้เป็นจำนวนเต็มในขณะที่ค่าที่แท้จริงคือจำนวนจริงโดยทั่วไป)

$\lambda$

— e2crawfo
แหล่งที่มา

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

ทำไมการประมาณค่าองศาความเป็นอิสระจำเป็นต้องเป็นจำนวนเต็ม? มันจริงเหรอ? ให้ฉันสังเกตว่าสัญกรณ์ผลิตภัณฑ์ภายในดูเหมือนซับซ้อนโดยไม่จำเป็นและไม่ค่อยได้ใช้บนไซต์นี้ สัญกรณ์เมทริกซ์จะเพียงพอ แต่มันเป็นทางเลือกของคุณแน่นอน

— Richard Hardy

ใช่ว่าเกี่ยวกับผลรวมมันขึ้น การประมาณค่าองศาความเป็นอิสระจะต้องเป็นจำนวนเต็มสำหรับ LASSO (อย่างน้อยสำหรับชุดข้อมูลเดียว) เพียงเพราะการประมาณการเป็นจำนวนสัมประสิทธิ์ที่ไม่เป็นศูนย์

— e2crawfo

คำสั่งการประมาณค่าองศาอิสระจะต้องมีจำนวนเต็มสำหรับ Lasso เพียงเพราะประมาณการคือจำนวนของที่ไม่ใช่ศูนย์สัมประสิทธิ์ดูเหมือนซ้ำขอให้ฉัน โดยทั่วไปฉันไม่คิดว่า df ต้องเป็นจำนวนเต็มจากคำจำกัดความของ df ที่คุณเขียน ในกรณีของสันเขามันไม่จำเป็นต้องเป็นศูนย์

— Matifou