มีเงื่อนไขที่ชัดเจนภายใต้เส้นทางบ่วงบาศริดจ์หรืออีลาสติกที่ยืดหยุ่นเป็นโมโนโทนหรือไม่?

18

คำถามที่จะสรุปจากพล็อต Lasso นี้ (glmnet)แสดงให้เห็นถึงเส้นทางการแก้ปัญหาสำหรับ Lasso Estimatorที่ไม่ใช่แบบโมโนโทนิก นั่นคือบางส่วนของเมล็ดกาแฟเติบโตในค่าสัมบูรณ์ก่อนที่จะหดตัว

ฉันใช้โมเดลเหล่านี้กับชุดข้อมูลหลายประเภทและไม่เคยเห็นพฤติกรรมนี้ "ในป่า" และจนถึงทุกวันนี้ได้สันนิษฐานว่าพวกเขามักพูดซ้ำซาก

มีเงื่อนไขที่ชัดเจนซึ่งรับประกันว่าเส้นทางของโซลูชันจะเป็นเสียงเดียวหรือไม่? มันมีผลต่อการตีความผลลัพธ์หรือไม่หากเส้นทางเปลี่ยนทิศทาง?

lasso ridge-regression elastic-net

— shadowtalker
แหล่งที่มา

เสียงเดียวในแง่ใด ดูเหมือนว่าไม่มีความหมายสำหรับฉันถ้าคุณต้องการที่จะใช้มันเป็นกราฟของฟังก์ชั่นบางอย่าง

— Henry.L

4

@ Henry.L คำถามสามารถใช้ถ้อยคำใหม่เป็น: เมื่อเป็นจริงต่อไปนี้: สำหรับเรามีสำหรับทุกที่\ นั่นคือบ่วงจะหดตัวตามเข็มนาฬิกาอย่างสม่ำเสมอ คุณช่วยอธิบายสิ่งที่คุณสงสัยว่ามีความหมายได้ไหม

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

— user795305

2

หมายเหตุ: การทำความเข้าใจวิธีการที่ lasso ลดค่าสัมประสิทธิ์เป็นหัวข้อของทั้งคำถามนี้และstats.stackexchange.com/questions/145299//

— 795305

1

ฉันไม่เคยรู้ว่าฉันคิดถึงเรื่องนี้มาก่อนอย่างไรคำถามนี้ตอบคำถามของบ่วงบาศในการตอบสนองของ OP ต่อคำถามของเขาเองในคำถามข้างต้น

— user795305

คำตอบ:

2

ฉันสามารถทำให้คุณมีเพียงพอสภาพเส้นทางที่จะต่อเนื่อง: การออกแบบ orthonormal ของX $X$

สมมติว่าเมทริกซ์ออกแบบ orthonormal, ที่อยู่, กับตัวแปรในเรามีที่I_p ด้วยการออกแบบ orthonormal OLS ค่าสัมประสิทธิ์การถดถอยเป็นเพียง{n} $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

เงื่อนไขของ Karush-Khun-Tucker สำหรับ LASSO ทำให้ง่ายต่อการ:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

โดยที่คือการไล่ระดับย่อย ดังนั้นสำหรับแต่ละเรามีและเรา มีวิธีแก้ปัญหาแบบปิดเพื่อประมาณการเชือก: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

ซึ่งเป็นเนื่องใน\ขณะนี้ไม่ได้เป็นเงื่อนไขที่จำเป็นเราจะเห็นว่าไม่ใช่ monotonicity จะต้องมาจากความสัมพันธ์ของตัวแปรในการX $\lambda$ $X$

— Carlos Cinelli
แหล่งที่มา

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว

Licensed under cc by-sa 3.0 with attribution required.