การดัดแปลง Lasso สำหรับ LARS

12

ฉันพยายามเข้าใจว่า Lars สามารถปรับเปลี่ยนอัลกอริทึมเพื่อสร้าง Lasso ได้อย่างไร ในขณะที่ฉันเข้าใจ LARS ฉันไม่สามารถเห็นการดัดแปลง Lasso จากบทความโดย Tibshirani และคณะ โดยเฉพาะฉันไม่เห็นสาเหตุที่สภาพของสัญญาณว่าเครื่องหมายของพิกัดไม่เป็นศูนย์จะต้องเห็นด้วยกับสัญลักษณ์ของสหสัมพันธ์ปัจจุบัน ใครสามารถช่วยฉันด้วยเรื่องนี้ ฉันเดาว่าฉันกำลังมองหาหลักฐานทางคณิตศาสตร์โดยใช้เงื่อนไข KKT กับปัญหาบรรทัดฐาน L-1 ดั้งเดิมเช่น Lasso ขอบคุณมาก!

lasso

— newbiequant
แหล่งที่มา

คุณหมายถึง Efron et al's stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf ? มันพิสูจน์ได้ในเลมม่า 8 จากหมวด 5 หรือฉันเข้าใจผิดคำถามของคุณหรือไม่

— ปีเตอร์เอลลิส

1

ฉันยังไม่แน่ใจเกี่ยวกับคำถาม แต่จริงๆแล้ว Lasso เป็นการทำให้ลาร์สง่ายขึ้น: สำหรับ Lasso คุณแค่มองหาความสัมพันธ์เชิงบวกระหว่างฟังก์ชันที่เหลืออยู่กับฟังก์ชันพื้นฐานที่เหลืออยู่เนื่องจากความสัมพันธ์เชิงบวกเท่านั้นที่นำไปสู่เชิงบวก (~ ไม่ใช่ลบ) สัมประสิทธิ์

— Mr. White

2

ปล่อยให้ (ขนาด ) แสดงชุดของอินพุตมาตรฐาน, (ขนาด ) การตอบสนองกึ่งกลาง, (ขนาด ) น้ำหนักการถดถอยและ aสัมประสิทธิ์บทลงโทษ $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

จากนั้นปัญหาของ LASSO ก็เขียน

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

การแก้นี้สำหรับทุกค่าของอัตราผลตอบแทนที่เรียกว่าเส้นทางกู Lassoแลมบ์ดา) $\lambda > 0$ $\beta^*(\lambda)$

สำหรับค่าคงที่ของค่าสัมประสิทธิ์การลงโทษ (เช่นจำนวนคงที่ของตัวทำนายที่แอ็คทีฟ = ขั้นตอนคงที่ของอัลกอริทึม LARS) มันเป็นไปได้ที่จะแสดงให้เห็นว่าเป็นไปตามเงื่อนไขคำตอบ ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

ด้วยแทนชุดของตัวทำนายที่ใช้งานอยู่ $A$

เนื่องจากต้องเป็นค่าบวก (เป็นค่าสัมประสิทธิ์การลงโทษ) จึงเป็นที่ชัดเจนว่าสัญลักษณ์ของ (น้ำหนักของศูนย์ที่ไม่เป็นศูนย์ดังนั้นตัวทำนายที่ใช้งานอยู่) จึงควรเป็นแบบเดียวกันกับคือความสัมพันธ์กับส่วนที่เหลือการถดถอยปัจจุบัน $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

— Quantuple
แหล่งที่มา

1

@ Mr._White ให้คำอธิบายที่เข้าใจง่ายเกี่ยวกับความแตกต่างที่สำคัญระหว่าง LARS และ Lasso; จุดเดียวที่ฉันจะเพิ่มคือ lasso คือ (ชนิด) เหมือนวิธีการคัดเลือกแบบย้อนหลังเคาะคำศัพท์ในแต่ละขั้นตอนตราบเท่าที่มีคำศัพท์ที่มีอยู่ ("ปกติ" มากกว่า ) สหสัมพันธ์ LARS เก็บทุกอย่างไว้ในนั้น นั่นหมายความว่าใน lasso การวนซ้ำแต่ละครั้งจะขึ้นอยู่กับว่าคำใดถูกลบไปแล้ว $X \times X$

การดำเนินงาน Effron แสดงให้เห็นถึงความแตกต่างที่แตกต่างกัน: lars.R ในpkg แหล่งสำหรับ Lars ขอให้สังเกตขั้นตอนการปรับปรุงของเมทริกซ์เมทริกซ์และเริ่มต้นที่สาย 180, และวางเงื่อนไขที่{} ฉันนึกภาพสถานการณ์แปลก ๆ บางอย่างที่เกิดขึ้นจากการเว้นวรรคซึ่งเงื่อนไขไม่สมดุลกัน (และมีความสัมพันธ์กันมาก แต่ไม่ใช่กับคนอื่น ๆกับแต่ไม่ใช่กับคนอื่น ฯลฯ ) ลำดับการเลือกอาจค่อนข้างลำเอียง $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

— egbutter
แหล่งที่มา