การเลือกช่วงและความหนาแน่นของกริดสำหรับพารามิเตอร์การทำให้เป็นมาตรฐานใน LASSO

ฉันกำลังศึกษาLASSO (อย่างน้อยการหดตัวแบบสัมบูรณ์และผู้ดำเนินการคัดเลือก) ในเวลาเดียวกัน ฉันเห็นว่าค่าที่ดีที่สุดสำหรับพารามิเตอร์การทำให้เป็นมาตรฐานสามารถเลือกได้โดยการตรวจสอบความถูกต้องข้าม ฉันเห็นด้วยในการถดถอยของสันเขาและวิธีการมากมายที่ใช้การทำให้เป็นมาตรฐานเราสามารถใช้ CV เพื่อค้นหาพารามิเตอร์การทำให้เป็นมาตรฐานที่ดีที่สุด (การลงโทษ) ตอนนี้คำถามของฉันเกี่ยวกับค่าเริ่มต้นสำหรับขอบเขตบนและล่างของพารามิเตอร์และวิธีการกำหนดความยาวของลำดับ

จะเฉพาะเจาะจงเช่นสมมติเรามีปัญหา Lasso และเราต้องการที่จะหาค่าที่ดีที่สุดสำหรับการลงโทษ\แล้วเราจะเลือกขอบเขตล่างและบนสำหรับอย่างไร และมีค่าเท่าไรที่แยกระหว่างสองค่า ?

L o g L i k e l i h o o d = (y - x β)^{'} (y - x β) + λ \sum | β |_{1}

$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$

λ

$\lambda$

λ \in [a = ?, b = ?]

$\lambda \in [a=?,b=?]$

\frac{(b - a)}{k = ?}

$\frac{(b-a)}{k=?}$

lasso regularization shrinkage

— TPArrow
แหล่งที่มา

คำถามที่เกี่ยวข้องที่นี่

— Richard Hardy

ความซ้ำซ้อนที่เป็นไปได้ของความละเอียดกริดและการ overfitting โดยใช้การทำให้เป็นมาตรฐาน (LASSO, สัน, ตาข่ายยืดหยุ่น)

— Sycorax พูดว่า Reinstate Monica

วิธีการนี้จะอธิบายในกระดาษ glmnet regularization เส้นทางสำหรับการเชิงเส้นทั่วไปรุ่นผ่านทางประสานงานโคตร แม้ว่าวิธีการที่นี่มีไว้สำหรับกรณีทั่วไปของการทำให้เป็นมาตรฐานทั้งและแต่ก็ควรใช้กับ LASSO (เฉพาะ ) เช่นกัน $L^1$ $L^2$ $L^1$

วิธีแก้ปัญหาสำหรับสูงสุดมีให้ในหัวข้อ 2.5 $\lambda$

เมื่อเราเห็นจาก (5) ว่าจะคงอยู่ที่ศูนย์ถ้า\ ดังนั้น $\tilde\beta = 0$ $\tilde\beta_j$ $\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$ $N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

นั่นคือเราสังเกตว่ากฎการอัปเดตสำหรับเบต้าบังคับให้พารามิเตอร์ทั้งหมดประมาณเป็นศูนย์สำหรับตามที่กำหนดไว้ด้านบน $\lambda > \lambda_{max}$

การกำหนดและจำนวนของจุดกริดดูเหมือนจะมีหลักการน้อยลง ใน glmnet พวกเขาตั้งค่าแล้วเลือกกริดคะแนนที่เว้นระยะเท่ากันในระดับลอการิทึม $\lambda_{min}$ $\lambda_{min} = 0.001 * \lambda_{max}$ $100$

วิธีนี้ใช้ได้ผลดีในการใช้งาน glmnet อย่างกว้างขวางฉันไม่เคยพบว่ากริดนี้มีความหยาบเกินไป

ใน LASSO ( ) เฉพาะกรณีที่สิ่งต่าง ๆ ทำงานได้ดีขึ้นเนื่องจากวิธีLARSให้การคำนวณที่แม่นยำสำหรับเมื่อตัวทำนายต่างๆเข้าสู่โมเดล LARS ที่แท้จริงไม่ได้ทำการค้นหากริดบนแทนที่จะสร้างนิพจน์ที่แน่นอนสำหรับเส้นทางการแก้ปัญหาสำหรับค่าสัมประสิทธิ์ นี่คือรายละเอียดการคำนวณเส้นทางสัมประสิทธิ์ในกรณีตัวทำนายสองแบบอย่างละเอียด $L^1$ $\lambda$

กรณีสำหรับโมเดลที่ไม่ใช่เชิงเส้น (เช่นโลจิสติกปัวซอง) นั้นยากกว่า อยู่ในระดับสูงครั้งแรกประมาณกำลังสองฟังก์ชั่นการสูญเสียที่จะได้รับค่าพารามิเตอร์เริ่มต้นแล้วคำนวณข้างต้นจะถูกใช้ในการกำหนด{} การคำนวณเส้นทางพารามิเตอร์ที่แม่นยำนั้นไม่สามารถทำได้ในกรณีเหล่านี้แม้ว่าจะมีการกำหนดมาตรฐานให้เฉพาะการใช้งานเท่านั้นดังนั้นการค้นหากริดจึงเป็นตัวเลือกเดียว $\beta = 0$ $\lambda_{max}$ $L^1$

น้ำหนักตัวอย่างยังทำให้สถานการณ์ซับซ้อนขึ้นผลิตภัณฑ์ภายในจะต้องถูกแทนที่ในสถานที่ที่เหมาะสมด้วยผลิตภัณฑ์ภายในที่มีน้ำหนัก

— Matthew Drury
แหล่งที่มา