LASSO ความสัมพันธ์ระหว่าง

ความเข้าใจของฉันเกี่ยวกับการถดถอย LASSO คือสัมประสิทธิ์การถดถอยถูกเลือกเพื่อแก้ปัญหาการย่อเล็กสุด:

$$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$$

ในทางปฏิบัติสิ่งนี้ทำได้โดยใช้ตัวคูณลากรองจ์ทำให้เกิดปัญหาในการแก้ปัญหา

$$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$$

ความสัมพันธ์ระหว่าง$\lambda$กับ$t$คืออะไร? วิกิพีเดียอย่างไม่ช่วยเหลือเพียงแค่ระบุว่า "ขึ้นอยู่กับข้อมูล"

ทำไมฉันถึงแคร์ ประการแรกสำหรับความอยากรู้ทางปัญญา แต่ฉันก็กังวลเกี่ยวกับผลที่ตามมาสำหรับการเลือก$\lambda$โดยการตรวจสอบข้าม

โดยเฉพาะถ้าฉันใช้การตรวจสอบความถูกต้องแบบครอส n-fold ฉันพอดีกับโมเดลที่แตกต่างกันกับ n พาร์ติชั่นต่าง ๆ ของข้อมูลการฝึกอบรมของฉัน จากนั้นฉันจะเปรียบเทียบความแม่นยำของโมเดลแต่ละรุ่นกับข้อมูลที่ไม่ได้ใช้สำหรับ$\lambda$ระบุ แต่\ lambdaเดียวกัน$\lambda$หมายถึงข้อ จำกัด ที่แตกต่างกัน ( $t$ ) สำหรับชุดย่อยที่แตกต่างกันของข้อมูล (เช่น$t=f(\lambda)$คือ "data dependent")

ไม่ใช่ปัญหาการตรวจสอบข้ามที่ฉันต้องการแก้เพื่อค้นหา$t$ที่ให้การแลกเปลี่ยนอคติที่แม่นยำที่สุดหรือไม่

ฉันสามารถทำความเข้าใจคร่าวๆเกี่ยวกับขนาดของเอฟเฟกต์นี้ในทางปฏิบัติโดยการคำนวณ$\|\beta\|_1$สำหรับการแยกการตรวจสอบข้ามแต่ละครั้งและ$\lambda$และดูการกระจายที่เกิดขึ้น ในบางกรณีข้อ จำกัด โดยนัย ( $t$ ) อาจแตกต่างกันอย่างเงียบ ๆ อย่างมีนัยสำคัญในส่วนย่อยการตรวจสอบข้ามของฉัน ในกรณีที่โดยสาระสำคัญที่ผมหมายถึงค่าสัมประสิทธิ์ของการเปลี่ยนแปลงใน$t>>0$ 0

นี่คือโซลูชันมาตรฐานสำหรับการถดถอยของสันเขา :

$$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$$

เราก็รู้ว่าดังนั้นจะต้องเป็นจริงที่$\| \beta \| = t$

$$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$$ t

ซึ่งไม่ได้เป็นเรื่องง่ายที่จะแก้ปัญหาสำหรับ\$\lambda$

ทางออกที่ดีที่สุดของคุณคือการทำสิ่งที่คุณทำต่อไป: คำนวณในตัวอย่างย่อยเดียวกันของข้อมูลข้ามค่าหลายค่า$t$$\lambda$