ข้อดีของการทำ "เชือกคู่" หรือทำเชือกสองครั้ง?

ฉันเคยได้ยินวิธีการใช้ lasso สองครั้ง (เช่น double-lasso) ซึ่งคุณทำการ lasso บนชุดตัวแปรดั้งเดิมพูด S1, รับชุด sparse เรียกว่า S2 แล้วทำการ lasso อีกครั้งใน set S2 เพื่อรับ set S3 . มีคำศัพท์วิธีการสำหรับเรื่องนี้หรือไม่? นอกจากนี้ข้อดีของการทำบ่วงบาศสองครั้งคืออะไร?

ใช่วิธีการที่คุณจะถาม (หรือคิดว่าการ) เรียกว่าเชือกผ่อนคลาย

แนวคิดทั่วไปคือในกระบวนการของการดำเนินการ LASSO เป็นครั้งแรกที่คุณอาจรวมถึง "ตัวแปรเสียง"; การปฏิบัติ LASSO ในชุดที่สองของตัวแปร (หลังจาก LASSO แรก) ให้การแข่งขันน้อยลงระหว่างตัวแปรที่เป็น "คู่แข่งที่แท้จริง" เพื่อเป็นส่วนหนึ่งของแบบจำลองและไม่ใช่แค่ "เสียงรบกวน" ตัวแปร ในทางเทคนิคสิ่งที่วิธีการนี้มีจุดมุ่งหมายเพื่อเอาชนะการบรรจบกันของ LASSO ในชุดข้อมูลที่มีตัวแปรจำนวนมาก

คุณสามารถอ่านเพิ่มเติมเกี่ยวกับมันบนกระดาษต้นฉบับโดยMeinshausen (2007)

ฉันยังแนะนำมาตรา 3.8.5 ในองค์ประกอบของการเรียนรู้ทางสถิติ (Hastie, Tibshirani & Friedman, 2008)ซึ่งให้ภาพรวมของวิธีการที่น่าสนใจอื่น ๆ สำหรับการเลือกตัวแปรโดยใช้ LASSO

แนวคิดก็คือการแยกเอฟเฟ็กต์สองอย่างของบ่วงบาศ

1. การเลือกตัวแปร (กล่าวคือมากที่สุด s เป็นศูนย์)$\beta$
2. ค่าสัมประสิทธิ์การหดตัว (กล่าวคือแม้ไม่ใช่ศูนย์ s มีขนาดเล็กในค่าสัมบูรณ์กว่าในการถดถอยที่ไม่ผ่าน) สิ่งนี้มักจะเป็นสิ่งที่ดีแม้ว่าจะไม่มีการเลือกเพราะคุณหลีกเลี่ยงการปรับให้แน่น$\beta$

หากคุณมีตัวแปรจำนวนมาก ( ) และกำลังใช้บ่วงบาศคุณต้องมีบทลงโทษจำนวนมากเพื่อเลือกตัวแปรจำนวนเล็กน้อย อย่างไรก็ตามการลงโทษนี้อาจลดขนาดตัวแปรที่เลือกมากเกินไป (คุณไม่เหมาะสม)$p >\!\!> n$

ความคิดของบ่วงบาศที่ผ่อนคลายคือคุณแยกเอฟเฟกต์สองอย่าง: คุณใช้โทษสูงในรอบแรกเพื่อเลือกตัวแปร และบทลงโทษเล็ก ๆ ในรอบที่สองเพื่อลดขนาดลงให้น้อยลง

กระดาษต้นฉบับ (ตามที่ลิงค์โดยNéstor) ให้รายละเอียดเพิ่มเติม