เชือกในการวิเคราะห์การถดถอยคืออะไร?

ฉันกำลังมองหาความหมายที่ไม่ใช่ทางเทคนิคของเชือกและสิ่งที่มันใช้

LASSO (ตัวย่อและการย่อขนาดน้อยที่สุด) เป็นวิธีการถดถอยที่เกี่ยวข้องกับการลงโทษขนาดสัมบูรณ์ของสัมประสิทธิ์การถดถอย

โดยการลงโทษ (หรือ จำกัด การรวมผลรวมของค่าสัมบูรณ์ของการประมาณการ) เท่ากับคุณสิ้นสุดในสถานการณ์ที่การประมาณค่าพารามิเตอร์บางอย่างอาจเป็นศูนย์อย่างแน่นอน ยิ่งการลงโทษนั้นยิ่งรุนแรงมากเท่าไหร่

สิ่งนี้จะสะดวกเมื่อเราต้องการการเลือกคุณสมบัติ / ตัวแปรอัตโนมัติหรือเมื่อจัดการกับตัวทำนายที่มีความสัมพันธ์สูงซึ่งการถดถอยมาตรฐานมักจะมีค่าสัมประสิทธิ์การถดถอยที่ 'ใหญ่เกินไป'

https://web.stanford.edu/~hastie/ElemStatLearn/ (ดาวน์โหลดฟรี) มีคำอธิบายที่ดีเกี่ยวกับ LASSO และวิธีการที่เกี่ยวข้อง

LASSO regression เป็นประเภทของการวิเคราะห์การถดถอยที่ทั้งการเลือกตัวแปรและการควบคุมเกิดขึ้นพร้อมกัน วิธีนี้ใช้บทลงโทษที่ส่งผลกระทบต่อคุณค่าของสัมประสิทธิ์การถดถอย เมื่อการลงโทษเพิ่มค่าสัมประสิทธิ์มากขึ้นจะกลายเป็นศูนย์และในทางกลับกัน มันใช้เทคนิคการทำให้เป็นมาตรฐาน L1 ซึ่งพารามิเตอร์การปรับจะใช้เป็นจำนวนของการหดตัว เมื่อพารามิเตอร์การปรับแต่งเพิ่มขึ้นอคติจะเพิ่มขึ้นและตามที่ลดลงดังนั้นความแปรปรวนจะเพิ่มขึ้น หากค่าคงที่ไม่มีสัมประสิทธิ์เป็นศูนย์และมีแนวโน้มที่จะไม่มีค่าสัมประสิทธิ์สัมประสิทธิ์ทั้งหมดจะเป็นศูนย์

ใน "ปกติ" การถดถอย (OLS) เป้าหมายคือเพื่อลดผลรวมที่เหลือของกำลังสอง (RSS) เพื่อประเมินค่าสัมประสิทธิ์

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

ในกรณีของการถดถอยแบบ LASSO คุณประมาณค่าสัมประสิทธิ์ด้วยวิธีที่ต่างกันเล็กน้อย:

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

$\lambda$$\lambda$

$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$การลงโทษที่มากขึ้นจะนำไปใช้กับค่าสัมประสิทธิ์และขนาดเล็กจะเป็นค่าสัมประสิทธิ์บางคนอาจกลายเป็นศูนย์ นั่นหมายความว่า LASSO สามารถส่งผลให้รุ่นที่มีคุณสมบัติไม่พึงประสงค์ได้โดยการเลือกคุณสมบัติและป้องกันไม่ให้ตัวแบบ overfitting ที่กล่าวว่าคุณสามารถใช้ LASSO ได้หากคุณมีคุณสมบัติมากมายและเป้าหมายของคุณคือการคาดการณ์ข้อมูลแทนที่จะตีความค่าสัมประสิทธิ์ของแบบจำลองของคุณ