สัน, เชือกและยางยืด

วิธีเปรียบเทียบมาตรฐานของสันเขา LASSO และ elasticnet ทำอย่างไร? อะไรคือข้อดีและข้อเสียของพวกเขา? เอกสารทางเทคนิคที่ดีหรือบันทึกการบรรยายจะได้รับการชื่นชมเช่นกัน

ในหนังสือองค์ประกอบของการเรียนรู้ทางสถิติ Hastie และคณะ ให้การเปรียบเทียบที่ลึกซึ้งและลึกซึ้งของเทคนิคการหดตัวเหล่านี้ หนังสือเล่มนี้มีให้บริการออนไลน์ ( pdf ) ทำการเปรียบเทียบในส่วน 3.4.3 หน้า 69

ความแตกต่างที่สำคัญระหว่าง Lasso และ Ridge คือศัพท์ที่ใช้ Ridge ใช้ระยะโทษซึ่ง จำกัด ขนาดของค่าสัมประสิทธิ์เวกเตอร์ Lasso ใช้โทษซึ่งกำหนดขอบเขตระหว่างสัมประสิทธิ์และทำให้โมเดลที่ติดตั้งตีความได้ง่ายขึ้น Elasticnet แนะนำว่าการประนีประนอมระหว่างทั้งสองเทคนิคและมีโทษซึ่งเป็นส่วนผสมของและบรรทัดฐาน$L_2$$L_1$$L_1$$L_2$

เพื่อสรุปนี่คือความแตกต่างสำคัญระหว่าง Lasso, Ridge และ Elastic-net:

1. Lasso ทำการเลือกเบาบางในขณะที่ Ridge ไม่
2. เมื่อคุณมีตัวแปรที่มีความสัมพันธ์สูงการถดถอยของริดจ์จะทำให้ค่าสัมประสิทธิ์ทั้งสองมีค่าลดลง Lasso ค่อนข้างเฉยเมยและโดยทั่วไปเลือกหนึ่งมากกว่าอื่น ๆ ขึ้นอยู่กับบริบทไม่มีใครรู้ว่าจะเลือกตัวแปรใด Elastic-net เป็นการประนีประนอมระหว่างสองสิ่งที่พยายามลดขนาดและทำการเลือกแบบเบาบางในเวลาเดียวกัน
3. ตัวประมาณค่าริดจ์มีความแตกต่างกับการขยายสเกลของข้อมูล นั่นคือถ้าทั้งสองตัวแปร X และ Y ถูกคูณด้วยค่าคงที่ค่าสัมประสิทธิ์ของความพอดีจะไม่เปลี่ยนแปลงสำหรับพารามิเตอร์กำหนด อย่างไรก็ตามสำหรับ Lasso พอดีไม่ได้เป็นอิสระจากการปรับขนาด ในความเป็นจริงพารามิเตอร์ต้องถูกปรับอัตราส่วนโดยตัวคูณเพื่อให้ได้ผลลัพธ์เดียวกัน มันซับซ้อนมากขึ้นสำหรับตาข่ายยืดหยุ่น$\lambda$$\lambda$
4. ริดจ์ลงโทษ 's ที่ใหญ่ที่สุด$\beta$มากกว่าที่จะลงโทษคนที่มีขนาดเล็กกว่า Lasso ลงโทษพวกเขาอย่างสม่ำเสมอ สิ่งนี้อาจมีหรือไม่มีความสำคัญ ในปัญหาการพยากรณ์ด้วยตัวทำนายที่ทรงพลังประสิทธิภาพของตัวพยากรณ์นั้นหดตัวลงโดยสันเมื่อเทียบกับ Lasso

ฉันแนะนำเป็นอย่างยิ่งให้คุณอ่านหนังสือการเรียนรู้เชิงสถิติเบื้องต้น (Tibshirani et. al, 2013)

เหตุผลของเรื่องนี้คือองค์ประกอบของหนังสือเรียนรู้ทางสถิติมีไว้สำหรับบุคคลที่มีการฝึกอบรมขั้นสูงในสาขาคณิตศาสตร์ ในคำนำถึง ISL ผู้เขียนเขียน:

ความรู้เบื้องต้นเกี่ยวกับการเรียนรู้ทางสถิติเกิดขึ้นจากความต้องการการรับรู้ที่กว้างขึ้นและการปฏิบัติทางเทคนิคในหัวข้อเหล่านี้น้อยลง [ ... ]

การเรียนรู้เบื้องต้นเกี่ยวกับสถิติเหมาะสำหรับนักศึกษาระดับปริญญาตรีหรือปริญญาโทขั้นสูงในด้านสถิติหรือสาขาวิชาที่เกี่ยวข้องหรือสำหรับบุคคลในสาขาวิชาอื่น ๆ ที่ต้องการใช้เครื่องมือการเรียนรู้ทางสถิติเพื่อวิเคราะห์ข้อมูล

คำตอบข้างต้นมีความชัดเจนและให้ข้อมูล ฉันต้องการเพิ่มจุดย่อยหนึ่งจุดจากมุมมองทางสถิติ ยกตัวอย่างการถดถอยของสันเขา มันเป็นส่วนขยายของการถดถอยแบบสี่เหลี่ยมจัตุรัสที่น้อยที่สุดตามลำดับเพื่อแก้ปัญหาพหุคูณสัมพันธ์เมื่อมีคุณลักษณะที่สัมพันธ์กันมากมาย หากการถดถอยเชิงเส้นคือ

Y=Xb+e

โซลูชันสมการปกติสำหรับการถดถอยเชิงเส้นหลายเส้น

b=inv(X.T*X)*X.T*Y

โซลูชันสมการปกติสำหรับการถดถอยของสันคือ

b=inv(X.T*X+k*I)*X.T*Y. 

มันเป็นตัวประมาณแบบเอนเอียงสำหรับ b และเราสามารถหาค่าปรับ k ซึ่งจะทำให้ค่าเฉลี่ยความคลาดเคลื่อนกำลังสองของการถดถอยของสันมีค่าน้อยกว่า OLS ถดถอย

สำหรับ LASSO และ Elastic-Net เราไม่สามารถหาวิธีวิเคราะห์เช่นนี้ได้