ทำไม Lasso ถึงเลือก Variable

ฉันได้อ่านองค์ประกอบของการเรียนรู้ทางสถิติแล้วและฉันอยากจะรู้ว่าทำไม Lasso ถึงเลือกตัวแปรและการถดถอยแบบสันไม่ได้

ทั้งสองวิธีลดผลรวมการตกค้างของสี่เหลี่ยมและมีข้อ จำกัด เกี่ยวกับค่าที่เป็นไปได้ของพารามิเตอร์\สำหรับคล้องข้อ จำกัด คือ , ในขณะที่สำหรับสันมันเป็นสำหรับบางคนที$\beta$$||\beta||_1 \le t$$||\beta||_2 \le t$$t$

ฉันเคยเห็นรูป Diamond vs ellipse ในหนังสือแล้วและฉันมีสัญชาตญาณว่าทำไม Lasso ถึงมุมของภูมิภาคที่ถูก จำกัด ซึ่งหมายความว่าหนึ่งในสัมประสิทธิ์ถูกตั้งค่าเป็นศูนย์ อย่างไรก็ตามสัญชาตญาณของฉันค่อนข้างอ่อนแอและฉันไม่มั่นใจ มันควรจะเห็นง่าย แต่ฉันไม่รู้ว่าทำไมเรื่องนี้ถึงเป็นจริง

ดังนั้นฉันเดาว่าฉันกำลังมองหาเหตุผลทางคณิตศาสตร์หรือคำอธิบายที่เข้าใจง่ายว่าทำไมรูปทรงของผลรวมที่เหลือของกำลังสองมีแนวโน้มที่จะเข้ามุมของ ขอบเขต จำกัด (ในขณะที่สถานการณ์นี้ไม่น่าจะเกิดขึ้นถ้า ข้อ จำกัด คือ )$||\beta||_1$$||\beta||_2$

ลองพิจารณารูปแบบที่ง่ายมาก:มีโทษ L1 บนและอย่างน้อยสี่เหลี่ยมฟังก์ชั่นการสูญเสียใน{E} เราสามารถขยายการแสดงออกที่จะลดลงเป็น:$y = \beta x + e$$\hat{\beta}$$\hat{e}$

$\min y^Ty -2 y^Tx\hat{\beta} + \hat{\beta} x^Tx\hat{\beta} + 2\lambda|\hat{\beta}|$

ให้เราสมมติว่าวิธีแก้ปัญหากำลังสองน้อยที่สุดคือซึ่งเทียบเท่ากับสมมติว่าและดูว่าเกิดอะไรขึ้นเมื่อเราเพิ่มการลงโทษ L1 ด้วย ,ดังนั้นระยะโทษเท่ากับ2อนุพันธ์ของฟังก์ชั่นวัตถุประสงค์ wrtคือ:$\hat{\beta} > 0$$y^Tx > 0$$\hat{\beta}>0$$|\hat{\beta}| = \hat{\beta}$$2\lambda\beta$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda$

ซึ่งเห็นได้ชัดว่ามีทางออกTX) $\hat{\beta} = (y^Tx - \lambda)/(x^Tx)$

เห็นได้ชัดจากการเพิ่มเราสามารถขับเป็นศูนย์ได้ (ที่ ) อย่างไรก็ตามเมื่อเพิ่มจะไม่ทำให้เกิดผลลบเนื่องจากการเขียนอย่างหลวม ๆ ทันทีจะกลายเป็นค่าลบอนุพันธ์ของฟังก์ชันวัตถุประสงค์จะเปลี่ยนเป็น:$\lambda$$\hat{\beta}$$\lambda = y^Tx$$\hat{\beta} = 0$$\lambda$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} - 2\lambda$

ที่พลิกเข้าสู่ระบบของเป็นเพราะค่าสัมบูรณ์ของระยะเวลาโทษธรรมชาติ; เมื่อกลายเป็นเชิงลบระยะโทษจะเท่ากับและการอนุพันธ์ WRTผลลัพธ์ใน-2สิ่งนี้นำไปสู่การแก้ปัญหาซึ่งเห็นได้ชัดว่าไม่สอดคล้องกับ (เนื่องจากวิธีแก้ปัญหากำลังสองน้อยที่สุด , ซึ่งหมายถึงและ$\lambda$$\beta$$-2\lambda\beta$$\beta$$-2\lambda$$\hat{\beta} = (y^Tx + \lambda)/(x^Tx)$$\hat{\beta} < 0$$> 0$$y^Tx > 0$$\lambda > 0$) มีการเพิ่มขึ้นของการลงโทษ L1 และการเพิ่มข้อผิดพลาดกำลังสอง (เนื่องจากเรากำลังเคลื่อนห่างจากวิธีกำลังสองน้อยที่สุด) เมื่อย้ายจากเป็นดังนั้นเราจึงไม่ทำเช่นนั้น ติดที่ 0$\hat{\beta}$$0$$< 0$$\hat{\beta}=0$

มันควรจะเป็นอย่างสังหรณ์ใจล้างตรรกะเดียวกันกับที่มีการเปลี่ยนแปลงเข้าสู่ระบบที่เหมาะสมสำหรับการแก้ปัญหาสี่เหลี่ยมน้อยกับ<0 $\hat{\beta} < 0$

ด้วยการลงโทษน้อยที่สุดอนุพันธ์จะกลายเป็น:$\lambda\hat{\beta}^2$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda\hat{\beta}$

ซึ่งเห็นได้ชัดว่ามีทางออกแลมบ์ดา) เห็นได้ชัดว่าไม่มีการเพิ่มขึ้นของจะผลักดันสิ่งนี้ให้เป็นศูนย์ ดังนั้นการลงโทษ L2 ไม่สามารถทำหน้าที่เป็นเครื่องมือในการเลือกตัวแปรได้หากไม่มีโฆษณา hockery เล็กน้อยเช่น "ตั้งค่าพารามิเตอร์ให้เท่ากับศูนย์หากมันน้อยกว่า " $\hat{\beta} = y^Tx/(x^Tx + \lambda)$$\lambda$$\epsilon$

เห็นได้ชัดว่าสิ่งต่าง ๆ สามารถเปลี่ยนแปลงได้เมื่อคุณย้ายไปยังโมเดลหลายตัวแปรเช่นการย้ายการประมาณหนึ่งพารามิเตอร์รอบ ๆ อาจบังคับให้อีกคนหนึ่งเปลี่ยนสัญญาณ แต่หลักการทั่วไปเหมือนกัน: ฟังก์ชันการลงโทษ L2 ไม่สามารถทำให้คุณเป็นศูนย์ได้ เพราะการเขียนแบบฮิวริสติกนัลจะมีผลกับ "ส่วน" ของนิพจน์สำหรับแต่ฟังก์ชันการลงโทษ L1 สามารถทำได้เพราะมันส่งผลให้เพิ่ม "เศษ" $\hat{\beta}$

สมมติว่าเรามีชุดข้อมูลที่มี y = 1 และ x = [1/10 1/10] (หนึ่งจุดข้อมูลสองคุณสมบัติ) ทางออกหนึ่งคือเลือกฟีเจอร์หนึ่งฟีเจอร์หนึ่งก็คือลดน้ำหนักทั้งสองฟีเจอร์ คือเราสามารถเลือก w = [5 5] หรือ w = [10 0]

โปรดทราบว่าสำหรับมาตรฐาน L1 นั้นมีโทษเหมือนกัน แต่น้ำหนักที่กระจายออกไปมากขึ้นจะมีค่าปรับที่ลดลงสำหรับกฎเกณฑ์ L2

ฉันคิดว่ามีคำตอบที่ยอดเยี่ยมอยู่แล้ว แต่เพียงเพิ่มสัญชาตญาณเกี่ยวกับการตีความทางเรขาคณิต:

"บาศทำการหดตัวเพื่อให้มี" มุม "ในข้อ จำกัด ซึ่งในสองมิติสอดคล้องกับเพชรหากผลรวมของสี่เหลี่ยม" ฮิต "หนึ่งในมุมเหล่านี้แล้วค่าสัมประสิทธิ์ที่สอดคล้องกับแกนคือหด ถึงศูนย์$L1$

ในฐานะที่เป็นเพิ่มขึ้นเพชรหลายมิติมีการเพิ่มจำนวนของมุมและดังนั้นจึงเป็นไปได้มากว่าค่าสัมประสิทธิ์บางส่วนจะถูกตั้งค่าเท่ากับศูนย์ ดังนั้นบ่วงบาศจะทำการหดตัวและเลือกเซตย่อย (อย่างมีประสิทธิภาพ)$p$

ในทางตรงกันข้ามกับการเลือกชุดย่อยสันจะดำเนินการ thresholding ที่อ่อนนุ่ม: เนื่องจากพารามิเตอร์การปรับให้เรียบนั้นมีการเปลี่ยนแปลงเส้นทางตัวอย่างของการประมาณการจะเลื่อนไปอย่างต่อเนื่องเป็นศูนย์ "

ที่มา: https://onlinecourses.science.psu.edu/stat857/book/export/html/137

เอฟเฟกต์สามารถมองเห็นได้อย่างชัดเจนโดยที่เส้นสีเป็นเส้นทางของค่าสัมประสิทธิ์การถดถอยซึ่งลดลงเป็นศูนย์

"การถดถอยของสันลดขนาดของสัมประสิทธิ์การถดถอยทั้งหมดให้เป็นศูนย์; บ่วงนั้นมีแนวโน้มที่จะตั้งค่าสัมประสิทธิ์การถดถอยให้เป็นศูนย์และนำไปสู่การแก้ปัญหาแบบเบาบาง"

ที่มา: https://onlinecourses.science.psu.edu/stat857/node/158