หากการคาดการณ์มีเพียงความสนใจทำไมต้องใช้บ่วงบาศเหนือสันเขา?

ในหน้า 223 ในบทนำสู่การเรียนรู้เชิงสถิติผู้เขียนสรุปความแตกต่างระหว่างการถดถอยของสันเขาและบ่วง พวกเขาให้ตัวอย่าง (รูปที่ 6.9) เมื่อ "lasso มีแนวโน้มที่จะมีประสิทธิภาพสูงกว่าการถดถอยสันในแง่ของอคติความแปรปรวนและ MSE"

ฉันเข้าใจว่าทำไมบ่วงบาศจึงเป็นที่ต้องการ: มันส่งผลให้เกิดการแก้ปัญหาแบบเบาบางเนื่องจากมันลดค่าสัมประสิทธิ์จำนวนมากเป็น 0 ทำให้เกิดแบบจำลองที่เข้าใจง่าย แต่ฉันไม่เข้าใจว่ามันจะทำได้ดีกว่าสันเขาเมื่อมีเพียงการคาดการณ์เท่านั้นที่มีความสนใจ (เช่นมันจะทำให้ MSE ลดลงอย่างมีนัยสำคัญในตัวอย่างได้อย่างไร)

ด้วยสันเขาหากนักทำนายหลายคนแทบไม่ส่งผลกระทบต่อการตอบสนอง (โดยมีผู้ทำนายไม่กี่คนที่มีเอฟเฟกต์ขนาดใหญ่) สัมประสิทธิ์ของพวกเขาจะไม่ถูกย่อเป็นจำนวนเล็ก ๆ ใกล้กับศูนย์มาก ... ? แล้วทำไมรุ่นสุดท้ายถึงมีประสิทธิภาพแย่กว่าเชือก

คุณมีสิทธิ์ที่จะถามคำถามนี้ โดยทั่วไปเมื่อใช้กฎการให้คะแนนความแม่นยำที่เหมาะสม (เช่นหมายถึงข้อผิดพลาดการคาดการณ์กำลังสอง) การถดถอยของสันจะมีประสิทธิภาพสูงกว่าบ่วง Lasso ใช้ข้อมูลบางส่วนที่พยายามค้นหาตัวทำนาย "ถูกต้อง" และมันก็ไม่ได้ยอดเยี่ยมในการทำเช่นนั้นในหลาย ๆ กรณี ประสิทธิภาพสัมพัทธ์ของทั้งสองจะขึ้นอยู่กับการกระจายของสัมประสิทธิ์การถดถอยที่แท้จริง หากคุณมีสัมประสิทธิ์ที่ไม่ใช่ศูนย์เพียงเล็กน้อยเศษเสี้ยวจะทำได้ดีกว่า ส่วนตัวผมใช้สันเขาเกือบตลอดเวลาเมื่อสนใจความแม่นยำในการทำนาย

ฉันคิดว่าการตั้งค่าเฉพาะของตัวอย่างที่คุณอ้างอิงเป็นกุญแจสำคัญในการทำความเข้าใจว่าทำไม lasso ถึงมีประสิทธิภาพเหนือกว่า: มีเพียง 2 จาก 45 ตัวที่เกี่ยวข้องเท่านั้น

เส้นขอบนี้ในกรณีทางพยาธิวิทยา: lasso ซึ่งมีจุดประสงค์เฉพาะเพื่อลดให้เป็นศูนย์ง่ายดำเนินการตามที่ตั้งใจไว้ในขณะที่สันจะต้องจัดการกับคำศัพท์ที่ไร้ประโยชน์จำนวนมาก (แม้ผลของมันจะลดลงใกล้ศูนย์ ผลที่ไม่เป็นศูนย์)