เหตุใดการถดถอยของ Ridge จึงทำงานได้ดีในที่ที่มีความสัมพันธ์หลายระดับ?

ฉันกำลังเรียนรู้เกี่ยวกับการถดถอยของสันเขาและรู้ว่าการถดถอยของสันเขานั้นมีแนวโน้มที่จะทำงานได้ดีขึ้นเมื่อมีความหลากหลายทางชีวภาพ ฉันสงสัยว่าทำไมสิ่งนี้ถึงเป็นจริง ทั้งคำตอบที่ใช้งานง่ายหรือคำตอบทางคณิตศาสตร์ก็น่าพอใจ (คำตอบทั้งสองประเภทนั้นน่าพอใจยิ่งขึ้น)

นอกจากนี้ฉันรู้ว่าสามารถรับได้เสมอ แต่การถดถอยของสันจะทำงานได้ดีเพียงใดเมื่อมี collinearity ที่แน่นอน (ตัวแปรอิสระตัวหนึ่งคือฟังก์ชันเชิงเส้นของอีกตัวหนึ่ง)$\hat{\beta}$

พิจารณากรณีง่าย ๆ ของตัวแปรทำนาย 2 ตัว ( , ) หากไม่มีค่า colinearity และการแพร่กระจายที่ดีในตัวทำนายทั้งสองเราจะทำการปรับระนาบให้เข้ากับข้อมูล ($x_1$$x_2$$y$คือมิติที่ 3) และมักจะมีระนาบ "ดีที่สุด" ที่ชัดเจนมาก แต่ด้วยความ Colinearity ความสัมพันธ์เป็นเส้นผ่านพื้นที่สามมิติโดยมีข้อมูลกระจัดกระจายอยู่รอบ ๆ แต่รูทีนการถดถอยพยายามที่จะพอดีกับระนาบกับหนึ่งเส้นดังนั้นจึงมีจำนวนอนันต์ของระนาบที่ตัดกันอย่างสมบูรณ์แบบกับเส้นนั้นซึ่งระนาบที่เลือกนั้นขึ้นอยู่กับจุดที่มีอิทธิพลในข้อมูลเปลี่ยนหนึ่งในจุดเหล่านั้นเพียงเล็กน้อย เครื่องบินที่เหมาะสมที่สุดจะเปลี่ยนไปเล็กน้อย การถดถอยสันคือการดึงระนาบที่เลือกไปยังแบบจำลองที่เรียบง่าย / saner (ค่าอคติต่อ 0) ลองนึกถึงยางรัดจากต้นกำเนิด (0,0,0) ไปยังระนาบที่ดึงระนาบไปที่ 0 ในขณะที่ข้อมูลจะดึงออกไปเพื่อการประนีประนอมที่ดี