เหตุใด Lasso หรือ ElasticNet จึงทำงานได้ดีกว่า Ridge เมื่อฟีเจอร์นั้นสัมพันธ์กัน

ฉันมีฟีเจอร์ 150 ชุดและส่วนใหญ่มีความสัมพันธ์ซึ่งกันและกัน เป้าหมายของฉันคือการทำนายค่าของตัวแปรที่ไม่ต่อเนื่องซึ่งเป็นช่วง1-8 ขนาดตัวอย่างของฉันคือ550และฉันใช้การตรวจสอบความถูกต้องข้าม10 เท่า

AFAIK ในบรรดาวิธีการทำให้เป็นมาตรฐาน (Lasso, ElasticNet และ Ridge) Ridge มีความเข้มงวดมากขึ้นในการเชื่อมโยงระหว่างคุณลักษณะต่างๆ นั่นคือเหตุผลที่ฉันคาดว่าด้วย Ridge ฉันควรได้คำทำนายที่แม่นยำยิ่งขึ้น อย่างไรก็ตามผลลัพธ์ของฉันแสดงว่าค่าคลาดเคลื่อนสัมบูรณ์เฉลี่ยของ Lasso หรือ Elastic อยู่ที่ประมาณ0.61ในขณะที่คะแนนนี้เท่ากับ0.97สำหรับการถดถอยของสัน ฉันสงสัยว่าอะไรจะเป็นคำอธิบายสำหรับสิ่งนี้ นี่เป็นเพราะฉันมีคุณสมบัติมากมายและ Lasso ทำงานได้ดีขึ้นเพราะทำให้การเลือกคุณสมบัติเรียงลำดับโดยกำจัดคุณสมบัติที่ซ้ำซ้อนออกไป

สมมติว่าคุณมีตัวแปรทำนายที่มีความสัมพันธ์สูงสองตัวคือและสมมติว่าทั้งสองอยู่กึ่งกลางและปรับขนาด (หมายถึงศูนย์, ผลต่างหนึ่ง) แล้วโทษสันเขาบนเวกเตอร์พารามิเตอร์เป็นβ 2 1 + β 2 2ในขณะที่ระยะโทษเชือกคือ| เบต้า1 | + | β 2 | ทีนี้เนื่องจากโมเดลควรมีค่า colinear สูงดังนั้นxและzมากขึ้นหรือน้อยลงสามารถใช้แทนกันในการทำนายY , การรวมกันเชิงเส้นจำนวนมากของx , zซึ่งเราแทนกันเพียงส่วนเดียว$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$สำหรับ zจะทำงานคล้ายกันกับตัวทำนายเช่น 0.2 x + 0.8 x , 0.3 x + 0.7 zหรือ 0.5 x + 0.5 $x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$จะดีพอ ๆ กับผู้ทำนาย ทีนี้ลองดูตัวอย่างทั้งสามนี้การลงโทษด้วยเชือกในทั้งสามกรณีเท่ากันคือ 1 ในขณะที่การลงโทษสันเขาแตกต่างกันตามลำดับ 0.68, 0.58, 0.5 ดังนั้นการลงโทษสันจะชอบการให้น้ำหนักที่เท่ากันของตัวแปรโคลิเนียร์ จะไม่สามารถเลือกได้ นี่คือเหตุผลหนึ่งที่สัน (หรือโดยทั่วไปแล้วตาข่ายยืดหยุ่นซึ่งเป็นการรวมกันเชิงเส้นของการลงโทษแบบบ่วงบาศและสันเขา) จะทำงานได้ดีขึ้นกับตัวพยากรณ์แบบโคลิเนีย: เมื่อข้อมูลให้เหตุผลเล็กน้อยที่จะเลือกระหว่างการผสมแบบเชิงเส้นของตัวทำนายแบบโคลิเนีย "เดิน" ในขณะที่สันมีแนวโน้มที่จะเลือกน้ำหนักที่เท่ากัน สุดท้ายอาจเป็นการเดาที่ดีกว่าสำหรับใช้กับข้อมูลในอนาคต! และถ้าเป็นเช่นนั้นกับข้อมูลปัจจุบันสามารถแสดงในการตรวจสอบข้ามเป็นผลลัพธ์ที่ดีขึ้นกับสัน

เราสามารถดูสิ่งนี้ได้ในแบบเบย์: สันเขาและบ่วงบาศหมายถึงข้อมูลก่อนหน้าที่แตกต่างกันและข้อมูลก่อนหน้าโดยสันเขามีแนวโน้มที่จะมีเหตุผลมากขึ้นในสถานการณ์เช่นนี้ (คำอธิบายที่นี่ฉันเรียนรู้มากหรือน้อยจากหนังสือ: "การเรียนรู้เชิงสถิติด้วย Sparsity The Lasso and Generalisations" โดย Trevor Hastie, Robert Tibshirani และ Martin Wainwright แต่ตอนนี้ฉันไม่สามารถหาคำพูดได้โดยตรง)

ความแตกต่างที่สำคัญที่สุดระหว่างบ่วงบาศและสันเขาคือบ่วงบาศนั้นเป็นตัวเลือกตามธรรมชาติ มันเป็นไปไม่ได้ที่จะแน่ใจอย่างแท้จริงโดยไม่เห็นค่าสัมประสิทธิ์ที่ติดตั้ง แต่มันง่ายที่จะคิดว่าในบรรดาคุณสมบัติที่มีความสัมพันธ์เหล่านั้น