ในการถดถอยเชิงเส้นเหตุใดการทำให้เป็นมาตรฐานจึงลงโทษค่าพารามิเตอร์ด้วย

ขณะนี้การเรียนรู้การถดถอยสันเขาและฉันสับสนเล็กน้อยเกี่ยวกับการลงโทษของแบบจำลองที่ซับซ้อนมากขึ้น (หรือคำจำกัดความของแบบจำลองที่ซับซ้อนมากขึ้น)

จากสิ่งที่ฉันเข้าใจความซับซ้อนของโมเดลไม่จำเป็นต้องสัมพันธ์กับลำดับพหุนาม ดังนั้น:

$$2 + 3+ 4x^2 + 5x^3 + 6x^4$$ เป็นรูปแบบที่ซับซ้อนกว่า: $$5x^5$$

และฉันรู้ว่าจุดของการทำให้เป็นมาตรฐานคือการทำให้ความซับซ้อนของโมเดลต่ำดังนั้นตัวอย่างเช่นเรามีพหุนามลำดับที่ 5

$$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$$

พารามิเตอร์เพิ่มเติมที่เป็น 0 จะดีกว่า

แต่สิ่งที่ฉันไม่เข้าใจคือถ้าเป็นพหุนามคำสั่งเดียวกันทำไมค่าพารามิเตอร์ที่ต่ำกว่าจึงถูกลงโทษน้อยกว่า ดังนั้นจะ:

$$2 + 5x + x^3$$ เป็นแบบจำลองที่ซับซ้อนน้อยกว่า

$$433+ 342x + 323x^3$$ พวกเขาทั้งสองมีลำดับพหุนามเดียวกันและค่าพารามิเตอร์เพียงแค่ขึ้นอยู่กับข้อมูล

ขอบคุณ!

ค่าพารามิเตอร์ขึ้นอยู่กับข้อมูล

นี่คือส่วนสำคัญของคำถามของคุณ ที่นี่คุณกำลังสับสน

ใช่ค่าพารามิเตอร์ขึ้นอยู่กับข้อมูล แต่ข้อมูลได้รับการแก้ไขเมื่อเราพอดีกับแบบจำลอง ในคำอื่น ๆ ที่เราพอดีกับรูปแบบมีเงื่อนไขในการสังเกต มันไม่ได้ทำให้ความรู้สึกที่จะเปรียบเทียบความซับซ้อนของรูปแบบที่แตกต่างกันที่ได้รับการติดตั้งกับชุดข้อมูลที่แตกต่างกัน

และในบริบทของชุดข้อมูลคงที่แบบจำลอง

$$2 + 5x + x^3$$

ใกล้เคียงกับโมเดลที่ง่ายที่สุดที่เป็นไปได้นั่นคือโมเดลศูนย์แบนมากกว่า

$$433+ 342x + 323x^3,$$

และสิ่งนี้จะถือโดยไม่คำนึงถึงขนาดของการสังเกตของคุณ

อนึ่งการสกัดกั้น ($2$ และ $433$ในตัวอย่างของคุณ) มักจะไม่ถูกลงโทษเช่นในสูตร Lasso ส่วนใหญ่เพราะเรามักจะดีกับการปล่อยให้มันแตกต่างกันอย่างอิสระเพื่อจับค่าเฉลี่ยโดยรวมของการสังเกต กล่าวอีกนัยหนึ่งเราย่อขนาดของโมเดลไปที่ค่าเฉลี่ยของการสังเกตไม่ใช่โมเดลที่สมบูรณ์ (ซึ่งมักจะเป็นศูนย์โดยพลการ) ในแง่นี้แบน$2$ และแบน $433$ รูปแบบจะถือว่ามีความซับซ้อนเท่าเทียมกัน