การผ่อนคลายลากรองจ์ในบริบทของการถดถอยของสันเขา


15

ใน "องค์ประกอบของการเรียนรู้ทางสถิติ" (2nd ed), p63, ผู้เขียนให้สองสูตรต่อไปนี้ของปัญหาการถดถอยสัน:

β^Rผมdก.อี=argminβ{Σผม=1ยังไม่มีข้อความ(Yผม-β0-ΣJ=1พีxผมJβJ)2+λΣJ=1พีβJ2}

และ

β^Rผมdก.อี=argminβΣผม=1ยังไม่มีข้อความ(Yผม-β0-ΣJ=1พีxผมJβJ)2ภายใต้ ΣJ=1พีβJ2เสื้อ.

มันก็อ้างว่าทั้งสองจะเทียบเท่าและมีการติดต่อแบบหนึ่งต่อหนึ่งระหว่างพารามิเตอร์และทีλเสื้อ

มันจะปรากฏว่าสูตรแรกคือการผ่อนคลายลากรองจ์ที่สอง อย่างไรก็ตามฉันไม่เคยมีความเข้าใจอย่างชาญฉลาดว่าการผ่อนคลายของลากรองจ์นั้นเป็นอย่างไร

มีวิธีง่าย ๆ ที่จะแสดงให้เห็นว่าสูตรทั้งสองมีความเท่าเทียมกันอย่างแท้จริงหรือไม่? ถ้าฉันต้องเลือกฉันชอบสัญชาตญาณมากกว่าความโหดร้าย

ขอบคุณ


หากคุณต้องการคำอธิบายที่เข้าใจง่ายเพียงไปที่ 1.03.26 ของวิดีโอนี้(ไปจนจบ) มีคำอธิบายที่เข้าใจง่ายว่าข้อ จำกัด เกี่ยวข้องกับฟังก์ชันวัตถุประสงค์อย่างไร
user603

คำตอบ:


3

จดหมายที่สามารถแสดงให้เห็นได้ง่ายที่สุดโดยใช้ซองจดหมายทฤษฎีบท

λเสื้อλ

เสื้อเสื้อβλเสื้อ

เสื้อ

ฉันถือว่านี่คือการติดต่อทางจดหมาย Hastie และคณะ กำลังอ้างถึง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.