การเชื่อมต่อระหว่างการทำให้เป็นมาตรฐานและวิธีการคูณตัวคูณ lagrange คืออะไร?

เพื่อป้องกันไม่ให้คน overfitting คนเพิ่มระยะ normalization (สัดส่วนกับผลรวมกำลังสองของพารามิเตอร์ของแบบจำลอง) ด้วยพารามิเตอร์ normalizationไปยังฟังก์ชันต้นทุนของการถดถอยเชิงเส้น พารามิเตอร์นี้เหมือนกับตัวคูณ lagrange หรือไม่? การทำให้เป็นมาตรฐานเป็นเช่นเดียวกับวิธีการของตัวคูณ lagrange หรือไม่? หรือวิธีการเหล่านี้เชื่อมต่อกันอย่างไร? $\lambda$$\lambda$

สมมติว่าเรากำลังปรับโมเดลให้เหมาะสมด้วยพารามิเตอร์โดยการลดเกณฑ์ให้อยู่ภายใต้ข้อ จำกัด ด้านขนาดของพารามิเตอร์เวกเตอร์ (ตัวอย่างเช่นการใช้วิธีลดความเสี่ยงเชิงโครงสร้างโดย การสร้างโมเดลที่ซ้อนกันของความซับซ้อนที่เพิ่มขึ้น) เราจะต้องแก้ไข: f( → θ$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

ลากรองจ์สำหรับปัญหานี้คือ (ข้อแม้: ฉันคิดว่ามันเป็นวันที่ยาวนาน ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

ดังนั้นจะเห็นได้อย่างง่ายดายว่าฟังก์ชั่นค่าใช้จ่ายปกติมีความสัมพันธ์อย่างใกล้ชิดกับปัญหาการปรับให้เหมาะสมแบบ จำกัด ด้วยพารามิเตอร์การทำให้เป็นมาตรฐานที่เกี่ยวข้องกับค่าคงที่ควบคุมข้อ จำกัด ( ) และเป็นตัวคูณตัวคูณ Lagrange $\lambda$$C$

นี่แสดงให้เห็นว่าเหตุใดเช่นการถดถอยของสันนำการลดความเสี่ยงของโครงสร้างมาใช้: การทำให้เป็นมาตรฐานเทียบเท่ากับการวางข้อ จำกัด กับขนาดของเวกเตอร์น้ำหนักและถ้าดังนั้นโมเดลทุกตัวที่สามารถทำได้ในขณะที่ปฏิบัติตามข้อ จำกัด$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

จะสามารถใช้ได้ภายใต้ข้อ จำกัด

$\|\vec{\theta}\|^2 < C_1$<C_1

ดังนั้นการลดสร้างลำดับของพื้นที่ว่างของความซับซ้อนที่เพิ่มขึ้น$\lambda$