การประยุกต์ใช้การถดถอยของริดจ์กับระบบสมการที่บ่อนทำลาย?

เมื่อปัญหากำลังสองน้อยที่สุดซึ่งกำหนดข้อ จำกัด เป็นทรงกลมบนค่าของ\ betaสามารถเขียนเป็น \ start {สมการ} \ \ \ {array} & \ operatorname {min} \ \ | y - X \ beta \ | ^ 2_2 \\ \ operatorname {st} \ \ | \ beta \ | ^ 2_2 \ le \ delta ^ 2 \ end {array} \ end {สมการ} สำหรับระบบ overdetermined \ | \ cdot \ | _2เป็นบรรทัดฐานแบบยุคลิดของเวกเตอร์$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

โซลูชันที่สอดคล้องกับ$\beta$ได้รับโดย

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ ซึ่งสามารถได้มาจากวิธีการคูณลากรองจ์ ( $\lambda$คือตัวคูณ): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

ฉันเข้าใจว่ามีคุณสมบัติที่

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ ทางด้านขวามือมีลักษณะคล้ายกับ pseudo-inverse ของ regressor matrix $X$ในกรณีที่ไม่ได้กำหนด (ด้วยพารามิเตอร์การทำให้เป็นมาตรฐาน$\lambda$ ) หมายความว่าหมายความว่าสามารถใช้นิพจน์เดียวกันเพื่อประมาณ$\beta$สำหรับกรณีที่ถูกกำหนดไม่ได้? มีการแยกที่มาสำหรับการแสดงออกที่สอดคล้องกันในกรณี underdetermined เป็นข้อ จำกัด การ จำกัด ทรงกลมซ้ำซ้อนกับฟังก์ชั่นวัตถุประสงค์ (บรรทัดฐานขั้นต่ำของ$\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

เริ่มต้นด้วยการกำหนดปัญหาการถดถอยของสันเขาดังนี้

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

คุณสามารถเขียนปัญหาเป็น

$\min \| A\beta - b \|_{2}^{2}$

ที่ไหน

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

และ

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

เมทริกซ์มียศคอลัมน์เต็มเพราะส่วนหนึ่ง ดังนั้นปัญหากำลังสองน้อยที่สุดเป็นวิธีแก้ปัญหาเฉพาะ$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

เขียนสิ่งนี้ในรูปของและและทำให้ 0 เป็นจำนวนมากได้ง่ายขึ้น$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

ไม่มีอะไรในที่มานี้ขึ้นอยู่กับว่ามีแถวหรือคอลัมน์มากขึ้นหรือแม้กระทั่งว่ามีอันดับเต็ม สูตรนี้จึงใช้กับกรณีที่ไม่ได้ระบุไว้ $X$$X$

มันเป็นความจริงเชิงพีชคณิตสำหรับ ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

ดังนั้นเรายังมีตัวเลือกในการใช้

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ Y

ในการตอบคำถามเฉพาะของคุณ:

1. ใช่สูตรทั้งสองใช้ได้กับกรณีที่ไม่ได้ระบุไว้และกรณีที่กำหนดไว้มากเกินไป พวกเขายังทำงานถ้ามีค่าน้อยกว่าขั้นต่ำของจำนวนแถวและคอลัมน์ของXรุ่นที่สองสามารถมีประสิทธิภาพมากขึ้นสำหรับปัญหาที่ไม่ได้ระบุเนื่องจากมีขนาดเล็กกว่าในกรณีนั้น $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. ฉันไม่ได้ตระหนักถึงสูตรทางเลือกที่เริ่มต้นด้วยปัญหากำลังสองน้อยที่สุดและใช้สมการปกติ ไม่ว่าในกรณีใดคุณจะได้รับมันในแบบตรงไปตรงมาโดยใช้พีชคณิตเล็กน้อย

เป็นไปได้ว่าคุณกำลังคิดถึงปัญหาการถดถอยของสันเขาในรูปแบบ

$\min \| \beta \|_{2}^{2}$

ภายใต้

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

อย่างไรก็ตามปัญหาการถดถอยของสันเขารุ่นนี้จะนำไปสู่ปัญหากำลังสองน้อยที่สุดที่เหมือนกัน{2}$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$