จะหาวิธีการแก้ปัญหาการถดถอยของสันเขาได้อย่างไร?

ฉันกำลังมีปัญหาบางอย่างกับการได้มาของวิธีแก้ปัญหาการถดถอยของสันเขา

ฉันรู้วิธีการแก้ปัญหาการถดถอยโดยไม่มีคำศัพท์

$$\beta = (X^TX)^{-1}X^Ty.$$

แต่หลังจากเพิ่มคำศัพท์ L2เข้ากับฟังก์ชั่นค่าใช้จ่าย$\lambda\|\beta\|_2^2$

$$\beta = (X^TX + \lambda I)^{-1}X^Ty.$$

มันเพียงพอที่จะแก้ไขฟังก์ชั่นการสูญเสียโดยการเพิ่มบทลงโทษ ในแง่ของเมทริกซ์ฟังก์ชันการสูญเสียกำลังสองเริ่มต้นจะกลายเป็น

$$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$$ การได้มาด้วยความเคารพ$\beta$นำไปสู่สมการปกติ $$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$$ ซึ่งนำไปสู่การประมาณสัน

เรามาสร้างสิ่งที่เรารู้กันดีว่าเมื่อใดก็ตามที่เมทริกซ์โมเดลคือคำตอบ -vector คือและพารามิเตอร์ -vector คือฟังก์ชันวัตถุประสงค์$n\times p$$X$$n$$y$$p$$\beta$

$$f(\beta) = (y - X\beta)^\prime(y - X\beta)$$

(ซึ่งคือผลรวมของกำลังสองของเศษเหลือ) จะลดลงเมื่อแก้สมการปกติ$\beta$

$$(X^\prime X)\beta = X^\prime y.$$

การถดถอยของสันเขาเพิ่มคำอีกคำหนึ่งลงในฟังก์ชันวัตถุประสงค์ (โดยปกติจะเป็นหลังตัวแปรมาตรฐานทั้งหมดเพื่อวางไว้บนฐานรากทั่วไป) ขอให้ลด

$$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$$

สำหรับบางคนที่ไม่ใช่เชิงลบอย่างต่อเนื่อง\มันคือผลรวมของกำลังสองของส่วนที่เหลือบวกกับผลรวมของกำลังสองของสัมประสิทธิ์ตัวเอง (ทำให้เห็นได้ชัดว่ามันมีค่าต่ำสุดทั่วโลก) เพราะก็มีบวกราก\$\lambda$$\lambda\ge 0$$\nu^2 = \lambda$

พิจารณาเมทริกซ์เติมกับแถวที่สอดคล้องกับครั้งเมทริกซ์เอกลักษณ์ :$X$$\nu$$p\times p$$I$

$$X_{*} = \pmatrix{X \\ \nu I}$$

เมื่อเวกเตอร์ถูกขยายในทำนองเดียวกันโดยมีศูนย์ท้าย , ผลิตภัณฑ์เมทริกซ์ในฟังก์ชันวัตถุประสงค์เพิ่มเพิ่มเติมข้อกำหนดของแบบฟอร์มเพื่อวัตถุประสงค์เดิม ดังนั้น$y$$p$$y_{*}$$p$$(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

$$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$$

จากรูปแบบของการแสดงออกทางซ้ายมือจะเป็นสมการปกติในทันที

$$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$$

เพราะเราอยู่ติดกับศูนย์ที่ส่วนท้ายของ , ด้านขวามือเป็นเช่นเดียวกับY ในด้านซ้ายมือจะถูกเพิ่มในต้นฉบับX ดังนั้นสมการปกติใหม่ทำให้ง่ายขึ้น$y$$X^\prime y$$\nu^2 I=\lambda I$$X^\prime X$

$$(X^\prime X + \lambda I)\beta = X^\prime y.$$

---

นอกเหนือจากการประหยัดในเชิงแนวคิดแล้ว - ไม่จำเป็นต้องมีการปรับแต่งใหม่เพื่อให้ได้ผลลัพธ์นี้ - นอกจากนี้ยังเป็นการประหยัดทางคอมพิวเตอร์: ซอฟต์แวร์ของคุณสำหรับการทำกำลังสองน้อยที่สุดทั่วไปจะทำการถดถอยแบบสันเขาโดยไม่มีการเปลี่ยนแปลงใด ๆ (อย่างไรก็ตามมันจะมีประโยชน์ในปัญหาใหญ่ในการใช้ซอฟต์แวร์ที่ออกแบบมาเพื่อจุดประสงค์นี้เพราะมันจะใช้ประโยชน์จากโครงสร้างพิเศษของเพื่อให้ได้ผลลัพธ์อย่างมีประสิทธิภาพสำหรับช่วงเวลาที่หนาแน่นของทำให้คุณสามารถสำรวจว่าคำตอบแตกต่างกันอย่างไร กับ )$X_{*}$$\lambda$$\lambda$

ความงามอีกอย่างของการมองสิ่งต่าง ๆนี้คือวิธีที่จะช่วยให้เราเข้าใจการถดถอยของสันเขา เมื่อเราต้องการที่จะเข้าใจการถดถอยจริงๆก็มักจะช่วยในการคิดว่ามันเรขาคณิต: คอลัมน์ของเป็นการเวกเตอร์ในปริภูมิเวกเตอร์ที่แท้จริงของมิติnโดยการติดถึงดังนั้นจึงยืดพวกมันจาก -vector ถึง -vectors เรากำลังฝังเข้าไปในพื้นที่ขนาดใหญ่โดยรวม "จินตภาพ", ทิศทางตั้งฉากกัน คอลัมน์แรกของ$X$$p$$n$$\nu I$$X$$n$$n+p$$\mathbb{R}^n$$\mathbb{R}^{n+p}$$p$$X$ได้รับส่วนประกอบจินตภาพขนาดเล็กที่มีขนาดซึ่งจะเป็นการเพิ่มความยาวและย้ายออกจากพื้นที่ที่สร้างโดยคอลัมน์ต้นฉบับ คอลัมน์ที่สอง, สาม, ... ,มีความยาวคล้ายกันและถูกย้ายออกจากพื้นที่เดิมด้วยจำนวนเดียวกัน - แต่ทั้งหมดอยู่ในทิศทางใหม่ที่แตกต่างกัน ดังนั้นคอลลิเนียริตี้ใด ๆ ที่ปรากฏในคอลัมน์เดิมจะได้รับการแก้ไขทันที ยิ่งไปกว่านั้นยิ่งใหญ่ขึ้นเวกเตอร์ใหม่เหล่านี้ก็ยิ่งเข้าหาแต่ละ$\nu$$p$$p^\text{th}$$\nu$$\nu$$p$ทิศทางในจินตนาการ: พวกมันมากขึ้นเรื่อย ๆ ดังนั้นการแก้ปัญหาของสมการปกติจะกลายเป็นทันทีที่เป็นไปได้และมันอย่างรวดเร็วจะกลายเป็นตัวเลขที่มีเสถียรภาพเป็นเพิ่มขึ้นจาก0$\nu$$0$

คำอธิบายของกระบวนการนี้แนะนำวิธีการใหม่และสร้างสรรค์ในการจัดการกับปัญหาการถดถอยของสันถูกออกแบบมาเพื่อจัดการ ตัวอย่างเช่นการใช้วิธีการใด ๆ (เช่นการสลายตัวความแปรปรวนที่อธิบายโดย Belsley, Kuh และ Welsch ในหนังสือปี 1980 เรื่องการวินิจฉัยการถดถอยตอนที่ 3) คุณอาจสามารถระบุกลุ่มย่อยของคอลัมน์ collinear ของที่แต่ละกลุ่มย่อย เกือบจะตั้งฉากกับคนอื่น ๆ คุณต้องการเพียงติดกับเป็นแถวจำนวนมากเพื่อ (และศูนย์การ ) ที่มีองค์ประกอบในกลุ่มที่ใหญ่ที่สุดที่ทุ่มเทใหม่มิติหนึ่ง "จินตนาการ" สำหรับแทนที่องค์ประกอบของกลุ่มแต่ละห่างจากพี่น้อง: คุณไม่จำเป็นต้องจินตนาการ ขนาดที่ต้องทำ$X$$X$$y$$p$

การสืบทอดมารวมถึงเมทริกซ์แคลคูลัสซึ่งค่อนข้างน่าเบื่อ เราต้องการแก้ปัญหาต่อไปนี้:

$$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$$

ตอนนี้ให้สังเกตว่า และ เราจะได้รับเงื่อนไขการสั่งซื้อร่วมกัน แยกให้ผลเฉลย:

$$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$$ $$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$$ $$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$$ $\beta$ $$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$$

เมื่อเร็ว ๆ นี้ฉันได้พบคำถามเดียวกันในบริบทของ P-Splines และเนื่องจากแนวคิดนี้เหมือนกันฉันต้องการให้คำตอบโดยละเอียดเกี่ยวกับการได้มาของตัวประมาณสันเขา

เราเริ่มต้นด้วยฟังก์ชั่นเกณฑ์การลงโทษที่แตกต่างจากฟังก์ชั่น OLS-criterion คลาสสิกโดยใช้บทลงโทษในบทสรุปสุดท้าย:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

ที่ไหน

• $p=$จำนวน covariables ที่ใช้ในโมเดล
• $x_i^T\beta =$ตัวทำนายเชิงเส้นมาตรฐานของคุณ
• การสรุปครั้งแรกนำเสนอ MSE อีกครั้ง (การเบี่ยงเบนกำลังสองของการทำนายจากค่าจริง) ที่เราต้องการย่อให้เล็กสุดตามปกติ
• การสรุปครั้งที่สองแสดงถึงการลงโทษที่เราใช้กับค่าสัมประสิทธิ์ ที่นี่เราอยู่ในบริบทของสันเขาซึ่งแสดงถึงการวัดระยะทางแบบยุคลิดดังนั้นระดับ 2 ในระยะการลงโทษ ในกรณีของ Lasso-Penalization เราจะใช้ระดับ 1 และให้ค่าประมาณที่แตกต่างกันโดยสิ้นเชิง

เราสามารถเขียนเกณฑ์นี้ใหม่ในรูปสัญกรณ์เมทริกซ์และแยกย่อยลงได้อีก:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ โดยที่เป็นเมทริกซ์เอกลักษณ์$I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

ตอนนี้เราค้นหาที่ลดเกณฑ์ของเราให้น้อยที่สุด เราใช้ประโยชน์จากกฎความแตกต่างของเมทริกซ์ซึ่งเราสามารถทำได้ สมัครที่นี่เป็น : $\beta$$\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$$(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

มีบางสิ่งที่สำคัญที่ขาดหายไปในคำตอบที่ได้รับ

1. วิธีแก้ปัญหาสำหรับมาจากเงื่อนไขที่จำเป็นในการสั่งซื้อครั้งแรก:ซึ่งให้ผลผลิตI) แต่สิ่งนี้เพียงพอหรือไม่ นั่นคือการแก้ปัญหาเป็นขั้นต่ำทั่วโลกเฉพาะเมื่อนูนอย่างเคร่งครัด สิ่งนี้สามารถแสดงให้เห็นว่าเป็นจริง$\beta$$\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$$\beta = (X^TX+ \lambda I )^{-1}X^T Y$$f_{ridge}(\beta, \lambda)$

2. อีกวิธีในการดูปัญหาคือดูความสมดุลระหว่างและจำกัด เพื่อที OLS ย่อมาจาก Ordinary Least Squares จากมุมมองนี้เป็นเพียงฟังก์ชัน Lagrangian ที่ใช้ในการค้นหา global minima ของฟังก์ชันวัตถุประสงค์นูนจำกัด ด้วยฟังก์ชันนูน .$f_{ridge}(\beta, \lambda)$$f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$$||\beta||^2_2 \leq t$$f_{ridge}(\beta, \lambda)$$f_{OLS}(\beta)$$||\beta||^2_2$

คำอธิบายที่ดีเกี่ยวกับประเด็นเหล่านี้และการได้มาของสามารถพบได้ในบันทึกการบรรยายที่ดีเหล่านี้: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf$\beta$