โซลูชันการวิเคราะห์การประมาณค่าสัมประสิทธิ์การถดถอยเชิงเส้น

ฉันพยายามที่จะเข้าใจสัญลักษณ์ของเมทริกซ์และทำงานกับเวกเตอร์และเมทริกซ์

ตอนนี้ฉันต้องการที่จะเข้าใจว่าเวกเตอร์ของการประมาณค่าสัมประสิทธิ์ในการคำนวณหลายถดถอย$\hat{\beta}$

สมการพื้นฐานดูเหมือนจะเป็น

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

ตอนนี้ฉันจะแก้ปัญหาสำหรับ vector $\beta$ที่นี่ได้อย่างไร

แก้ไข : เดี๋ยวก่อนฉันติดอยู่ ฉันมาที่นี่แล้วและไม่รู้จะทำอย่างไรต่อ:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

ด้วยสำหรับทุกสิ่งที่ถูกดัก:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

คุณช่วยชี้ฉันในทิศทางที่ถูกต้องได้ไหม?

เรามี

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$เบต้า)

มันสามารถแสดงได้โดยการเขียนสมการอย่างชัดเจนด้วยองค์ประกอบ ยกตัวอย่างเช่นการเขียนแทน\จากนั้นจดอนุพันธ์ที่เกี่ยวข้องกับ , , ... ,และรวบรวมทุกอย่างเพื่อรับคำตอบ สำหรับภาพที่ง่ายและรวดเร็วคุณสามารถเริ่มต้นด้วย2$(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

ด้วยประสบการณ์หนึ่งพัฒนากฎทั่วไปซึ่งบางอย่างจะได้รับเช่นในเอกสารนั้น

แก้ไขเพื่อเป็นแนวทางสำหรับส่วนที่เพิ่มของคำถาม

ด้วยเรามี$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

อนุพันธ์ที่เกี่ยวกับคือ$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

ในทำนองเดียวกันอนุพันธ์ที่เกี่ยวกับคือ$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

ดังนั้นอนุพันธ์ที่เกี่ยวข้องกับคือ$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

ตอนนี้สังเกตว่าคุณสามารถเขียนนิพจน์สุดท้ายเป็น

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

แน่นอนว่าทุกอย่างทำไปในทางเดียวกันสำหรับใหญ่ขึ้น$p$

คุณยังสามารถใช้สูตรจากเมทริกซ์ตำราอาหารได้ เรามี

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

ตอนนี้ใช้อนุพันธ์ของแต่ละเทอม คุณอาจต้องการที่จะแจ้งให้ทราบว่า\อนุพันธ์ของเทอมเทียบกับคือศูนย์ ระยะเวลาที่เหลือ$\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

เป็นรูปแบบของการทำงาน

$$f(x)=x'Ax+b'x,$$

ในสูตร (88) ในหนังสือเล่มนี้ในหน้า 11 มี ,และขอนุพันธ์ได้รับในสูตร (89):$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

ดังนั้น

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

ตอนนี้เนื่องจากเราได้คำตอบที่ต้องการ:$(X'X)'=X'X$

$$X'X\beta=X'y$$

นี่เป็นเทคนิคในการลดผลรวมของกำลังสองในการถดถอยที่จริงแล้วมีแอปพลิเคชันสำหรับการตั้งค่าทั่วไปมากขึ้นและฉันพบว่ามีประโยชน์

ลองหลีกเลี่ยงแคลคูลัสเวกเตอร์เมทริกซ์โดยสิ้นเชิง

สมมติว่าเรามีความสนใจในการย่อให้เล็กสุด ที่ ,และพี เราคิดว่าสำหรับความเรียบง่ายและP

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

สำหรับเราได้รับ $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

ถ้าเราสามารถเลือก (find!) เวกเตอร์เช่นนั้นคำสุดท้ายที่ด้านขวามือเป็นศูนย์สำหรับทุก ๆเราก็จะทำเสร็จเพราะนั่นจะแปลว่า 2$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

แต่,สำหรับทั้งหมดและถ้าหากและ สมการนี้เป็นจริงถ้าหากว่า\ ดังนั้นจะลดลงโดยการ\$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

แม้ว่านี่อาจดูเหมือน "เคล็ดลับ" เพื่อหลีกเลี่ยงแคลคูลัส แต่จริงๆแล้วมันมีแอพพลิเคชั่นที่กว้างขึ้นและมีรูปทรงเรขาคณิตที่น่าสนใจ

ตัวอย่างหนึ่งที่เทคนิคนี้ทำให้มามากง่ายกว่าเมทริกซ์เวกเตอร์แคลคูลัสวิธีการใด ๆ คือเมื่อเราคุยกับกรณีเมทริกซ์ ปล่อย ,และp} สมมติว่าเราต้องการย่อ ทั่วทั้งเมทริกซ์ของพารามิเตอร์ . ที่นี่เป็นเมทริกซ์ความแปรปรวนร่วม$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

วิธีการที่คล้ายกันทั้งหมดที่กล่าวมาข้างต้นอย่างรวดเร็วพิสูจน์ได้ว่าการบรรลุข้อขั้นต่ำคือ นั่นคือในการตั้งค่าการถดถอยที่การตอบสนองเป็นเวกเตอร์ที่มีความแปรปรวนร่วมและการสังเกตมีความเป็นอิสระจากนั้นประมาณการ OLS จะบรรลุได้โดยการทำถดถอยเชิงเส้นแยกต่างหากในองค์ประกอบของการตอบสนอง$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

วิธีหนึ่งที่อาจช่วยให้คุณเข้าใจคือการไม่ใช้พีชคณิตเมทริกซ์และแยกแยะแต่ละส่วนที่เกี่ยวข้องกับแต่ละองค์ประกอบจากนั้น "จัดเก็บ" ผลลัพธ์ในคอลัมน์เวกเตอร์ ดังนั้นเราจึงมี:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

ทีนี้คุณมีของสมการเหล่านี้หนึ่งอันสำหรับแต่ละเบต้า นี่เป็นแอปพลิเคชันอย่างง่ายของกฎลูกโซ่:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

ตอนนี้เราสามารถเขียนผลรวมอีกครั้งในวงเล็บได้ที่ ดังนั้นคุณจะได้รับ:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

ทีนี้เรามีของสมการเหล่านี้แล้วเราจะ "สแต็กพวกมัน" ในเวกเตอร์คอลัมน์ โปรดสังเกตว่าเป็นคำศัพท์เดียวที่ขึ้นอยู่กับดังนั้นเราจึงสามารถซ้อนสิ่งนี้ลงใน vectorและเราได้รับ:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

ตอนนี้เราสามารถใช้เบต้านอกผลรวม (แต่ต้องอยู่ที่ RHS ของผลรวม) แล้วจึงใช้อินเวอร์เวีย:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$