การถดถอยเชิงเส้น: * ทำไม * คุณสามารถแบ่งผลรวมของช่องสี่เหลี่ยมได้?

โพสต์นี้หมายถึงรูปแบบการถดถอย bivariate เชิงเส้น\ ฉันมักจะแบ่งพาร์ติชันของผลรวมของกำลังสอง (SSTO) เป็นผลรวมของกำลังสองสำหรับข้อผิดพลาด (SSE) และผลรวมของกำลังสองสำหรับโมเดล (SSR) โดยความเชื่อ แต่เมื่อฉันเริ่มคิดจริงๆฉันไม่เข้าใจทำไมมันถึงทำงาน ...$Y_i = \beta_0 + \beta_1x_i$

ส่วนที่ผมไม่เข้าใจ

$y_i$ : ค่าที่สังเกตได้ของ y

$\bar{y}$ : ค่าเฉลี่ยของ$y_i$ s ที่สังเกตได้ทั้งหมด

$\hat{y}_i$ : ค่าติดตั้ง / ทำนายของ y สำหรับการสังเกตของ x

$y_i - \hat{y}_i$ : ส่วนที่เหลือ / ข้อผิดพลาด (ถ้ายกกำลังสองและบวกกันสำหรับการสังเกตทั้งหมดนี่คือ SSE)

$\hat{y}_i - \bar{y}$ : ค่าติดตั้งโมเดลแตกต่างจากค่าเฉลี่ย (ถ้ายกกำลังสองและบวกสำหรับการสังเกตทั้งหมดนี่คือ SSR)

$y_i - \bar{y}$ : ค่าที่สังเกตได้นั้นแตกต่างจากค่าเฉลี่ย (ถ้าถูก suared และบวกสำหรับการสังเกตทั้งหมดนี่คือ SSTO)

ผมสามารถเข้าใจว่าทำไมสำหรับการสังเกตเดียวโดยไม่ squaring อะไร$(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$_i) และฉันสามารถเข้าใจได้ว่าทำไมถ้าคุณต้องการเพิ่มสิ่งต่างๆลงไปในการสังเกตทั้งหมดคุณจะต้องยกกำลังสองพวกเขาหรือพวกมันจะรวมกันเป็น 0

ส่วนที่ฉันไม่เข้าใจคือสาเหตุ (เช่น SSTO = SSR + SSE) มันน่าจะเป็นว่าถ้าคุณมีสถานการณ์ที่แล้วไม่ 2 ทำไมไม่เป็นอย่างนั้น?$(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

มันน่าจะเป็นว่าถ้าคุณมีสถานการณ์ที่แล้ว ไม่ 2 ทำไมไม่เป็นอย่างนั้น?$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

แนวคิดความคิดคือเพราะและเป็น orthogonal (เช่นตั้งฉาก)$BC = 0$$B$$C$

---

ในบริบทของการถดถอยเชิงเส้นที่นี่เหลือที่เป็นมุมฉากกับการคาดการณ์ demeaned{y} การพยากรณ์จากการถดถอยเชิงเส้นสร้างการสลายตัวแบบมุมฉากของในลักษณะที่คล้ายกันว่าคือการสลายตัวแบบมุมฉาก$\epsilon_i = y_i - \hat{y}_i$$\hat{y}_i - \bar{y}$$\mathbf{y}$$(3,4) = (3,0) + (0,4)$

พีชคณิตเชิงเส้นรุ่น:

ปล่อย:

$$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$$

การถดถอยเชิงเส้น (รวมค่าคงที่) จะสลายตัวเป็นผลรวมของเวกเตอร์สองตัว: การพยากรณ์และส่วนที่เหลือ$\mathbf{z}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$

$$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$$

ลองแสดงว่าสินค้า dot (โดยทั่วไปแล้วสามารถเป็นผลิตภัณฑ์ภายใน )$\langle .,. \rangle$$\langle X,Y \rangle$ $E[XY]$

$$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$$

เมื่อบรรทัดสุดท้ายนั้นตามมาจากข้อเท็จจริงที่ว่า (นั่นคือและเป็นมุมฉาก) คุณสามารถพิสูจน์ได้และเป็นมุมฉากขึ้นอยู่กับวิธีการธรรมดาอย่างน้อยสร้างสี่เหลี่ยมถดถอย{Z}}$\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$คือการฉายภาพเชิงเส้นของไปยังพื้นที่ย่อยที่กำหนดโดยการกระจายเชิงเส้นของ regressors , , ฯลฯ .... ที่เหลือเป็น orthogonal ทั้งหมดนั้นจึงเป็นพื้นที่ว่าง (ซึ่งอยู่ในช่วงของ , , ฯลฯ ... ) คือ ตั้งฉากกับepsilon}$\mathbf{z}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$

---

โปรดสังเกตว่าตามที่ฉันนิยามเป็นผลิตภัณฑ์ dot,เป็นอีกวิธีหนึ่งในการเขียน (เช่น SSTO = SSR + SSE)$\langle .,.\rangle$$\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$$\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

จุดทั้งหมดแสดงให้เห็นว่าเวกเตอร์บางตัวเป็นมุมฉากแล้วใช้ทฤษฎีบทพีทาโกรัส

ขอให้เราพิจารณาหลายตัวแปรเชิงเส้นถดถอย\ เรารู้ว่า OLS ประมาณการเป็น(X พิจารณาการประมาณ$Y = X\beta + \epsilon$$\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (เมทริกซ์ H เรียกอีกอย่างว่า "หมวก" เมทริกซ์)

ที่เป็นเมทริกซ์ประมาณการมุมฉากของ Y บน(X) ตอนนี้เรามี$H$$S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

ที่เป็นเมทริกซ์ฉายลงบนส่วนประกอบมุมฉากของซึ่งเป็น(X) ดังนั้นเราจึงรู้ว่าและเป็นมุมฉาก$(I-H)$$S(X)$$S^{\bot}(X)$$Y-\hat{Y}$$\hat{Y}$

ตอนนี้ให้พิจารณารุ่นย่อย$Y = X_0\beta_0 + \epsilon$

โดยที่และในทำนองเดียวกันเรามี OLS ประมาณการและประมาณการและกับการฉายเมทริกซ์บน(x_0) ในทำนองเดียวกันเรามีและเป็นแบบมุมฉาก และตอนนี้$X = [X_0 | X_1 ]$$\hat{\beta_0}$$\hat{Y_0}$$H_0$$S(X_0)$$Y - \hat{Y_0}$$\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

ที่อีกครั้งเป็นเมทริกซ์ฉายฉากในส่วนประกอบของซึ่งเป็น(x_0) ดังนั้นเราจึงมีความตั้งฉากของและ{} ดังนั้นในที่สุดเราก็มี$(I-H_0)$$S(X_0)$$S^{\bot}(X_0)$$\hat{Y} - \hat{Y_0}$$\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

และในที่สุด$||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

สุดท้ายหมายถึงเป็นเพียงเมื่อพิจารณารูปแบบโมฆะE$\bar{Y}$$\hat{Y_0}$$Y = \beta_0 + e$