ในการถดถอยเชิงเส้นอย่างง่ายสูตรการแปรปรวนของค่าตกค้างมาจากไหน?

ตามข้อความที่ฉันใช้สูตรสำหรับความแปรปรวนของส่วนที่เหลือจะได้รับจาก: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

ฉันพบนี้ยากที่จะเชื่อตั้งแต่ที่เหลือคือความแตกต่างระหว่างค่าสังเกตและค่าติดตั้ง; ถ้าใครจะคำนวณความแปรปรวนของความแตกต่างอย่างน้อยที่สุดฉันก็คาดหวังว่า "บวก" บางอย่างในการแสดงออกที่เกิดขึ้น ความช่วยเหลือใด ๆ ในการทำความเข้าใจแหล่งที่มาจะได้รับการชื่นชม $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— เอริค
แหล่งที่มา

เป็นไปได้หรือไม่ที่เครื่องหมาย " " ในข้อความกำลังแสดงผลผิดพลาด (หรืออ่านผิด) เป็นสัญญาณ " "?

+

$+$

-

$-$

— whuber

ฉันเคยคิดแบบนี้ แต่มันเกิดขึ้นสองครั้งในข้อความ (2 บทที่แตกต่างกัน) ดังนั้นฉันคิดว่ามันไม่น่าจะเป็นไปได้ แน่นอนว่าการสืบทอดสูตรจะช่วยได้! :)

— Eric

เชิงลบเป็นผลมาจากความสัมพันธ์เชิงบวกระหว่างการสังเกตและค่าติดตั้งซึ่งจะช่วยลดความแปรปรวนของความแตกต่าง

— Glen_b -Reinstate Monica

@Glen ขอบคุณสำหรับการอธิบายว่าทำไมปรากฎว่าสูตรมีเหตุผลพร้อมกับเมทริกซ์ของคุณด้านล่าง

— Eric

สัญชาตญาณเกี่ยวกับเครื่องหมาย "บวก" ที่เกี่ยวข้องกับความแปรปรวน (จากข้อเท็จจริงที่ว่าแม้เมื่อเราคำนวณความแปรปรวนของความแตกต่างของตัวแปรสุ่มอิสระเราเพิ่มความแปรปรวน) นั้นถูกต้อง แต่ไม่สมบูรณ์อย่างร้ายแรง: หากตัวแปรสุ่มที่เกี่ยวข้องไม่อิสระ จากนั้นก็มีส่วนร่วมกับความแปรปรวนร่วมและความแปรปรวนร่วมอาจเป็นลบ มีการแสดงออกที่เป็นอยู่เกือบจะเหมือนการแสดงออกในคำถามก็คิดว่ามัน "ควร" จะโดย OP (และผม) และมันก็เป็นความแปรปรวนของการทำนายผิดพลาดแสดงว่ามันที่ $e^0 = y^0 - \hat y^0$ : $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

ความแตกต่างที่สำคัญระหว่างความแปรปรวนของข้อผิดพลาดการทำนายและความแปรปรวนของการประมาณค่าข้อผิดพลาด (เช่นของที่เหลือ) เป็นคำว่าข้อผิดพลาดของการสังเกตที่คาดการณ์ไม่ได้มีความสัมพันธ์กับประมาณการเนื่องจากค่าถูกไม่ได้นำมาใช้ในการสร้าง ตัวประมาณและคำนวณค่าประมาณเป็นค่าที่ไม่อยู่ในกลุ่มตัวอย่าง $y^0$

พีชคณิตสำหรับรายได้ทั้งสองในลักษณะเดียวกันถึงจุด (ใช้แทน ) แต่แล้ว diverges โดยเฉพาะ: $^0$ $_i$

ในเชิงเส้นอย่างง่ายถดถอย , ความแปรปรวนของประมาณการยังคงเป็น $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

เรามี

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

และอื่น ๆ

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

เรามี

[n Σ x_{ผม}^{2} - {(Σ x_{ผม})}^{2}] = [n Σ x_{ผม}^{2} - n^{2} {\bar{x}}^{2}] = n [Σ x_{ผม}^{2} - n {\bar{x}}^{2}] = n Σ (x_{ผม}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

ดังนั้น

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) Σ x_{ผม}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

ซึ่งหมายความว่า

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

-th ที่เหลือถูกกำหนดให้เป็น $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{ผม}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

ค่าสัมประสิทธิ์ที่เกิดขึ้นจริงจะถือว่าเป็นค่าคงที่ regressor ได้รับการแก้ไข (หรือเงื่อนไขในนั้น) และมีศูนย์ความแปรปรวนที่มีระยะเวลาข้อผิดพลาดแต่ประมาณมีความสัมพันธ์กับระยะผิดพลาดเพราะประมาณมีตัวแปรตามและตัวแปรตาม มีคำข้อผิดพลาด ดังนั้นเราจึงมี

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

แพ็คมันขึ้นมาเล็กน้อยเพื่อรับ

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

คำในวงเล็บใหญ่มีตรงโครงสร้างเดียวกันกับความแปรปรวนของข้อผิดพลาดการทำนายที่มีการเปลี่ยนแปลงเพียงอย่างเดียวว่าแทนที่จะเราจะมี (และความแปรปรวนจะเป็นที่ของและไม่ได้ของ ) คำแปรปรวนสุดท้ายเป็นศูนย์สำหรับข้อผิดพลาดการทำนายเพราะและด้วยเหตุนี้จะไม่รวมอยู่ในตัวประมาณ แต่ไม่เป็นศูนย์สำหรับข้อผิดพลาดการประมาณค่าเพราะและด้วยเหตุนี้เป็นส่วนหนึ่งของกลุ่มตัวอย่างและดังนั้นจึงเป็นที่รวมอยู่ใน ประมาณการ เรามี $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

การเปลี่ยนตัวผู้เล่นที่ผ่านมาจากวิธีมีการคำนวณ อย่างต่อเนื่อง $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

เราใส่สิ่งนี้ลงในนิพจน์สำหรับความแปรปรวนของส่วนที่เหลือเราได้

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

ดังนั้นปิดข้อความที่ OP ใช้

(ฉันได้ข้ามพีชคณิตมาแล้วไม่น่าแปลกใจที่พีชคณิต OLS ถูกสอนน้อยลงทุกวันนี้ ... )

สัญชาตญาณบางอย่าง

ดังนั้นจึงปรากฏว่าสิ่งที่ทำงาน "กับ" เรา (ความแปรปรวนขนาดใหญ่) เมื่อทำนายการทำงาน "สำหรับเรา" (ความแปรปรวนต่ำกว่า) เมื่อประมาณ นี่เป็นจุดเริ่มต้นที่ดีสำหรับคนที่จะไตร่ตรองว่าทำไมความพอดีที่ยอดเยี่ยมอาจเป็นสัญญาณที่ไม่ดีสำหรับความสามารถในการทำนายของแบบจำลอง
ความจริงที่ว่าเรามีการประเมินมูลค่าที่คาดหวังของ regressor ที่ลดความแปรปรวนโดย nทำไม? เพราะโดยการประมาณเรา "ปิดตาของเรา" กับความแปรปรวนข้อผิดพลาดบางอย่างที่มีอยู่ในตัวอย่างเนื่องจากเราประเมินค่าที่คาดหวังเป็นหลัก ยิ่งกว่านั้นยิ่งใหญ่ $1/n$ เบี่ยงเบนของการสังเกตของ regressor จาก regressor ของค่าเฉลี่ยของกลุ่มตัวอย่างนั้นที่มีขนาดเล็กความแปรปรวนของที่เหลือเกี่ยวข้องกับการสังเกตนี้จะเป็น ... ที่มากกว่าที่เบี่ยงเบนสังเกตที่น้อยกว่าที่เบี่ยงเบนของที่เหลือ ... มันเป็นความแปรปรวนของ regressorsที่เหมาะกับเราโดย "รับตำแหน่ง" ของความแปรปรวนที่ไม่รู้จักที่ไม่รู้จัก

แต่นั่นเป็นสิ่งที่ดีสำหรับการประมาณค่า สำหรับการคาดเดาสิ่งเดียวกันทำให้เรา: ตอนนี้โดยไม่คำนึงถึง แต่ไม่สมบูรณ์ความแปรปรวนใน (เนื่องจากเราต้องการที่จะทำนายมัน) ผู้ประมาณค่าที่ไม่สมบูรณ์ของเราที่ได้จากตัวอย่างแสดงจุดอ่อนของพวกเขา: เราประเมินตัวอย่าง หมายความว่าเราไม่ทราบค่าที่คาดหวังที่แท้จริง - ความแปรปรวนเพิ่มขึ้น เรามีที่อยู่ห่างไกลจากค่าเฉลี่ยของกลุ่มตัวอย่างตามที่คำนวณได้จากข้อสังเกตอื่น ๆ -too ไม่ดีแปรปรวนข้อผิดพลาดการคาดการณ์ของเราได้รับเพิ่มอีกเพราะคาดการณ์ $y^0$ $x^0$ $\hat y^0$ จะมีแนวโน้มที่จะหลงทาง ... ในภาษาวิทยาศาสตร์มากกว่า "ตัวทำนายที่ดีที่สุดในแง่ของการลดความผิดพลาดในการทำนายที่ลดลงแสดงถึงการหดตัวไปสู่ค่าเฉลี่ยของตัวแปรภายใต้การทำนาย" เราไม่พยายามทำซ้ำความแปรปรวนของตัวแปรตาม - เราเพียงแค่พยายามอยู่ "ใกล้เคียงกับค่าเฉลี่ย"

— Alecos Papadopoulos
แหล่งที่มา

ขอบคุณสำหรับคำตอบที่ชัดเจนมาก! ฉันดีใจที่ "ปรีชา" ของฉันถูกต้อง

— เอริค

Alecos ฉันไม่คิดว่ามันถูกต้อง

— Glen_b -Reinstate Monica

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

@Eric I apologize for misleading you earlier. I have tried to provide some intuition for both formulas.

— Alecos Papadopoulos

+1 You can see why I did the multiple regression case for this... thanks for going to the extra effort of doing the simple-regression case.

— Glen_b -Reinstate Monica

Sorry for the somewhat terse answer, perhaps overly-abstract and lacking a desirable amount of intuitive exposition, but I'll try to come back and add a few more details later. At least it's short.

Given $H=X(X^TX)^{-1}X^T$ ,

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((I - H) y) \\ = & (I - H) Var (y) (I - H)^{T} \\ = & σ^{2} (I - H)^{2} \\ = & σ^{2} (I - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

Hence

Var (y_{i} - {\hat{y}}_{i}) = σ^{2} (1 - h_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

In the case of simple linear regression ... this gives the answer in your question.

This answer also makes sense: since $\hat{y}_i$ is positively correlated with $y_i$ , the variance of the difference should be smaller than the sum of the variances.

Edit: Explanation of why $(I-H)$ is idempotent.

(i) $H$ is idempotent:

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b -Reinstate Monica
แหล่งที่มา

This is a very nice derivation for its simplicity, although one step that is not clear to me is why

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$ . Maybe when you expand on your answer a little, as you're planning to do anyway, you could say a little something about that?

— Jake Westfall

@Jake เพิ่มสองบรรทัดในตอนท้าย

— Glen_b -Reinstate Monica