ฉันจะคำนวณความแปรปรวนของเครื่องมือประมาณค่า OLS

ฉันรู้ว่า และนี่คือสิ่งที่ฉันได้รับเมื่อคำนวณความแปรปรวน:

$$\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}$$

$$\begin{align*} Var(\hat{\beta_0}) &= Var(\bar{y} - \hat{\beta_1}\bar{x}) \\ &= Var((-\bar{x})\hat{\beta_1}+\bar{y}) \\ &= Var((-\bar{x})\hat{\beta_1})+Var(\bar{y}) \\ &= (-\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= (\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= \frac{\sigma^2 (\bar{x})^2}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2} \end{align*}$$

แต่เท่าที่ฉันได้รับ สูตรสุดท้ายที่ฉันพยายามจะคำนวณคือ

$$\begin{align*} Var(\hat{\beta_0}) &= \frac{\sigma^2 n^{-1}\displaystyle\sum\limits_{i=1}^n x_i^2}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2} \end{align*}$$

ฉันไม่แน่ใจว่าจะได้รับอย่างไรสมมติว่าคณิตศาสตร์ของฉันถูกต้องตรงนั้น .

$$(\bar{x})^2 = \frac{1}{n}\displaystyle\sum\limits_{i=1}^n x_i^2$$

นี่เป็นเส้นทางที่ถูกต้องหรือไม่

$$\begin{align} (\bar{x})^2 &= \left(\frac{1}{n}\displaystyle\sum\limits_{i=1}^n x_i\right)^2 \\ &= \frac{1}{n^2} \left(\displaystyle\sum\limits_{i=1}^n x_i\right)^2 \end{align}$$

ฉันแน่ใจว่ามันง่ายดังนั้นคำตอบอาจรอสักครู่หากมีคนแนะนำให้ฉันไปในทิศทางที่ถูกต้อง

นี่เป็นคำถามที่ศึกษาด้วยตนเองดังนั้นฉันจึงให้คำแนะนำที่หวังว่าจะช่วยในการค้นหาวิธีแก้ไขและฉันจะแก้ไขคำตอบตามความคิดเห็น / ความคืบหน้าของคุณ

พารามิเตอร์ประมาณการที่ลดผลรวมของกำลังสองคือ เพื่อรับความแตกต่างของให้เริ่มจากการแสดงออกและแทนที่นิพจน์ของและทำพีชคณิต

$$\begin{align} \hat{\beta}_0 &= \bar{y} - \hat{\beta}_1 \bar{x} , \\ \hat{\beta}_1 &= \frac{ \sum_{i = 1}^n(x_i - \bar{x})y_i }{ \sum_{i = 1}^n(x_i - \bar{x})^2 } . \end{align}$$ $\hat{\beta}_0$$\hat{\beta}_1$ $${\rm Var}(\hat{\beta}_0) = {\rm Var} (\bar{Y} - \hat{\beta}_1 \bar{x}) = \ldots$$

แก้ไข:
เรามี คำแปรปรวนสองคำคือ และ และคำแปรปรวนร่วมคือ

$$\begin{align} {\rm Var}(\hat{\beta}_0) &= {\rm Var} (\bar{Y} - \hat{\beta}_1 \bar{x}) \\ &= {\rm Var} (\bar{Y}) + (\bar{x})^2 {\rm Var} (\hat{\beta}_1) - 2 \bar{x} {\rm Cov} (\bar{Y}, \hat{\beta}_1). \end{align}$$ $${\rm Var} (\bar{Y}) = {\rm Var} \left(\frac{1}{n} \sum_{i = 1}^n Y_i \right) = \frac{1}{n^2} \sum_{i = 1}^n {\rm Var} (Y_i) = \frac{\sigma^2}{n},$$ $$\begin{align} {\rm Var} (\hat{\beta}_1) &= \frac{ 1 }{ \left[\sum_{i = 1}^n(x_i - \bar{x})^2 \right]^2 } \sum_{i = 1}^n(x_i - \bar{x})^2 {\rm Var} (Y_i) \\ &= \frac{ \sigma^2 }{ \sum_{i = 1}^n(x_i - \bar{x})^2 } , \end{align}$$ $$\begin{align} {\rm Cov} (\bar{Y}, \hat{\beta}_1) &= {\rm Cov} \left\{ \frac{1}{n} \sum_{i = 1}^n Y_i, \frac{ \sum_{j = 1}^n(x_j - \bar{x})Y_j }{ \sum_{i = 1}^n(x_i - \bar{x})^2 } \right \} \\ &= \frac{1}{n} \frac{ 1 }{ \sum_{i = 1}^n(x_i - \bar{x})^2 } {\rm Cov} \left\{ \sum_{i = 1}^n Y_i, \sum_{j = 1}^n(x_j - \bar{x})Y_j \right\} \\ &= \frac{ 1 }{ n \sum_{i = 1}^n(x_i - \bar{x})^2 } \sum_{i = 1}^n (x_j - \bar{x}) \sum_{j = 1}^n {\rm Cov}(Y_i, Y_j) \\ &= \frac{ 1 }{ n \sum_{i = 1}^n(x_i - \bar{x})^2 } \sum_{i = 1}^n (x_j - \bar{x}) \sigma^2 \\ &= 0 \end{align}$$ ตั้งแต่ 0 และตั้งแต่ $\sum_{i = 1}^n (x_j - \bar{x})=0$
$$\sum_{i = 1}^n(x_i - \bar{x})^2 = \sum_{i = 1}^n x_i^2 - 2 \bar{x} \sum_{i = 1}^n x_i + \sum_{i = 1}^n \bar{x}^2 = \sum_{i = 1}^n x_i^2 - n \bar{x}^2,$$ เรามี $$\begin{align} {\rm Var}(\hat{\beta}_0) &= \frac{\sigma^2}{n} + \frac{ \sigma^2 \bar{x}^2}{ \sum_{i = 1}^n(x_i - \bar{x})^2 } \\ &= \frac{\sigma^2 }{ n \sum_{i = 1}^n(x_i - \bar{x})^2 } \left\{ \sum_{i = 1}^n(x_i - \bar{x})^2 + n \bar{x}^2 \right\} \\ &= \frac{\sigma^2 \sum_{i = 1}^n x_i^2}{ n \sum_{i = 1}^n(x_i - \bar{x})^2 }. \end{align}$$

แก้ไข 2

ทำไมเราถึงมี ?${\rm var} ( \sum_{i = 1}^n Y_i) = \sum_{i = 1}^n {\rm Var} (Y_i)$

แบบจำลองที่สมมติขึ้นคือโดยที่เป็นอิสระและตัวแปรสุ่มแบบกระจายที่มีและ 2$Y_i = \beta_0 + \beta_1 X_i + \epsilon_i$$\epsilon_i$${\rm E}(\epsilon_i) = 0$${\rm var}(\epsilon_i) = \sigma^2$

เมื่อเรามีตัวอย่างที่เป็นที่รู้จักกันในแง่เท่านั้นสุ่มเป็น\นึกถึงว่าสำหรับตัวแปรสุ่มและคงเรามี(Z) ดังนั้น ความเสมอภาคที่ 4 ถือเป็น$X_i$$\epsilon_i$$Z$$a$${\rm var}(a+Z) = {\rm var}(Z)$

$$\begin{align} {\rm var} \left( \sum_{i = 1}^n Y_i \right) &= {\rm var} \left( \sum_{i = 1}^n \beta_0 + \beta_1 X_i + \epsilon_i \right)\\ &= {\rm var} \left( \sum_{i = 1}^n \epsilon_i \right) = \sum_{i = 1}^n \sum_{j = 1}^n {\rm cov} (\epsilon_i, \epsilon_j)\\ &= \sum_{i = 1}^n {\rm cov} (\epsilon_i, \epsilon_i) = \sum_{i = 1}^n {\rm var} (\epsilon_i)\\ &= \sum_{i = 1}^n {\rm var} (\beta_0 + \beta_1 X_i + \epsilon_i) = \sum_{i = 1}^n {\rm var} (Y_i).\\ \end{align}$$ ${\rm cov} (\epsilon_i, \epsilon_j) = 0$สำหรับโดยอิสระของ\$i \neq j$$\epsilon_i$

ฉันเข้าใจแล้ว! ด้วยความช่วยเหลือ ฉันพบส่วนหนึ่งของหนังสือที่ให้ขั้นตอนการทำงานผ่านการพิสูจน์สูตร (โชคดีที่มันไม่ได้ผลจริง ๆ มิฉะนั้นฉันจะไม่อยากทำ ทำหลักฐานได้จริง) ฉันพิสูจน์แต่ละขั้นตอนแยกจากกันและฉันคิดว่ามันใช้ได้$Var \left( \hat{\beta}_0 \right)$

ฉันใช้สัญลักษณ์ของหนังสือซึ่งก็คือ: และเป็นคำที่ผิดพลาด

$$SST_x = \displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2,$$ $u_i$

1) แสดงว่าสามารถเขียนเป็นโดยที่และ{x}$\hat{\beta}_1$$\hat{\beta}_1 = \beta_1 + \displaystyle\sum\limits_{i=1}^n w_i u_i$$w_i = \frac{d_i}{SST_x}$$d_i = x_i - \bar{x}$

นี่เป็นเรื่องง่ายเพราะเรารู้ว่า

$$\begin{align} \hat{\beta}_1 &= \beta_1 + \frac{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x}) u_i}{SST_x} \\ &= \beta_1 + \displaystyle\sum\limits_{i=1}^n \frac{d_i}{SST_x} u_i \\ &= \beta_1 + \displaystyle\sum\limits_{i=1}^n w_i u_i \end{align}$$

2) ใช้ส่วนที่ 1 พร้อมกับเพื่อแสดงว่าและไม่มีการเช่นแสดงว่า0$\displaystyle\sum\limits_{i=1}^n w_i = 0$$\hat{\beta_1}$$\bar{u}$$E[(\hat{\beta_1}-\beta_1) \bar{u}] = 0$

$$\begin{align} E[(\hat{\beta_1}-\beta_1) \bar{u}] &= E[\bar{u}\displaystyle\sum\limits_{i=1}^n w_i u_i] \\ &=\displaystyle\sum\limits_{i=1}^n E[w_i \bar{u} u_i] \\ &=\displaystyle\sum\limits_{i=1}^n w_i E[\bar{u} u_i] \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i E\left(u_i\displaystyle\sum\limits_{j=1}^n u_j\right) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \left[E\left(u_i u_1\right) +\cdots + E(u_i u_j) + \cdots+ E\left(u_i u_n \right)\right] \\ \end{align}$$

และเพราะจะ IID,เมื่อฉัน$u$$E(u_i u_j) = E(u_i) E(u_j)$$j \neq i$

เมื่อ ,ดังนั้นเราจึงมี:$j = i$$E(u_i u_j) = E(u_i^2)$

$$\begin{align} &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \left[E(u_i) E(u_1) +\cdots + E(u_i^2) + \cdots + E(u_i) E(u_n)\right] \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i E(u_i^2) \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \left[Var(u_i) + E(u_i) E(u_i)\right] \\ &= \frac{1}{n}\displaystyle\sum\limits_{i=1}^n w_i \sigma^2 \\ &= \frac{\sigma^2}{n}\displaystyle\sum\limits_{i=1}^n w_i \\ &= \frac{\sigma^2}{n \cdot SST_x}\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x}) \\ &= \frac{\sigma^2}{n \cdot SST_x} \left(0\right) &= 0 \end{align}$$

3) แสดงว่าสามารถเขียนเป็นbeta_1) ดูเหมือนง่ายมากเช่นกัน:$\hat{\beta_0}$$\hat{\beta_0} = \beta_0 + \bar{u} - \bar{x}(\hat{\beta_1} - \beta_1)$

$$\begin{align} \hat{\beta_0} &= \bar{y} - \hat{\beta_1} \bar{x} \\ &= (\beta_0 + \beta_1 \bar{x} + \bar{u}) - \hat{\beta_1} \bar{x} \\ &= \beta_0 + \bar{u} - \bar{x}(\hat{\beta_1} - \beta_1). \end{align}$$

4) ใช้ส่วนที่ 2 และ 3 เพื่อแสดงว่า : $Var(\hat{\beta_0}) = \frac{\sigma^2}{n} + \frac{\sigma^2 (\bar{x}) ^2} {SST_x}$

$$\begin{align} Var(\hat{\beta_0}) &= Var(\beta_0 + \bar{u} - \bar{x}(\hat{\beta_1} - \beta_1)) \\ &= Var(\bar{u}) + (-\bar{x})^2 Var(\hat{\beta_1} - \beta_1) \\ &= \frac{\sigma^2}{n} + (\bar{x})^2 Var(\hat{\beta_1}) \\ &= \frac{\sigma^2}{n} + \frac{\sigma^2 (\bar{x}) ^2} {SST_x}. \end{align}$$

ฉันเชื่อว่าทั้งหมดนี้ใช้งานได้เนื่องจากเนื่องจากเราระบุว่าและนั้นไม่มีความสัมพันธ์ความแปรปรวนร่วมระหว่างพวกเขาจึงเป็นศูนย์ดังนั้นความแปรปรวนของผลรวมจึงเป็นผลรวมของความแปรปรวน เป็นค่าคงที่ดังนั้นมันจึงลดลงเช่นเดียวกับต่อไปในการคำนวณ$\bar{u}$$\hat{\beta_1} - \beta_1$$\beta_0$$\beta_1$

5) ใช้พีชคณิตและความจริงที่ว่า :$\frac{SST_x}{n} = \frac{1}{n} \displaystyle\sum\limits_{i=1}^n x_i^2 - (\bar{x})^2$

$$\begin{align} Var(\hat{\beta_0}) &= \frac{\sigma^2}{n} + \frac{\sigma^2 (\bar{x}) ^2} {SST_x} \\ &= \frac{\sigma^2 SST_x}{SST_x n} + \frac{\sigma^2 (\bar{x})^2}{SST_x} \\ &= \frac{\sigma^2}{SST_x} \left( \frac{1}{n} \displaystyle\sum\limits_{i=1}^n x_i^2 - (\bar{x})^2 \right) + \frac{\sigma^2 (\bar{x})^2}{SST_x} \\ &= \frac{\sigma^2 n^{-1} \displaystyle\sum\limits_{i=1}^n x_i^2}{SST_x} \end{align}$$