ความแปรปรวนของค่าสัมประสิทธิ์การถดถอยในการถดถอยเชิงเส้นอย่างง่าย

ในการถดถอยเชิงเส้นอย่างง่ายเรามีที่2) ฉันได้รับตัวประมาณ: ที่และเป็นวิธีการที่เป็นตัวอย่างของและy ที่ $y = \beta_0 + \beta_1 x + u$ $u \sim iid\;\mathcal N(0,\sigma^2)$

\hat{β_{1}} = \frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}},

$\hat{\beta_1} = \frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2}\ ,$

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

x

$x$

y

$y$

ตอนนี้ผมต้องการที่จะหาแปรปรวนของ\ฉันได้รับสิ่งต่อไปนี้: $\hat\beta_1$

Var (\hat{β_{1}}) = \frac{σ^{2} (1 - \frac{1}{n})}{\sum_{i} (x_{i} - \bar{x})^{2}} .

$\text{Var}(\hat{\beta_1}) = \frac{\sigma^2(1 - \frac{1}{n})}{\sum_i (x_i - \bar{x})^2}\ .$

รากศัพท์มีดังต่อไปนี้:

\begin{aligned} Var (\hat{β_{1}}) \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}}) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (\sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i} - \frac{1}{n} \sum_{j} (β_{0} + β_{1} x_{j} + u_{j}))) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (β_{1} \sum_{i} (x_{i} - \bar{x})^{2} + \sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \times \\ E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}) - \underset{= 0}{\underset{⏟}{E [\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})]}})}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}))}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [\sum_{i} (x_{i} - \bar{x})^{2} (u_{i} - \sum_{j} \frac{u_{j}}{n})^{2}], since u_{i}'s are iid \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} E {(u_{i} - \sum_{j} \frac{u_{j}}{n})}^{2} \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} (E (u_{i}^{2}) - 2 \times E (u_{i} \times (\sum_{j} \frac{u_{j}}{n})) + E {(\sum_{j} \frac{u_{j}}{n})}^{2}) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} (σ^{2} - \frac{2}{n} σ^{2} + \frac{σ^{2}}{n}) \\ = \frac{σ^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}} (1 - \frac{1}{n}) \end{aligned}

$\begin{align} &\text{Var}(\hat{\beta_1})\\ & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \sum_i (x_i - \bar{x})\left(\beta_0 + \beta_1x_i + u_i - \frac{1}{n}\sum_j(\beta_0 + \beta_1x_j + u_j) \right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \beta_1 \sum_i (x_i - \bar{x})^2 + \sum_i(x_i - \bar{x}) \left(u_i - \sum_j \frac{u_j}{n}\right) \right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\text{Var}\left( \sum_i(x_i - \bar{x})\left(u_i - \sum_j \frac{u_j}{n}\right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\;\times \\ &\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n}) - \underbrace{E\left[\sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right] }_{=0}\right)^2\right]\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2E\left(u_i - \sum_j \frac{u_j}{n}\right)^2\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(E(u_i^2) - 2 \times E \left(u_i \times (\sum_j \frac{u_j}{n})\right) + E\left(\sum_j \frac{u_j}{n}\right)^2\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(\sigma^2 - \frac{2}{n}\sigma^2 + \frac{\sigma^2}{n}\right)\\ & = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}\left(1 - \frac{1}{n}\right) \end{align}$

ฉันทำอะไรผิดที่นี่เหรอ?

ฉันรู้ว่าถ้าฉันทำทุกอย่างด้วยเครื่องหมายเมทริกซ์ฉันจะได้ . แต่ฉันกำลังพยายามหาคำตอบโดยไม่ใช้สัญกรณ์เมทริกซ์เพียงเพื่อให้แน่ใจว่าฉันเข้าใจแนวคิด ${\rm Var}(\hat{\beta_1}) = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}$

— mynameisJEFF
แหล่งที่มา

ใช่สูตรของคุณจากสัญกรณ์เมทริกซ์ถูกต้อง เมื่อดูสูตรที่มีคำถามดังนั้นมันจึงดูราวกับว่าคุณอาจใช้ค่าเบี่ยงเบนมาตรฐานตัวอย่างที่ไหนสักแห่งแทนที่จะเป็นค่าเบี่ยงเบนมาตรฐานของประชากร? โดยที่ไม่ได้เห็นต้นกำเนิดมันยากที่จะพูดอะไรอีกแล้ว

1 - \frac{1}{n} = \frac{n - 1}{n}

$1-\frac1{n}\,=\,\frac{n-1}{n}$

— TooTone

คำตอบทั่วไปยังได้รับการโพสต์ในกระทู้ที่ซ้ำกันที่stats.stackexchange.com/questions/91750

— whuber

คำตอบ:

ในช่วงเริ่มต้นของรากศัพท์ของคุณที่คุณคูณออกวงเล็บในกระบวนการขยายตัวทั้งและ{y} อดีตขึ้นอยู่กับตัวแปรผลรวมในขณะที่หลังไม่ได้ หากคุณปล่อยตามที่ได้รับมานั้นง่ายกว่ามากเพราะ $\sum_i (x_i - \bar{x})(y_i - \bar{y})$ $y_i$ $\bar{y}$ $i$ $\bar{y}$

\begin{aligned} \sum_{i} (x_{i} - \bar{x}) \bar{y} & = \bar{y} \sum_{i} (x_{i} - \bar{x}) \\ = \bar{y} ((\sum_{i} x_{i}) - n \bar{x}) \\ = \bar{y} (n \bar{x} - n \bar{x}) \\ = 0 \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})\bar{y} &= \bar{y}\sum_i (x_i - \bar{x})\\ &= \bar{y}\left(\left(\sum_i x_i\right) - n\bar{x}\right)\\ &= \bar{y}\left(n\bar{x} - n\bar{x}\right)\\ &= 0 \end{align}$

ด้วยเหตุนี้

\begin{aligned} \sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y}) & = \sum_{i} (x_{i} - \bar{x}) y_{i} - \sum_{i} (x_{i} - \bar{x}) \bar{y} \\ = \sum_{i} (x_{i} - \bar{x}) y_{i} \\ = \sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i}) \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})(y_i - \bar{y}) &= \sum_i (x_i - \bar{x})y_i - \sum_i (x_i - \bar{x})\bar{y}\\ &= \sum_i (x_i - \bar{x})y_i\\ &= \sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )\\ \end{align}$

และ

\begin{aligned} Var (\hat{β_{1}}) & = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}}) \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i})}{\sum_{i} (x_{i} - \bar{x})^{2}}), substituting in the above \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) u_{i}}{\sum_{i} (x_{i} - \bar{x})^{2}}), noting only u_{i} is a random variable \\ = \frac{\sum_{i} (x_{i} - \bar{x})^{2} Var (u_{i})}{{(\sum_{i} (x_{i} - \bar{x})^{2})}^{2}}, independence of u_{i} and, Var (k X) = k^{2} Var (X) \\ = \frac{σ^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}} \end{aligned}

$\begin{align} \text{Var}(\hat{\beta_1}) & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{substituting in the above} \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})u_i}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{noting only $u_i$ is a random variable} \\ &= \frac{\sum_i (x_i - \bar{x})^2\text{Var}(u_i)}{\left(\sum_i (x_i - \bar{x})^2\right)^2} , \;\;\;\text{independence of } u_i \text{ and, Var}(kX)=k^2\text{Var}(X) \\ &= \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2} \\ \end{align}$

ซึ่งเป็นผลลัพธ์ที่คุณต้องการ

ในฐานะที่เป็นข้อความด้านข้างฉันใช้เวลานานในการพยายามหาข้อผิดพลาดในการสืบทอดของคุณ ในที่สุดฉันตัดสินใจว่าการตัดสินใจนั้นเป็นส่วนที่ดีกว่าของความกล้าหาญและมันเป็นการดีที่สุดที่จะลองใช้วิธีที่ง่ายกว่า อย่างไรก็ตามสำหรับบันทึกฉันไม่แน่ใจว่าขั้นตอนนี้มีความชอบธรรม เพราะมันคิดถึงออกข้อกำหนดข้ามเนื่องจาก{n}

\begin{aligned} = . \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}))}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [\sum_{i} (x_{i} - \bar{x})^{2} (u_{i} - \sum_{j} \frac{u_{j}}{n})^{2}], since u_{i}'s are iid \end{aligned}

$\begin{align} & =. \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ \end{align}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— TooTone
แหล่งที่มา

ฉันสังเกตเห็นว่าฉันสามารถใช้วิธีการที่ง่ายกว่านี้มานานแล้ว แต่ฉันตั้งใจที่จะขุดลึกและหาคำตอบเดียวกันโดยใช้วิธีการที่แตกต่างกันเพื่อให้แน่ใจว่าฉันเข้าใจแนวคิด ฉันรู้ว่าจากสมการปกติ (FOC จากวิธีกำลังสองน้อยที่สุด) ดังนั้น , บวกดังนั้น{y}} ดังนั้นจะไม่มีคำว่าในตอนแรก

\sum_{j} \hat{u_{j}} = 0

$\sum_j \hat{u_j} = 0$

\bar{\hat{u}} = \frac{\sum_{i} u_{i}}{n} = 0

$\bar{\hat{u}} = \frac{\sum_i u_i}{n}=0$

\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0

$\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0$

\bar{y} = \bar{\hat{y}}

$\bar{y} = \bar{\hat{y}}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— mynameisJEFF

ตกลงในคำถามของคุณการเน้นคือการหลีกเลี่ยงสัญลักษณ์เมทริกซ์

— TooTone

ใช่เพราะฉันสามารถแก้ไขได้โดยใช้สัญลักษณ์เมทริกซ์ และสังเกตจากความคิดเห็นล่าสุดของฉันฉันไม่ได้ใช้พีชคณิตเชิงเส้นใด ๆ ขอบคุณสำหรับคำตอบที่ยอดเยี่ยมของคุณต่อไป ^. ^

— mynameisJEFF

ขออภัยเรากำลังพูดถึงจุดตัดขวางที่นี่? ฉันไม่ได้ใช้สัญกรณ์เมทริกซ์ใด ๆ ในคำตอบของฉันและฉันคิดว่านั่นคือสิ่งที่คุณถามในคำถามของคุณ

— TooTone

ขอโทษสำหรับความเข้าใจผิด haha ...

— mynameisJEFF

ผมเชื่อว่าปัญหาในการพิสูจน์ของคุณเป็นขั้นตอนที่คุณใช้มูลค่าที่คาดหวังของตารางของขวา) นี่คือรูปแบบโดยที่{n} ดังนั้นเมื่อ squaring เราได้รับขวา] ตอนนี้จากการคำนวณอย่างชัดเจนดังนั้นเป็น $\sum_i (x_i - \bar{x} )\left( u_i -\sum_j \frac{u_j}{n} \right)$ $E \left[\left(\sum_i a_i b_i \right)^2 \right]$ $a_i = x_i -\bar{x}; b_i = u_i -\sum_j \frac{u_j}{n}$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j E\left[b_i b_j \right]$ $E\left[b_i b_j \right] = \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right)$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right) = \sum_i a_i^2 \sigma^2$ $\sum_i a_i = 0$ .

— สเตฟาโน
แหล่งที่มา

เริ่มต้นจาก "การสืบทอดมาดังต่อไปนี้:" The 7th "=" ผิด

เพราะ

$\sum_i (x_i - \bar{x})(u_i - \bar{u})$

$= \sum_i (x_i - \bar{x})u_i - \sum_i (x_i - \bar{x}) \bar{u}$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} \sum_i (x_i - \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -n \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -\sum_i{x_i})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} 0$

$= \sum_i (x_i - \bar{x})u_i$

ดังนั้นหลังจาก 7th "=" มันควรจะเป็น:

$\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left[\left(\sum_i(x_i-\bar{x})u_i\right)^2\right]$

$=\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2 + 2\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right) + 2E\left(\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

=เพราะและมีความเป็นอิสระและหมายถึง 0 ดังนั้น $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right)$ $u_i$ $u_j$ $E(u_iu_j) =0$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}\left(\sum_i(x_i-\bar{x})^2E(u_i^2)\right)$

$\frac {\sigma^2} {(\sum_i(x_i-\bar{x})^2)^2}$

— user158565
แหล่งที่มา

อาจเป็นประโยชน์หากคุณแก้ไขคำตอบเพื่อรวมบรรทัดที่ถูกต้อง

— mdewey

คำตอบของคุณจะถูกตั้งค่าสถานะโดยอัตโนมัติว่ามีคุณภาพต่ำเพราะสั้นมาก โปรดลองขยายคำตอบของคุณ

— Glen_b