วิธีหาค่าแปรปรวน - ความแปรปรวนร่วมของสัมประสิทธิ์ในการถดถอยเชิงเส้น

36

ฉันกำลังอ่านหนังสือเกี่ยวกับการถดถอยเชิงเส้นและมีปัญหาในการเข้าใจเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมของ : $\mathbf{b}$

ป้อนคำอธิบายรูปภาพที่นี่

สิ่งที่เป็นแนวทแยงนั้นง่ายพอ แต่สิ่งที่อยู่นอกแนวทแยงนั้นยากกว่าเล็กน้อยสิ่งที่ไขปริศนาให้ฉันคือ

σ (b_{0}, b_{1}) = E (b_{0} b_{1}) - E (b_{0}) E (b_{1}) = E (b_{0} b_{1}) - β_{0} β_{1}

$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$

แต่ไม่มีร่องรอยของ $\beta_0$ และ $\beta_1$ ที่นี่

regression

— QED
แหล่งที่มา

3

คำถามที่เกี่ยวข้อง: stats.stackexchange.com/questions/44838/…

— ocram

2

หนังสือเล่มไหน

— Konstantinos

53

นี่เป็นคำถามที่ยอดเยี่ยมที่ท้าทายความเข้าใจพื้นฐานของการถดถอย

ก่อนอื่นให้ลบความสับสนเบื้องต้นเกี่ยวกับสัญกรณ์ เรากำลังดูการถดถอย:

y = b_{0} + b_{1} x + \hat{u}

$y=b_0+b_1x+\hat{u}$

โดยที่และเป็นตัวประมาณของจริงและและเป็นค่าตกค้างของการถดถอย โปรดทราบว่าการถดถอยที่แท้จริงและไม่ได้รับการสนับสนุนจะแสดงเป็น: $b_0$ $b_1$ $\beta_0$ $\beta_1$ $\hat{u}$

y = β_{0} + β_{1} x + u

$y=\beta_0+\beta_1x+u$

กับความคาดหวังของและความแปรปรวน 2 หนังสือบางเล่มแสดงว่าเป็นและเราปรับการประชุมนี้ที่นี่ นอกจากนี้เรายังให้ใช้รูปแบบเมทริกซ์ที่ขเป็นเวกเตอร์ 2x1 ที่ถือประมาณของคือb_1] (นอกจากนี้เพื่อความชัดเจนฉันถือว่า X เป็นค่าคงที่ในการคำนวณต่อไปนี้) $E[u]=0$ $E[u^2]=\sigma^2$ $b$ $\hat{\beta}$ $\beta=[\beta_0, \beta_1]'$ $b=[b_0, b_1]'$

ตอนนี้คำถามของคุณ สูตรของคุณสำหรับความแปรปรวนร่วมนั้นถูกต้องแน่นอนนั่นคือ:

σ (b_{0}, b_{1}) = E (b_{0} b_{1}) - E (b_{0}) E (b_{1}) = E (b_{0} b_{1}) - β_{0} β_{1}

$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$

ฉันคิดว่าคุณต้องการที่จะรู้ว่าทำไมเราถึงมีสัมประสิทธิ์ที่แท้จริงที่ไม่ได้สังเกตในสูตรนี้? พวกเขาจะถูกยกเลิกจริงถ้าเราทำขั้นตอนต่อไปโดยการขยายสูตร หากต้องการดูสิ่งนี้โปรดทราบว่าความแปรปรวนประชากรของเครื่องมือประมาณนั้นมอบให้โดย: $\beta_0, \beta_1$

V a r (\hat{β}) = σ^{2} (X^{'} X)^{- 1}

$Var(\hat\beta)=\sigma^2(X'X)^{-1}$

เมทริกซ์นี้มีค่าความแปรปรวนในองค์ประกอบทแยงมุมและค่าแปรปรวนร่วมในองค์ประกอบนอกแนวทแยงมุม

หากต้องการมาถึงสูตรข้างต้นเราขอสรุปการเรียกร้องของคุณโดยใช้สัญกรณ์เมทริกซ์ ขอให้เราแปรปรวนจึงแสดงว่ามีและความคาดหวังกับcdot] $Var[\cdot]$ $E[\cdot]$

V a r [b] = E [b^{2}] - E [b] E [b^{'}]

$Var[b]=E[b^2]-E[b]E[b']$

โดยพื้นฐานแล้วเรามีสูตรความแปรปรวนทั่วไปเพียงใช้สัญกรณ์เมทริกซ์ แก้สมการเมื่อแทนในการแสดงออกมาตรฐานสำหรับประมาณการขและสมมติว่าเป็นตัวประมาณที่ไม่มีอคติ ดังนั้นเราได้รับ: $b=(X'X)^{-1}X'y$ $E[b]=\beta$

E [((X^{'} X)^{- 1} X^{'} y)^{2}] - \underset{2 \times 2}{β^{2}}

$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$

โปรดทราบว่าเรามีทางด้านขวา - 2x2 เมทริกซ์คือแต่คุณอาจมาถึงจุดนี้แล้วเดาว่าจะเกิดอะไรขึ้นกับคำนี้ในไม่ช้า $\beta^2$ $bb'$

การแทนที่ด้วยนิพจน์ของเราสำหรับกระบวนการสร้างข้อมูลพื้นฐานที่แท้จริงข้างต้นเรามี: $y$

\begin{aligned} E [((X^{'} X)^{- 1} X^{'} y)^{2}] - β^{2} & = E [((X^{'} X)^{- 1} X^{'} (X β + u))^{2}] - β^{2} \\ = E [(\underset{= I}{\underset{⏟}{(X^{'} X)^{- 1} X^{'} X}} β + (X^{'} X)^{- 1} X^{'} u)^{2}] - β^{2} \\ = E [(β + (X^{'} X)^{- 1} X^{'} u)^{2}] - β^{2} \\ = β^{2} + E [(X^{'} X)^{- 1} X^{'} u)^{2}] - β^{2} \end{aligned}

$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$

ตั้งแต่ 0 นอกจากนี้เทอมกำลังสองจะถูกยกเลิกตามที่คาดการณ์ไว้ $E[u]=0$ $\beta^2$

ดังนั้นเราจึงมี:

V a r [b] = ((X^{'} X)^{- 1} X^{'})^{2} E [u^{2}]

$Var[b]=((X'X)^{-1}X')^2E[u^2]$

โดยเส้นตรงของความคาดหวัง โปรดทราบว่าโดยสมมติฐานและเนื่องจากเป็นเมทริกซ์และจึงเหมือนกับการแปลง ในที่สุดเราก็มาถึง $E[u^2]=\sigma^2$ $((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$ $X'X$ $K\times K$

V a r [b] = σ^{2} (X^{'} X)^{- 1}

$Var[b]=\sigma^2(X'X)^{-1}$

ตอนนี้เราได้กำจัดเงื่อนไขทั้งหมดความแปรปรวนของตัวประมาณนั้นไม่ขึ้นอยู่กับค่าของสัมประสิทธิ์พื้นฐานจริงเนื่องจากนี่ไม่ใช่ตัวแปรสุ่มต่อ se ผลลัพธ์จะใช้ได้สำหรับองค์ประกอบแต่ละรายการในเมทริกซ์ความแปรปรวนร่วมแปรปรวนดังที่แสดงในหนังสือดังนั้นจึงใช้ได้สำหรับองค์ประกอบนอกแนวทแยงมุมด้วยเพื่อยกเลิกตามลำดับ ปัญหาเดียวคือคุณได้ใช้สูตรทั่วไปสำหรับความแปรปรวนซึ่งไม่ได้สะท้อนถึงการยกเลิกนี้ในตอนแรก $\beta$ $\beta_0\beta_1$

ในท้ายที่สุดความแปรปรวนของค่าสัมประสิทธิ์ที่ลดไปและเป็นอิสระจาก\แต่สิ่งนี้หมายความว่าอย่างไร (ฉันเชื่อว่าคุณถามถึงความเข้าใจโดยทั่วไปของเมทริกซ์ความแปรปรวนร่วมทั่วไปด้วย) $\sigma^2(X'X)^{-1}$ $\beta$

ดูสูตรในหนังสือ มันก็แค่อ้างว่าความแปรปรวนของตัวประมาณเพิ่มขึ้นเมื่อคำผิดพลาดพื้นฐานที่แท้จริงนั้นมีเสียงดังมาก (เพิ่มขึ้น) แต่จะลดลงเมื่อการแพร่กระจายของ X เพิ่มขึ้น เนื่องจากการมีการสังเกตมากขึ้นแพร่กระจายไปรอบ ๆ ค่าที่แท้จริงช่วยให้คุณโดยทั่วไปสร้างตัวประมาณที่แม่นยำมากขึ้นและใกล้เคียงกับแท้จริง บนมืออื่น ๆ เงื่อนไขความแปรปรวนในการปิดเส้นทแยงมุมกลายเป็นจริงที่เกี่ยวข้องในการทดสอบสมมติฐานสมมติฐานร่วมกันเช่น 0 นอกเหนือจากนั้นพวกเขาเป็นเรื่องเหลวไหลจริง ๆ หวังว่านี่จะทำให้ทุกคำถามชัดเจนขึ้น $\sigma^2$ $\beta$ $b_0=b_1=0$

— Majte
แหล่งที่มา

และเมื่อรักษาค่าคงที่การแพร่กระจายและลดค่า x ของข้อผิดพลาดมาตรฐานของการสกัดกั้นจะมีขนาดเล็กลงซึ่งเหมาะสม

— Theta30

ฉันไม่ทำตามการขยายตัวของสแควร์ เหตุใดจึงไม่ทำให้เป็นเรื่องง่าย ?

((X^{'} X)^{- 1} X^{'})^{2} = ((X^{'} X)^{- 1} X^{'}) ((X^{'} X)^{- 1} X^{'}) = X^{- 2}

$((X'X)^{-1}X')^2 = ((X'X)^{-1}X')((X'X)^{-1}X') = X^{-2}$

— เดวิด

2

ในกรณีของคุณเรามี

X^{'} X = [\begin{matrix} n & \sum X_{i} \\ \sum X_{i} & \sum X_{i}^{2} \end{matrix}]

$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$

กลับเมทริกซ์นี้แล้วคุณจะได้ผลลัพธ์ที่ต้องการ

— mpiktas
แหล่งที่มา

1

ดูเหมือนว่าเป็นค่าที่คาดการณ์ไว้ (ค่าที่คาดหวัง) พวกเขาทำให้สวิทช์ระหว่างและE $\beta_0 \beta_1$ $E(b_0)=\beta_0$ $E(b_1)=\beta_1$

— Drew75
แหล่งที่มา

β_{0}

$\beta_0$ โดยทั่วไปไม่รู้จักและพวกเขาสามารถสลับไปที่อะไรได้บ้าง

β_{1}

$\beta_1$

— QED

ผมคิดว่าผมเข้าใจความสับสนและผมคิดว่าพวกเขาอาจจะควรที่จะเขียนมากกว่า\นี่เป็นอีกโพสต์ที่ต้องผ่านการคำนวณ: ลิงค์

β_{0}^{*}

$\beta_0^*$

β_{0}

$\beta_0$

— Drew75

2

@qed: เพื่อสุ่มตัวอย่างปริมาณที่ไม่รู้จัก

— Glen_b