ข้อผิดพลาดมาตรฐานสำหรับสัมประสิทธิ์การถดถอยหลายค่า?

ฉันรู้ว่านี่เป็นคำถามพื้นฐาน แต่ฉันไม่สามารถหาคำตอบได้ทุกที่

ฉันคำนวณสัมประสิทธิ์การถดถอยโดยใช้สมการปกติหรือการสลายตัว QR ฉันจะคำนวณข้อผิดพลาดมาตรฐานสำหรับแต่ละสัมประสิทธิ์ได้อย่างไร ฉันมักจะคิดว่าข้อผิดพลาดมาตรฐานที่คำนวณเป็น:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

คืออะไรสำหรับแต่ละค่าสัมประสิทธิ์? วิธีที่มีประสิทธิภาพมากที่สุดในการคำนวณสิ่งนี้ในบริบทของ OLS คืออะไร?$\sigma_{\bar x}$

เมื่อทำการประมาณกำลังสองน้อยที่สุด (สมมติว่าเป็นองค์ประกอบสุ่มปกติ) การประมาณค่าพารามิเตอร์การถดถอยจะถูกกระจายด้วยค่าเฉลี่ยเท่ากับพารามิเตอร์การถดถอยที่แท้จริงและเมทริกซ์ความแปรปรวนร่วมโดยที่s 2คือความแปรปรวนที่เหลือX T Xคือเมทริกซ์การออกแบบ X Tคือการย้ายที่ของXและXถูกกำหนดโดยสมการโมเดลY = X β + ϵกับ$\Sigma = s^2\cdot(X^TX)^{-1}$$s^2$$X^TX$$X^T$$X$$X$$Y=X\beta+\epsilon$$\beta$พารามิเตอร์การถดถอยและเป็นคำผิดพลาด ค่าเบี่ยงเบนมาตรฐานโดยประมาณของพารามิเตอร์เบต้าจะได้รับโดยใช้คำที่สอดคล้องกันใน ( X T X ) - 1คูณด้วยการประมาณตัวอย่างของความแปรปรวนที่เหลือและจากนั้นนำสแควร์รูท นี่ไม่ใช่การคำนวณที่ง่ายมาก แต่แพคเกจซอฟต์แวร์ใด ๆ ที่จะคำนวณให้คุณและให้มันในผลลัพธ์$\epsilon$$(X^TX)^{-1}$

ตัวอย่าง

ในหน้า 134 ของผักและสมิ ธ (อ้างอิงในความคิดเห็นของฉัน) พวกเขาให้ข้อมูลต่อไปนี้สำหรับกระชับโดยสองน้อยที่สุดแบบที่ε ~ N ( 0 , ฉันσ 2 )$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

ดูเหมือนว่าตัวอย่างที่ความชันควรอยู่ใกล้กับ 0

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

So

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

and

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

where $\bar{X} = \sum X_i/n = 60/10 = 6$.

Estimate for $β = (X^TX)^{-1} X^TY$ = ( b0 ) =(Yb-b1 Xb) b1 Sxy/Sxx

b1 = 1/61 = 0.0163 and b0 = 0.5- 0.0163(6) = 0.402

From $(X^TX)^{-1}$ above Sb1 =Se (0.008) and Sb0=Se(0.395) where Se is the estimated standard deviation for the error term. Se =√2.3085.

Sorry that the equations didn't carry subscripting and superscripting when I cut and pasted them. The table didn't reproduce well either because the spaces got ignored. The first string of 3 numbers correspond to the first values of X Y and XY and the same for the followinf strings of three. After Sum comes the sums for X Y and XY respectively and then the sum of squares for X Y and XY respectively. The 2x2 matrices got messed up too. The values after the brackets should be in brackets underneath the numbers to the left.