ข้อผิดพลาดมาตรฐานของสัมประสิทธิ์คำนวณได้อย่างไรในการถดถอย

114

เพื่อความเข้าใจของฉันเองฉันสนใจที่จะจำลองการคำนวณข้อผิดพลาดมาตรฐานของสัมประสิทธิ์โดยประมาณด้วยตนเองเช่นมาพร้อมกับlm()ฟังก์ชั่นเอาท์พุทRแต่ไม่สามารถตรึงมันได้ มีการใช้สูตร / การนำไปปฏิบัติอย่างไร

— ako
แหล่งที่มา

เป็นคำถามที่ดีหลายคนรู้ว่าการถดถอยจากมุมมองพีชคณิตเชิงเส้นซึ่งคุณแก้สมการเชิงเส้นและรับคำตอบสำหรับเบต้า ไม่ชัดเจนว่าทำไมเรามีข้อผิดพลาดมาตรฐานและข้อสมมติฐานอยู่

X^{'} X β = X^{'} y

$X'X\beta=X'y$

— Haitao Du

คำตอบ:

122

โมเดลเชิงเส้นเขียนเป็น ที่หมายถึงเวกเตอร์ของการตอบสนองเป็นเวกเตอร์ของพารามิเตอร์ผลคงที่เป็นเมทริกซ์การออกแบบที่สอดคล้องกันซึ่งคอลัมน์เป็นค่าของตัวแปรอธิบายและเป็นเวกเตอร์ของข้อผิดพลาดแบบสุ่ม

| \begin{array}{l} y = X β + ϵ \\ ϵ \sim N (0, σ^{2} I), \end{array}

$\left| \begin{array}{l} \mathbf{y} = \mathbf{X} \mathbf{\beta} + \mathbf{\epsilon} \\ \mathbf{\epsilon} \sim N(0, \sigma^2 \mathbf{I}), \end{array} \right.$

y

$\mathbf{y}$

β

$\mathbf{\beta}$

X

$\mathbf{X}$

ϵ

$\mathbf{\epsilon}$

เป็นที่ทราบกันดีว่าประมาณการของมอบให้โดย (อ้างถึงเช่นบทความวิกิพีเดีย ) ดังนั้น [เตือน:สำหรับเวกเตอร์สุ่มและเมทริกซ์ที่ไม่ใช่แบบสุ่ม ] $\mathbf{\beta}$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$

Var (\hat{β}) = (X^{'} X)^{- 1} X^{'} σ^{2} I X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1},

$\textrm{Var}(\hat{\mathbf{\beta}}) = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1},$

Var (A X) = A \times Var (X) \times A'

$\textrm{Var}(AX)=A\times \textrm{Var}(X) \times A′$

X

$X$

A

$A$

ดังนั้น ที่สามารถรับได้โดย Mean Square Error (MSE) ในตาราง ANOVA

\hat{Var} (\hat{β}) = {\hat{σ}}^{2} (X^{'} X)^{- 1},

$\widehat{\textrm{Var}}(\hat{\mathbf{\beta}}) = \hat{\sigma}^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1},$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

ตัวอย่างที่มีการถดถอยเชิงเส้นอย่างง่ายใน R

#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100     #nb of observations
a <- 5       #intercept
b <- 2.7     #slope

set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------

#------using lm------
mod <- lm(y ~ x)
#--------------------

#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------

#------comparison------
#estimate
> mod$coef
(Intercept)           x 
   5.020261    2.755577 

> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577

#standard error
> summary(mod)$coefficients[, 2]
(Intercept)           x 
 0.06596021  0.09725302 

> sqrt(diag(var_betaHat))
                    x 
0.06596021 0.09725302 
#----------------------

เมื่อมีตัวแปรอธิบายเดียวโมเดลจะลดลงเป็น และ ดังนั้น และสูตรกลายเป็นโปร่งใสมากขึ้น ตัวอย่างเช่นข้อผิดพลาดมาตรฐานของความชันโดยประมาณคือ

y_{i} = a + b x_{i} + ϵ_{i}, i = 1, \dots, n

$y_i = a + bx_i + \epsilon_i, \qquad i = 1, \dotsc, n$

X = (\begin{array}{cc} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{n} \end{array}), β = (\begin{matrix} a \\ b \end{matrix})

$\mathbf{X} = \left( \begin{array}{cc} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{array} \right), \qquad \mathbf{\beta} = \left( \begin{array}{c} a\\b \end{array} \right)$

(X^{'} X)^{- 1} = \frac{1}{n \sum x_{i}^{2} - (\sum x_{i})^{2}} (\begin{array}{cc} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{array})

$(\mathbf{X}^{\prime} \mathbf{X})^{-1} = \frac{1}{n\sum x_i^2 - (\sum x_i)^2} \left( \begin{array}{cc} \sum x_i^2 & -\sum x_i \\ -\sum x_i & n \end{array} \right)$

\sqrt{\hat{Var} (\hat{b})} = \sqrt{[{\hat{σ}}^{2} (X^{'} X)^{- 1}]_{22}} = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{i}^{2} - (\sum x_{i})^{2}}} .

$\sqrt{\widehat{\textrm{Var}}(\hat{b})} = \sqrt{[\hat{\sigma}^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}]_{22}} = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302

— ocram
แหล่งที่มา

ขอบคุณสำหรับคำตอบอย่างละเอียด ดังนั้นฉันคิดว่าสูตรสุดท้ายไม่ได้อยู่ในกรณีหลายตัวแปร?

— ako

ไม่ได้สูตรสุดท้ายใช้ได้กับเมทริกซ์ X เฉพาะของโมเดลเชิงเส้นอย่างง่ายเท่านั้น ในกรณีหลายตัวแปรคุณต้องใช้สูตรทั่วไปที่ระบุด้านบน

— ocram

+1 คำถามที่รวดเร็วมาได้อย่างไร

V a r (\hat{β})

$Var(\hat\beta)$

— อะโวคาโด

@loganecolss: มันมาจากความจริงที่ว่าสำหรับบางเวกเตอร์สุ่มและบางส่วนที่ไม่สุ่มเมทริกซ์

Var (A X) = A Var(X) A^{'}

$\text{Var}(AX)=A\text{Var(X)}A'$

X

$X$

A

$A$

— ocram

โปรดทราบว่าสิ่งเหล่านี้เป็นคำตอบที่ถูกต้องสำหรับการคำนวณด้วยมือ แต่การใช้งานจริงที่ใช้ภายในlm.fit/ summary.lmนั้นแตกต่างกันเล็กน้อยเพื่อความเสถียรและประสิทธิภาพ ...

— Ben Bolker

สูตรสำหรับสิ่งเหล่านี้สามารถพบได้ในข้อความกลางในสถิติโดยเฉพาะอย่างยิ่งคุณสามารถค้นหาได้ในSheather (2009, บทที่ 5)จากที่ออกกำลังกายต่อไปนี้ยัง (หน้า 138)

รหัส R ต่อไปนี้คำนวณการประมาณค่าสัมประสิทธิ์และข้อผิดพลาดมาตรฐานด้วยตนเอง

dfData <- as.data.frame(
  read.csv("http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv",
                   header=T))

# using direct calculations
vY <- as.matrix(dfData[, -2])[, 5]                        # dependent variable
mX <- cbind(constant = 1, as.matrix(dfData[, -2])[, -5])  # design matrix

vBeta <- solve(t(mX)%*%mX, t(mX)%*%vY)                    # coefficient estimates
dSigmaSq <- sum((vY - mX%*%vBeta)^2)/(nrow(mX)-ncol(mX))  # estimate of sigma-squared
mVarCovar <- dSigmaSq*chol2inv(chol(t(mX)%*%mX))          # variance covariance matrix
vStdErr <- sqrt(diag(mVarCovar))                          # coeff. est. standard errors
print(cbind(vBeta, vStdErr))                              # output

ซึ่งผลิตผลลัพธ์

                         vStdErr
constant   -57.6003854 9.2336793
InMichelin   1.9931416 2.6357441
Food         0.2006282 0.6682711
Decor        2.2048571 0.3929987
Service      3.0597698 0.5705031

เปรียบเทียบกับผลลัพธ์จากlm():

# using lm()
names(dfData)
summary(lm(Price ~ InMichelin + Food + Decor + Service, data = dfData))

ซึ่งผลิตผลลัพธ์:

Call:
lm(formula = Price ~ InMichelin + Food + Decor + Service, data = dfData)

Residuals:
    Min      1Q  Median      3Q     Max 
-20.898  -5.835  -0.755   3.457 105.785 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -57.6004     9.2337  -6.238 3.84e-09 ***
InMichelin    1.9931     2.6357   0.756    0.451    
Food          0.2006     0.6683   0.300    0.764    
Decor         2.2049     0.3930   5.610 8.76e-08 ***
Service       3.0598     0.5705   5.363 2.84e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 13.55 on 159 degrees of freedom
Multiple R-squared: 0.6344, Adjusted R-squared: 0.6252 
F-statistic: 68.98 on 4 and 159 DF,  p-value: < 2.2e-16

— tchakravarty
แหล่งที่มา

เคล็ดลับที่ดีกับsolve()ฟังก์ชั่น นี่จะค่อนข้างนานกว่านี้หากไม่มีพีชคณิตเมทริกซ์ มีวิธีสั้น ๆ ในการแสดงบรรทัดเฉพาะกับตัวดำเนินการพื้นฐานหรือไม่

— ako

@AkselO มีนิพจน์แบบปิดที่รู้จักกันดีสำหรับตัวประมาณ OLS คือซึ่งคุณสามารถคำนวณได้โดยคำนวณการผกผันของเมทริกซ์ ( (ตามที่ @ ocram ได้ทำ) แต่สิ่งนี้ทำให้เกิดความยุ่งยากกับเมทริกซ์ที่ไม่มีเงื่อนไข

\hat{β} = (X^{'} X)^{- 1} X Y

$\widehat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}\boldsymbol{Y}$

(X^{'} X)

$(\mathbf{X}'\mathbf{X})$

— tchakravarty

ส่วนหนึ่งของคำตอบของ Ocram ผิด จริง:

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y} - (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}.$

$E(\hat{\mathbf{\beta}}) = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$

และความคิดเห็นของคำตอบแรกแสดงว่าต้องการคำอธิบายเพิ่มเติมเกี่ยวกับความแปรปรวนของสัมประสิทธิ์:

$\textrm{Var}(\hat{\mathbf{\beta}}) = E(\hat{\mathbf{\beta}}-E(\hat{\mathbf{\beta}}))^2=\textrm{Var}(- (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}) =(\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}$

แก้ไข

ขอบคุณ Iไม่สนใจหมวกในรุ่นเบต้านั้น การหักเงินดังกล่าว{} ผลลัพธ์ที่ถูกต้องคือ: $\mathbf{wrongly}$ $\mathbf{wrong}$

1.(ในการรับสมการนี้ให้ตั้งอนุพันธ์อันดับหนึ่งของบนเท่ากับศูนย์สำหรับการขยายสูงสุด ) $\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$ $\mathbf{SSR}$ $\mathbf{\beta}$ $\mathbf{SSR}$

2. $E(\hat{\mathbf{\beta}}|\mathbf{X}) = E((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} (\mathbf{X}\mathbf{\beta}+\mathbf{\epsilon})|\mathbf{X}) = \mathbf{\beta} + ((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime})E(\mathbf{\epsilon}|\mathbf{X}) = \mathbf{\beta}.$

3. $\textrm{Var}(\hat{\mathbf{\beta}}) = E(\hat{\mathbf{\beta}}-E(\hat{\mathbf{\beta}}|\mathbf{X}))^2=\textrm{Var}((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}) =(\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}$

หวังว่ามันจะช่วย

— Linzhe Nie
แหล่งที่มา

ความเป็นมาของตัวประมาณ OLS สำหรับเบต้าเวกเตอร์พบได้ในหนังสือเรียนการถดถอยที่เหมาะสม คุณสามารถแสดงหลักฐานว่ามันควรเป็นแทน

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\boldsymbol \beta} = ({\bf X'X})^{-1}{\bf X'Y}$

\hat{β} = (X^{'} X)^{- 1} X^{'} y - (X^{'} X)^{- 1} X^{'} ϵ

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y} - (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}$

— gung

ของคุณไม่ได้เป็นตัวประมาณเนื่องจากไม่สามารถสังเกตได้!

\hat{β}

$\hat\beta$

ϵ

$\epsilon$

— whuber

สามารถดูได้ในวิดีโอนี้: youtube.com/watch?v=jyBtfhQsf44

— StatsStudent