ตัวประมาณที่ไม่ลำเอียงอื่น ๆ กว่า BLUE (โซลูชัน OLS) สำหรับแบบจำลองเชิงเส้น

สำหรับโมเดลเชิงเส้นโซลูชัน OLS ให้ตัวประมาณค่าแบบไม่เอนเอียงเชิงเส้นที่ดีที่สุดสำหรับพารามิเตอร์

แน่นอนว่าเราสามารถแลกเปลี่ยนอคติเพื่อลดความแปรปรวนได้เช่นการถดถอยของสัน แต่คำถามของฉันเกี่ยวกับการไม่มีอคติ มีตัวประมาณอื่น ๆ ที่ค่อนข้างใช้กันทั่วไปซึ่งไม่เอนเอียง แต่มีความแปรปรวนสูงกว่าพารามิเตอร์ประมาณ OLS หรือไม่

ถ้าฉันมีชุดข้อมูลขนาดใหญ่ฉันสามารถย่อยตัวอย่างและคาดการณ์พารามิเตอร์ด้วยข้อมูลน้อยลงและเพิ่มความแปรปรวน ฉันคิดว่านี่อาจเป็นประโยชน์ในเชิงสมมุติฐาน

นี่เป็นคำถามเกี่ยวกับวาทศิลป์มากกว่าเพราะเมื่อฉันอ่านเกี่ยวกับตัวประมาณค่าสีน้ำเงินแล้วไม่มีตัวเลือกที่แย่กว่านี้ ฉันเดาว่าการให้ทางเลือกที่แย่กว่านั้นอาจช่วยให้ผู้คนเข้าใจพลังของตัวประมาณค่า BLUE ได้ดีขึ้น

ตัวอย่างหนึ่งที่มาถึงใจคือตัวประมาณ GLS บางตัวที่การสังเกตน้ำหนักแตกต่างกันแม้ว่าจะไม่จำเป็นเมื่อพบสมมติฐานของเกาส์ - มาร์คอฟ (ซึ่งนักสถิติอาจไม่ทราบว่าเป็นกรณีนี้

พิจารณากรณีของการถดถอยของ$y_i$ , $i=1,\ldots,n$บนค่าคงที่สำหรับภาพประกอบ (พร้อมวางนัยทั่วไปกับตัวประมาณ GLS ทั่วไป) ที่นี่$\{y_i\}$จะถือว่าเป็นตัวอย่างที่สุ่มจากประชากรที่มีค่าเฉลี่ย$\mu$และแปรปรวน$\sigma^2$ 2

จากนั้นเราจะรู้ว่าเป็นเพียง OLS β = ˉ Yค่าเฉลี่ยของกลุ่มตัวอย่าง เพื่อเน้นจุดที่สังเกตแต่ละจะมีน้ำหนักที่มีน้ำหนัก1 / n , เขียนนี้เป็น β = n Σฉัน= 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ มันเป็นที่รู้จักกันดีว่า$Var(\hat\beta)=\sigma^2/n$n

ตอนนี้พิจารณาประมาณการซึ่งสามารถเขียนเป็นอีก

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ ที่น้ำหนักเป็นเช่นที่$\sum_iw_i=1$ 1 สิ่งนี้ทำให้มั่นใจได้ว่าตัวประมาณค่านั้นไม่เอนเอียงเนื่องจาก $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ /nสำหรับiทั้งหมด(ซึ่งในกรณีนี้จะลดลงเป็น OLS) ซึ่งสามารถแสดงได้ผ่านลากรองจ์: ความแปรปรวนจะเกินกว่า OLS ยกเว้นว่า$w_i=1/n$$i$

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ $w_i$$2\sigma^2w_i-\lambda=0$$i$$\partial L/\partial\lambda=0$$\sum_iw_i-1=0$$\lambda$$w_i=w_j$$w_i=1/n$

นี่คือภาพประกอบกราฟิกจากการจำลองเล็กน้อยสร้างด้วยโค้ดด้านล่าง:

$y_i$In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

ที่สามหลังมีประสิทธิภาพสูงกว่าโดยวิธี OLS ไม่ได้บอกเป็นนัย ๆ โดยคุณสมบัติ BLUE (อย่างน้อยไม่ให้ฉัน) เพราะมันไม่ชัดเจนว่าพวกเขาเป็นตัวประมาณค่าเชิงเส้น (หรือฉันรู้ว่า MLE และ Huber เป็นกลาง)

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)