มีตัวอย่างที่ MLE สร้างการประมาณค่าเฉลี่ยแบบอคติหรือไม่?

คุณสามารถให้ตัวอย่างของตัวประมาณค่า MLE ของค่าเฉลี่ยที่มีอคติได้หรือไม่?

ฉันไม่ได้มองหาตัวอย่างที่ทำให้ตัวประมาณค่า MLE โดยทั่วไปละเมิดเงื่อนไขปกติ

ตัวอย่างทั้งหมดที่ฉันเห็นบนอินเทอร์เน็ตอ้างอิงถึงความแปรปรวนและฉันไม่สามารถหาสิ่งที่เกี่ยวข้องกับค่าเฉลี่ยได้

แก้ไข

@MichaelHardy ให้ตัวอย่างที่เราได้รับการประเมินความลำเอียงของค่าเฉลี่ยของการกระจายชุดโดยใช้ MLE ภายใต้รูปแบบที่เสนอบางอย่าง

อย่างไรก็ตาม

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

แสดงให้เห็นว่า MLE เป็นตัวประมาณค่าเฉลี่ยขั้นต่ำที่เท่าเทียมกันอย่างชัดเจนภายใต้รูปแบบที่เสนออื่น

ณ จุดนี้มันยังไม่ชัดเจนสำหรับฉันสิ่งที่ความหมายของการประเมิน MLE เป็นจริงนั้นขึ้นอยู่กับรูปแบบการตั้งสมมติฐานซึ่งต่างจากการพูดว่าตัวประมาณค่าเฉลี่ยตัวอย่างซึ่งเป็นแบบจำลองที่เป็นกลาง ในตอนท้ายฉันสนใจที่จะประเมินบางสิ่งเกี่ยวกับประชากรและไม่สนใจการประมาณค่าพารามิเตอร์ของแบบจำลองที่ตั้งสมมติฐาน

แก้ไข 2

ในฐานะที่เป็น @ChristophHanck แสดงให้เห็นรูปแบบที่มีข้อมูลเพิ่มเติมแนะนำอคติ แต่ไม่ได้จัดการเพื่อลด MSE

เรายังมีผลลัพธ์เพิ่มเติม:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (ภาพนิ่ง 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (สไลด์ 5)

"ถ้าผู้ประเมินที่เป็นกลางที่มีประสิทธิภาพมากที่สุด ˆθ ของθมีอยู่ (เช่น ˆθ นั้นไม่เอนเอียงและความแปรปรวนเท่ากับ CRLB) ดังนั้นวิธีการประมาณค่าสูงสุดจะทำให้เกิดขึ้น"

"ยิ่งไปกว่านั้นถ้ามีตัวประมาณประสิทธิภาพอยู่ก็คือตัวประมาณค่า ML"

เนื่องจาก MLE ที่มีพารามิเตอร์โมเดลอิสระไม่เอนเอียงและมีประสิทธิภาพตามนิยามนี่คือ "เครื่องมือประมาณการความน่าจะเป็นสูงสุด" หรือไม่

แก้ไข 3

@AlecosPapadopoulos มีตัวอย่างด้วยการกระจายแบบครึ่งปกติบนฟอรัมคณิตศาสตร์

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

มันไม่ได้ยึดพารามิเตอร์ใด ๆ เช่นในกรณีที่เหมือนกัน ฉันจะบอกว่าการตัดสินมันแม้ว่าเขาจะไม่ได้แสดงอคติของตัวประมาณค่าเฉลี่ย

Christoph Hanck ไม่ได้โพสต์รายละเอียดของตัวอย่างที่เขาเสนอ ฉันจะเอามันเขาหมายถึงการกระจายชุดในช่วงขึ้นอยู่กับตัวอย่าง IID X 1 , ... , X nขนาดมากกว่าn = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

ค่าเฉลี่ยคือ 2$\theta/2$

MLE ของค่าเฉลี่ยคือ$\max\{X_1,\ldots,X_n\}/2.$

นั่นคือลำเอียงตั้งแต่ดังนั้นE ( สูงสุด/ 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS:บางทีเราควรทราบว่าประมาณการที่เป็นกลางที่ดีที่สุดของค่าเฉลี่ยคือไม่ได้หมายความว่าตัวอย่าง แต่เป็นn + $\theta/2$ค่าเฉลี่ยตัวอย่างคือตัวประมาณค่าหมัดของθ/2เพราะสำหรับตัวอย่างบางตัวอย่างค่าเฉลี่ยน้อยกว่า

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$และมันก็เห็นได้ชัดว่าเป็นไปไม่ได้สำหรับθ/2จะน้อยกว่าสูงสุด/2.ท้ายของ PS$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

ฉันสงสัยว่าการแจกจ่าย Pareto เป็นอีกกรณีเช่นนี้ นี่คือการวัดความน่าจะเป็น: ค่าที่คาดหวังคือ

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ MLE ของค่าที่คาดหวังคือ $\dfrac \alpha {\alpha -1 } \kappa.$ ที่นาที=นาที{X1,...,Xn $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

ฉันไม่ได้หาค่าที่คาดหวังของ MLE สำหรับค่าเฉลี่ยดังนั้นฉันจึงไม่รู้ว่าอคติคืออะไร

นี่คือตัวอย่างที่ฉันคิดว่าบางคนอาจพบว่าน่าแปลกใจ:

ในการถดถอยแบบลอจิสติกสำหรับขนาดตัวอย่างใด ๆ ที่มีผลลัพธ์ที่ไม่ได้กำหนดไว้ (เช่น ) สัมประสิทธิ์การถดถอยใด ๆ ที่ประมาณไว้ไม่เพียง แต่ลำเอียงค่าเฉลี่ยของสัมประสิทธิ์การถดถอยนั้นไม่ได้กำหนดจริง$0 < p_{i} < 1$

นี่เป็นเพราะขนาดตัวอย่าง จำกัด ใด ๆ มีความเป็นไปได้ในเชิงบวก (แม้ว่าจะมีขนาดเล็กมากถ้าจำนวนตัวอย่างมีขนาดใหญ่เมื่อเทียบกับจำนวนพารามิเตอร์การถดถอย) ในการแยกผลลัพธ์ที่สมบูรณ์แบบ เมื่อเกิดเหตุการณ์นี้ประมาณค่าสัมประสิทธิ์การถดถอยจะเป็นอย่างใดอย่างหนึ่งหรือ∞ การมีความน่าจะเป็นในเชิงบวกคือ- ∞หรือ∞แสดงถึงค่าที่คาดหวังนั้นไม่ได้กำหนด$-\infty$$\infty$$-\infty$$\infty$

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้โดยเฉพาะอย่างยิ่งดูHauck-เนอร์ผลกระทบ

แม้ว่า @MichaelHardy ได้ให้คะแนนแล้วนี่เป็นข้อโต้แย้งที่มีรายละเอียดมากขึ้นว่าทำไม MLE ของค่าสูงสุด (และด้วยเหตุนี้ค่าเฉลี่ยโดยค่าคงที่) จึงไม่เป็นกลางแม้ว่าจะอยู่ในรูปแบบที่แตกต่างกัน (ดู การแก้ไขด้านล่าง)$\theta/2$

เราประเมินที่ถูกผูกไว้บนของการกระจายชุด ] นี่ Y ( n )เป็น MLE สำหรับตัวอย่างที่สุ่มY เราแสดงว่าy ( n )ไม่เป็นกลาง cdf ของมันคือ F y ( n ) ( x $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ ดังนั้นความหนาแน่นของมันคือ fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ ดังนั้น E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

แก้ไข: แท้จริงแล้วเป็นกรณีที่ (ดูการอภิปรายในความคิดเห็น) MLE ไม่เอนเอียงสำหรับค่าเฉลี่ยในกรณีที่ทั้งขอบเขตล่างและขอบเขตbด้านบนไม่เป็นที่รู้จัก จากนั้นค่าต่ำสุดY ( 1 )คือ MLE สำหรับa , โดยมี (ละเว้นรายละเอียด) ค่าที่คาดหวัง E ( Y ( 1 ) ) = n a + $a$$b$$Y_{(1)}$$a$ ในขณะที่ E(Y(n))=nb+

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

แก้ไข 2: อธิบายอย่างละเอียดเกี่ยวกับประเด็นของ Henry นี่คือการจำลองเล็กน้อยสำหรับ MSE ของตัวประมาณค่าเฉลี่ยแสดงให้เห็นว่าในขณะที่ MLE ถ้าเราไม่ทราบว่าขอบเขตล่างเป็นศูนย์จะไม่เอนเอียง MSEs สำหรับสองตัวแปรนั้นเหมือนกัน แนะนำว่าตัวประมาณซึ่งรวมความรู้ของขอบเขตล่างช่วยลดความแปรปรวน

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Completing here the omission in my answer over at math.se referenced by the OP,

assume that we have an i.i.d. sample of size $n$ of random variables following the Half Normal distribution. The density and moments of this distribution are

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

The log-likelihood of the sample is

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

The first derivative with respect to $v$ is

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.