การแจกแจงแบบใดมีตัวประมาณแบบไม่เอนเอียงสำหรับค่าเบี่ยงเบนมาตรฐาน

สำหรับการแจกแจงแบบปกติจะมีการประมาณค่าส่วนเบี่ยงเบนมาตรฐานโดย:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

เหตุผลที่ผลนี้ไม่เป็นที่รู้จักเป็นอย่างดีน่าจะเป็นที่มันเป็นส่วนใหญ่โบราณมากกว่าเรื่องของการนำเข้าที่ดีใด ๆ หลักฐานที่จะครอบคลุมในหัวข้อนี้ ; มันใช้ประโยชน์จากคุณสมบัติที่สำคัญของการแจกแจงแบบปกติ:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

จากนั้นด้วยการทำงานเล็กน้อยก็เป็นไปได้ที่จะคาดหวังและโดยการระบุคำตอบนี้เป็นหลายของเราสามารถสรุปผลการเป็นกลาง $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ $\sigma$ $\hat{\sigma}_\text{unbiased}$

นี่ทำให้ฉันอยากรู้ว่าการแจกแจงแบบอื่นมีตัวประมาณค่าเบี่ยงเบนมาตรฐานแบบปิดแบบเป็นกลาง ต่างจากการประมาณค่าความแปรปรวนแบบไม่เอนเอียงนี่คือการแจกแจงที่เฉพาะเจาะจงอย่างชัดเจน ยิ่งไปกว่านั้นมันจะไม่ตรงไปตรงมาที่จะปรับเปลี่ยนหลักฐานเพื่อค้นหาตัวประมาณสำหรับการแจกแจงแบบอื่น

การแจกแจงแบบเบ้ปกติมีคุณสมบัติการแจกแจงที่ดีสำหรับรูปแบบสมการกำลังสองซึ่งคุณสมบัติการแจกแจงแบบปกติที่เราใช้นั้นมีประสิทธิภาพเป็นกรณีพิเศษของ (เนื่องจากปกติเป็นชนิดพิเศษแบบเบ้ปกติ) ดังนั้นบางทีมันอาจไม่ยากนัก ขยายวิธีการนี้ให้กับพวกเขา แต่สำหรับความแตกต่างอื่น ๆ มันจะปรากฏวิธีการที่แตกต่างกันโดยสิ้นเชิงเป็นสิ่งจำเป็น

มีการแจกแจงอื่น ๆ ที่ทราบการประมาณเช่นนี้หรือไม่?

mathematical-statistics standard-deviation unbiased-estimator

— สีเงิน
แหล่งที่มา

หากคุณไม่สนใจสิ่งรบกวนทางเทคนิคลักษณะของคำตอบจะชัดเจนขึ้น ในกรณีปกติเล็กน้อยของสิ่งที่คุณเขียนนั้นเกี่ยวข้องกับข้อสรุป สิ่งที่สำคัญคือปริมาณของความเอนเอียงในตัวประมาณค่านี้เป็นฟังก์ชันของ

เพียงอย่างเดียว (และไม่ได้ขึ้นอยู่กับพารามิเตอร์การกระจายอื่น ๆ ที่จำเป็นต้องได้รับการประมาณจากข้อมูล)

n

$n$

— whuber

@ เมื่อฉันคิดว่าฉันสามารถเห็นความคิดทั่วไปที่คุณกำลังพูดถึงและจำเป็นต้องใช้"ฟังก์ชั่นของ

คนเดียว" อย่างชัดเจน แต่ฉันไม่คิดว่ามันจะเพียงพอ - ถ้าเราไม่สามารถเข้าถึงผลลัพธ์การกระจายที่ดีบางอย่างฉันไม่สามารถดูได้ว่าลักษณะ "ปิดแบบฟอร์ม" จะสามารถใช้งานได้ง่าย

n

$n$

— Silverfish

ขึ้นอยู่กับสิ่งที่คุณหมายถึงโดย "ฟอร์มปิด" ตัวอย่างเช่นสำหรับคนคนหนึ่งฟังก์ชัน theta อาจ "ปิด" แต่สำหรับอีกคนมันเป็นเพียงผลิตภัณฑ์ที่ไม่มีที่สิ้นสุด, อนุกรมกำลังหรืออินทิกรัลที่ซับซ้อน ลองคิดดูสิฟังก์ชั่นแกมม่าคือ :-)

— whuber

@whuber Good point! By "the amount of bias in this particular estimator", I take it you mean that the bias in

s

$s$ (rather than the estimator listed in the question, which has zero bias) is a function of

n

$n$ (and also in

σ

$\sigma$ , but fortunately in such a way that we can easily rearrange to find an unbiased estimator)?

— Silverfish

@whuber: There should be a similar formula for any location-scale family, with the caveat you pointed out that the function of

n

$n$ may be an intractable integral.

— Xi'an

คำตอบ:

$F$ $q(F)$ (for a sample size $n$ large enough) if and only if $q(\alpha F+(1-\alpha)G)$ is a polynomial in $0\le \alpha\le 1$ . This theorem does not apply to the problem here because the collection of Gaussian distributions is not convex (a mixture of Gaussians is not a Gaussian).

An extension of the result in the question is that any power $\sigma^\alpha$ of the standard deviation can be unbiasedly estimated, provided there are enough observations when $\alpha<0$ . This follows from the result

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$ is the scale (and unique) parameter for

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$ .

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$ with a finite variance

σ^{2}

$\sigma^2$ . Indeed,

the variance ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ is only a function of $\tau$ ;
the sum of squares $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ has an expectation of the form $\tau^2\psi(n)$ ;
and similarly for any power $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$ such that the expectation is finite.

— Xi'an
แหล่งที่มา

A probably well known case, but a case nevertheless.
Consider a continuous uniform distribution $U(0,\theta)$ . Given an i.i.d. sample, the maximum order statistic, $X_{(n)}$ has expected value

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

The standard deviation of the distribution is

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

So the estimator

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

is evidently unbiased for $\sigma$ .

This generalizes to the case where the lower bound of the distribution is also unknown, since we can have an unbiased estimator for the Range, and then the standard deviation is again a linear function of the Range (as is essentially above also).

This exemplifies @whuber's comment, that "the amount of bias is a function of $n$ alone" (plus possibly any known constants) -so it can be deterministically corrected. And this is the case here.

— Alecos Papadopoulos
แหล่งที่มา

Now the hard part: when in the world are we interested in the standard deviation of a uniform distribution? (+1)

— shadowtalker

@ssdecontrol That's an excellent question! -please proceed to the next one...

— Alecos Papadopoulos

One thing I love about this answer is how poor the estimator is. It's quite common to see a question which boils down to "why do we use

\hat{θ}

$\hat{\theta}$ as an estimator even though it's biased?" Some students need convincing that unbiasedness is not the be-all and end-all, and a poor unbiased estimator is one way to show them.

— Silverfish

@Silverfish Poor in what way? Some quick simulations show this to have lower MSE than the usual standard deviation (which surprised me).

— Dave

@Dave Interesting! I had jumped to the conclusion it would be poor since it only looked at the maximum order statistic, but I too stand surprised! Shows the value of doing some simulation...

— Silverfish