ข้อผิดพลาดมาตรฐานของการประมาณความน่าจะเป็นสูงสุดหมายถึงอะไร

ฉันเป็นนักสถิติศึกษาด้วยตนเองและพยายามอย่างยิ่งโดยเฉพาะกับภาษา

ในหนังสือที่ฉันกำลังใช้มีปัญหาดังต่อไปนี้:

ตัวแปรสุ่มจะได้รับเป็น -distributed กับ 0 (แน่นอนคุณอาจจะใช้การกระจายใด ๆ ขึ้นอยู่กับพารามิเตอร์หนึ่งเพื่อประโยชน์ของคำถามนี้.) จากนั้นกลุ่มตัวอย่างในห้าของค่า , , , ,จะได้รับ $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

ส่วนที่หนึ่ง: "การใช้วิธีการที่มีโอกาสสูงสุดหาการประมาณของโดยอิงจาก [ตัวอย่าง]" นี่ไม่มีปัญหา คำตอบคือ4.6931 $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

แต่จากนั้น: "ให้ค่าประมาณสำหรับข้อผิดพลาดมาตรฐานของ " $\hat{\alpha}$

สิ่งนี้มีความหมายอย่างไร? เนื่องจากเป็นเพียงจำนวนจริงคงที่ฉันไม่เห็นว่ามันจะมีข้อผิดพลาดมาตรฐานได้อย่างไร ฉันต้องพิจารณาค่าเบี่ยงเบนมาตรฐานของหรือไม่ $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

หากคุณคิดว่าคำถามไม่ชัดเจนข้อมูลนี้จะช่วยฉันเช่นกัน

maximum-likelihood

— สเตฟาน
แหล่งที่มา

อะไร

60

$60$ ย่อมาจาก?

— Alecos Papadopoulos

คุณมีสูตรสำหรับ

? ที่จะช่วยให้คุณประเมินข้อผิดพลาดมาตรฐานได้

\hat{α}

$\hat \alpha$

— soakley

@Glen_b แต่ถ้าเป็นขีด จำกัด ล่างจะเป็นไปได้อย่างไรว่าค่าทั้งหมดของตัวอย่างที่รับรู้มีขนาดเล็กลง?

— Alecos Papadopoulos

@Alcos นั่นเป็นจุดที่ยอดเยี่ยม ความคิดเห็นของฉันไม่สมเหตุสมผล ฉันลบมัน

— Glen_b -Reinstate Monica

@Alecos:

คือการกระจายที่มีความหนาแน่นของ

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— สเตฟาน

คำตอบ:

คำตอบอื่น ๆ ที่ครอบคลุมถึงการได้มาของข้อผิดพลาดมาตรฐานฉันแค่ต้องการช่วยให้คุณมีสัญกรณ์:

ความสับสนของคุณเกิดจากความจริงที่ว่าในสถิติเราใช้สัญลักษณ์เดียวกันทั้งหมดเพื่อแสดง Estimator (ซึ่งเป็นฟังก์ชั่น) และการประมาณการที่เฉพาะเจาะจง

ดังนั้นและสำหรับ $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ }ดังนั้นเป็นหน้าที่ของตัวแปรสุ่มและตัวแปรสุ่มตัวเองที่แน่นอนมีความแปรปรวน $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

ในการประมาณค่า ML ในหลายกรณีสิ่งที่เราสามารถคำนวณเป็นasymptoticข้อผิดพลาดมาตรฐานเพราะการกระจายแน่นอนตัวอย่างของประมาณการไม่เป็นที่รู้จัก (ไม่สามารถจะได้มา)

ไม่ได้มีการกระจาย asymptotic เพราะมันลู่ไปเป็นจำนวนจริง (จำนวนที่แท้จริงในเกือบทุกกรณีของการประมาณค่า ML) แต่ปริมาณ $\hat \alpha$ ลู่กับตัวแปรสุ่มปกติ (โดยการประยุกต์ใช้ทฤษฎีขีด จำกัด กลาง) $\sqrt n (\hat \alpha - \alpha)$

จุดที่สองของความสับสนสัญลักษณ์ : ที่สุดหากไม่ได้ทุกข้อความจะเขียน ( "วาร์" = แปรปรวน asymptotic ") ในขณะที่สิ่งที่พวกเขาหมายถึงคือ $\text {Avar}(\hat \alpha)$ เช่นพวกเขาอ้างถึงความแปรปรวนเชิงปริมาณ $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ ไม่ใช่ ... สำหรับกรณีที่มีการกระจาย Pareto พื้นฐานที่เรามี $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

และเพื่อให้

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

( แต่สิ่งที่คุณจะพบเขียนเป็น ) $\text {Avar}(\hat \alpha ) = \alpha^2$

ตอนนี้ในสิ่งที่รู้สึกประมาณการมี "ความแปรปรวน asymptotic" ตั้งแต่ที่กล่าวว่า asymptotically มันลู่ไปอย่างต่อเนื่องหรือไม่ ในความหมายโดยประมาณและสำหรับตัวอย่างที่มีขนาดใหญ่ แต่ จำกัด คือที่ไหนสักแห่งในระหว่างตัวอย่าง "เล็ก" ซึ่ง Estimator เป็นตัวแปรสุ่มที่มีการแจกแจงที่ไม่รู้จัก (ปกติ) และตัวอย่าง "อนันต์" ซึ่งตัวประมาณเป็นค่าคงที่มี "ดินแดนตัวอย่างขนาดใหญ่ แต่มีขอบเขต จำกัด " อยู่ที่ไหน เครื่องมือประมาณการยังไม่กลายเป็นค่าคงที่และการกระจายและความแปรปรวนของมันมาในทางอ้อมโดยการใช้ทฤษฎีการ จำกัด ศูนย์กลางเพื่อให้ได้การกระจายเชิงซีมโทติคอย่างเหมาะสมของปริมาณ $\hat \alpha$ (ซึ่งเกิดจากปกติที่จะ CLT) และจากนั้นก็หันไปรอบ ๆ และการเขียน $Z = \sqrt n (\hat \alpha - \alpha)$ (ในขณะที่การขั้นตอนหนึ่งที่กลับมาและรักษาเป็น จำกัด ) ซึ่งแสดงให้เห็นว่าเป็นฟังก์ชั่นเลียนแบบปกติตัวแปรสุ่มและเพื่อกระจายตามปกติตัวเอง (เสมอโดยประมาณ) $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— Alecos Papadopoulos
แหล่งที่มา

+1 สำหรับความแตกต่างระหว่าง

และ

\hat{α}

$\hat{\alpha}$

- สัญกรณ์อย่างแน่นอนสามารถที่ไม่สอดคล้องกัน

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Nate Pope

- ประมาณการโอกาสสูงสุด - เป็นหน้าที่ของตัวอย่างที่สุ่มและอื่น ๆ นอกจากนี้ยังเป็นแบบสุ่ม (ไม่คงที่) การประมาณการของข้อผิดพลาดมาตรฐานของอาจจะได้รับจากข้อมูลฟิชเชอร์ $\hat{\alpha}$ $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

ที่ไหนเป็นพารามิเตอร์และเป็นฟังก์ชั่นการเข้าสู่ระบบน่าจะเป็นของเงื่อนไขในตัวอย่างที่สุ่มYสัญชาตญาณข้อมูลฟิชเชอร์แสดงให้เห็นความสูงชันของความโค้งของพื้นผิวเข้าสู่ระบบความน่าจะเป็นรอบ MLE และเพื่อให้ปริมาณของ 'ข้อมูล' ที่ให้ประมาณθ $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

สำหรับการกระจายกับสำนึกเดียว , เข้าสู่ระบบความน่าจะเป็นที่เป็นที่รู้จักกัน: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

เสียบเข้ากับคำจำกัดความของข้อมูล Fisher,

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

สำหรับตัวอย่าง

โอกาสประมาณการสูงสุด

มีการกระจาย asymptotically

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— เนทสมเด็จพระสันตะปาปา
แหล่งที่มา

For your second to last line,

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$ , it doesn't appear the notation is correct. If

n \to \infty

$n \to \infty$ , then

n

$n$ can't appear on the right side. Instead, you want

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627