ตัวประมาณความน่าจะเป็นสูงสุด

ฉันจะสร้างช่วงความมั่นใจแบบซีมโทติคสำหรับพารามิเตอร์จริงโดยเริ่มจาก MLE สำหรับพารามิเตอร์นั้นได้อย่างไร

วิธีหนึ่งในการแก้ไขปัญหานี้คือการใช้วิธีเดลต้า: en.wikipedia.org/wiki/Delta_method

ผมสังเกตเห็นมีการลงมติเพื่อปิดคำถามนี้กว้างเกินไป แต่มีเป็นทฤษฎีบททั่วไปเกี่ยวกับพฤติกรรมของ asymptotic MLEs ที่สามารถระบุชัดถ้อยชัดคำ ฉันตอบสั้น ๆ ว่าฉันจะขยายในภายหลัง

— Scortchi - Reinstate Monica

ใช้ความจริงที่ว่าสำหรับตัวอย่าง iid ขนาดให้เงื่อนไขปกติ MLEเป็นตัวประมาณค่าที่สอดคล้องกันของพารามิเตอร์ที่แท้จริง , & การกระจายของมัน asymptotically Normal, ด้วยความแปรปรวนที่กำหนดโดยกันและกัน ข้อมูลชาวประมง: $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ โดยที่เป็นข้อมูล Fisher จากตัวอย่างเดียว ข้อมูลที่สังเกตได้ที่ MLEมีแนวโน้มที่จะเป็นข้อมูลที่คาดหวัง asymptotically ดังนั้นคุณสามารถคำนวณ (พูด 95%) ช่วงความมั่นใจด้วย

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

ตัวอย่างเช่นหากเป็นตัวแปรปัวซองที่ไม่มีการตัดทอนคุณสามารถรับสูตรสำหรับข้อมูลที่สังเกตได้ในรูปของ MLE (ซึ่งคุณต้องคำนวณตัวเลข): $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

กรณีที่น่าสังเกตที่ไม่รวมอยู่ในเงื่อนไขความเป็นปกติรวมถึงกรณีที่

พารามิเตอร์พิจารณาการสนับสนุนข้อมูลเช่นการสุ่มตัวอย่างจากการแจกแจงแบบสม่ำเสมอระหว่างศูนย์และ $\theta$ $\theta$
จำนวนพารามิเตอร์รำคาญเพิ่มขึ้นตามขนาดตัวอย่าง

— Scortchi - Reinstate Monica
แหล่งที่มา

วิธีนี้ใช้ไม่ได้รับการแก้ไขเมื่อมีข้อ จำกัด ในเช่นหรือไม่? สิ่งที่เกี่ยวกับ MLE สำหรับพารามิเตอร์ ,เช่นนั้นและ ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

ถ้านั่นคือค่าจริงไม่เท่ากับหนึ่งในขอบเขต

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi - Reinstate Monica

ถ้า และไม่ได้หมายความว่าการประมาณปกติไม่สามารถใช้ได้และฉันต้องการตัวอย่างเพิ่มเติมหรือไม่

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

ใช่มันเป็นเพียงช่วงความมั่นใจแบบซีมโทติค

— Scortchi - Reinstate Monica

@quant_dev: ไม่: คุณจะมองหาการแปลงของพารามิเตอร์ที่ทำให้การประมาณปกติดี - หรือใช้วิธีอื่น

— Scortchi - Reinstate Monica

ตัวประมาณความน่าจะเป็นสูงสุด - ช่วงความมั่นใจ