คำถามพื้นฐานเกี่ยวกับเมทริกซ์ข้อมูลฟิชเชอร์และความสัมพันธ์กับ Hessian และข้อผิดพลาดมาตรฐาน

54

ตกลงนี่เป็นคำถามพื้นฐาน แต่ฉันสับสนเล็กน้อย ในวิทยานิพนธ์ของฉันฉันเขียน:

ข้อผิดพลาดมาตรฐานสามารถพบได้โดยการคำนวณค่าผกผันของสแควร์รูทขององค์ประกอบเส้นทแยงมุมของเมทริกซ์ข้อมูลฟิชเชอร์ (สังเกต)

เนื่องจากคำสั่งการเพิ่มประสิทธิภาพในการวิจัยลด(การปฏิบัติ) ข้อมูลฟิชเชอร์เมทริกซ์สามารถพบได้โดยการคำนวณค่าผกผันของรัฐนี้

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

คำถามหลักของฉัน: ถูกต้องสิ่งที่ฉันพูด ?

ฉันสับสนเล็กน้อยเพราะในแหล่งที่มาในหน้า 7 มันบอกว่า:

ข้อมูลเมทริกซ์เป็นค่าลบของค่าที่คาดหวังของเมทริกซ์ Hessian

(ดังนั้นจึงไม่ตรงกันข้ามกับ Hessian)

ในขณะที่ในนี้แหล่งที่มาในหน้า 7 (เชิงอรรถ 5) มันพูดว่า:

$(-H)^{-1}$

(ดังนั้นนี่คือสิ่งที่ตรงกันข้าม)

ฉันตระหนักถึงเครื่องหมายลบและควรใช้เมื่อใดและเมื่อใด แต่ทำไมจึงมีความแตกต่างในการกลับด้านหรือไม่

maximum-likelihood fisher-information

— เจนโบลด์
แหล่งที่มา

@COOLSerdash ขอบคุณสำหรับการแก้ไขและ +1 ของคุณ แต่ที่มานี้: unc.edu/~monogan/computing/r/MLE_in_R.pdfหน้า 7 บอกชัดเจนว่าข้อมูล Fisher ที่สังเกตได้เท่ากับ INVERSE ของ Hessian?

— Jen Bohold

@COOLSerdash ตกลงคุณอาจต้องการโพสต์สิ่งนี้เป็นคำตอบ

— Jen Bohold

75

Yudi Pawitan เขียนไว้ในหนังสือของเขาในทุกโอกาสว่าอนุพันธ์อันดับสองของบันทึกความน่าจะเป็นประเมินที่ค่าความน่าจะเป็นสูงสุด (MLE) คือข้อมูลของชาวประมง (ดูเอกสารนี้หน้า 2) ตรงนี้เป็นสิ่งที่มากที่สุดขั้นตอนวิธีการเพิ่มประสิทธิภาพเช่นoptimในRการกลับมา: รัฐประเมินที่ MLE เมื่อผลลบโอกาสในการเข้าสู่ระบบจะลดลง, Hessian เชิงลบจะถูกส่งกลับ ในขณะที่คุณชี้ให้เห็นอย่างถูกต้องข้อผิดพลาดมาตรฐานโดยประมาณของ MLE คือรากที่สองขององค์ประกอบในแนวทแยงของผกผันของเมทริกซ์ข้อมูลฟิชเชอร์ที่สังเกต กล่าวอีกนัยหนึ่ง: รากที่สองขององค์ประกอบในแนวทแยงของการผกผันของ Hessian (หรือ Hessian เชิงลบ) เป็นข้อผิดพลาดมาตรฐานโดยประมาณ

สรุป

Hessian เชิงลบที่ประเมินที่ MLE เป็นเช่นเดียวกับเมทริกซ์ข้อมูลฟิชเชอร์ที่สังเกตซึ่งประเมินที่ MLE
เกี่ยวกับคำถามหลักของคุณ: ไม่ไม่ถูกต้องที่สามารถพบข้อมูลฟิชเชอร์ที่สังเกตได้โดยการลบ Hessian (ลบ)
เกี่ยวกับคำถามที่สองของคุณ: การผกผันของ (เชิงลบ) Hessian เป็นตัวประมาณของเมทริกซ์ความแปรปรวนร่วมเชิงซ้อน ดังนั้นรากที่สองขององค์ประกอบเส้นทแยงมุมของเมทริกซ์ความแปรปรวนร่วมเป็นตัวประมาณความผิดพลาดมาตรฐาน
ฉันคิดว่าเอกสารที่สองที่คุณเชื่อมโยงนั้นผิด

เป็นทางการ

$l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
แหล่งที่มา

1

ควรพูดว่า "เมื่อความน่าจะเป็นบันทึกเชิงลบจะลดลง " (หรือปรับให้เหมาะสม )

— cmo

8

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Reinstate Monica

6

การประมาณความน่าจะเป็นของฟังก์ชั่นทำให้เกิดกระบวนการสองขั้นตอน

ก่อนอื่นหนึ่งประกาศฟังก์ชั่นบันทึกความน่าจะเป็น จากนั้นจะปรับฟังก์ชั่นบันทึกความเป็นไปได้ให้เหมาะสม ไม่เป็นไร.

$-1*l$ $l$

$(-H)^-1$

— Adelino Martins
แหล่งที่มา