คำถามพื้นฐานเกี่ยวกับเมทริกซ์ข้อมูลฟิชเชอร์และความสัมพันธ์กับ Hessian และข้อผิดพลาดมาตรฐาน


54

ตกลงนี่เป็นคำถามพื้นฐาน แต่ฉันสับสนเล็กน้อย ในวิทยานิพนธ์ของฉันฉันเขียน:

ข้อผิดพลาดมาตรฐานสามารถพบได้โดยการคำนวณค่าผกผันของสแควร์รูทขององค์ประกอบเส้นทแยงมุมของเมทริกซ์ข้อมูลฟิชเชอร์ (สังเกต)

เนื่องจากคำสั่งการเพิ่มประสิทธิภาพในการวิจัยลด-เข้าสู่ระบบL(การปฏิบัติ) ข้อมูลฟิชเชอร์เมทริกซ์สามารถพบได้โดยการคำนวณค่าผกผันของรัฐนี้ ฉัน(μ,σ2)=H-1

sμ^,σ^2=1I(μ^,σ^2)
logL
I(μ^,σ^2)=H1

คำถามหลักของฉัน: ถูกต้องสิ่งที่ฉันพูด ?

ฉันสับสนเล็กน้อยเพราะในแหล่งที่มาในหน้า 7 มันบอกว่า:

ข้อมูลเมทริกซ์เป็นค่าลบของค่าที่คาดหวังของเมทริกซ์ Hessian

(ดังนั้นจึงไม่ตรงกันข้ามกับ Hessian)

ในขณะที่ในนี้แหล่งที่มาในหน้า 7 (เชิงอรรถ 5) มันพูดว่า:

(H)1

(ดังนั้นนี่คือสิ่งที่ตรงกันข้าม)

ฉันตระหนักถึงเครื่องหมายลบและควรใช้เมื่อใดและเมื่อใด แต่ทำไมจึงมีความแตกต่างในการกลับด้านหรือไม่


@COOLSerdash ขอบคุณสำหรับการแก้ไขและ +1 ของคุณ แต่ที่มานี้: unc.edu/~monogan/computing/r/MLE_in_R.pdfหน้า 7 บอกชัดเจนว่าข้อมูล Fisher ที่สังเกตได้เท่ากับ INVERSE ของ Hessian?
Jen Bohold

@COOLSerdash ตกลงคุณอาจต้องการโพสต์สิ่งนี้เป็นคำตอบ
Jen Bohold

คำตอบ:


75

Yudi Pawitan เขียนไว้ในหนังสือของเขาในทุกโอกาสว่าอนุพันธ์อันดับสองของบันทึกความน่าจะเป็นประเมินที่ค่าความน่าจะเป็นสูงสุด (MLE) คือข้อมูลของชาวประมง (ดูเอกสารนี้หน้า 2) ตรงนี้เป็นสิ่งที่มากที่สุดขั้นตอนวิธีการเพิ่มประสิทธิภาพเช่นoptimในRการกลับมา: รัฐประเมินที่ MLE เมื่อผลลบโอกาสในการเข้าสู่ระบบจะลดลง, Hessian เชิงลบจะถูกส่งกลับ ในขณะที่คุณชี้ให้เห็นอย่างถูกต้องข้อผิดพลาดมาตรฐานโดยประมาณของ MLE คือรากที่สองขององค์ประกอบในแนวทแยงของผกผันของเมทริกซ์ข้อมูลฟิชเชอร์ที่สังเกต กล่าวอีกนัยหนึ่ง: รากที่สองขององค์ประกอบในแนวทแยงของการผกผันของ Hessian (หรือ Hessian เชิงลบ) เป็นข้อผิดพลาดมาตรฐานโดยประมาณ

สรุป

  • Hessian เชิงลบที่ประเมินที่ MLE เป็นเช่นเดียวกับเมทริกซ์ข้อมูลฟิชเชอร์ที่สังเกตซึ่งประเมินที่ MLE
  • เกี่ยวกับคำถามหลักของคุณ: ไม่ไม่ถูกต้องที่สามารถพบข้อมูลฟิชเชอร์ที่สังเกตได้โดยการลบ Hessian (ลบ)
  • เกี่ยวกับคำถามที่สองของคุณ: การผกผันของ (เชิงลบ) Hessian เป็นตัวประมาณของเมทริกซ์ความแปรปรวนร่วมเชิงซ้อน ดังนั้นรากที่สองขององค์ประกอบเส้นทแยงมุมของเมทริกซ์ความแปรปรวนร่วมเป็นตัวประมาณความผิดพลาดมาตรฐาน
  • ฉันคิดว่าเอกสารที่สองที่คุณเชื่อมโยงนั้นผิด

เป็นทางการ

l(θ) I(θ)(p×p)

I(θ)=2θiθjl(θ),    1i,jp
I(θ^ML)
H(θ)=2θiθjl(θ),    1i,jp

Var(θ^ML)=[I(θ^ML)]1
θ^MLaN(θ0,[I(θ^ML)]1)
θ0
SE(θ^ML)=1I(θ^ML)

1
ควรพูดว่า "เมื่อความน่าจะเป็นบันทึกเชิงลบจะลดลง " (หรือปรับให้เหมาะสม )
cmo

8
I(θ)=EI(θ)I(θ)θI(θ)=I(θ)
Scortchi - Reinstate Monica

6

การประมาณความน่าจะเป็นของฟังก์ชั่นทำให้เกิดกระบวนการสองขั้นตอน

ก่อนอื่นหนึ่งประกาศฟังก์ชั่นบันทึกความน่าจะเป็น จากนั้นจะปรับฟังก์ชั่นบันทึกความเป็นไปได้ให้เหมาะสม ไม่เป็นไร.

1ll

(H)1

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.