เหตุใดข้อมูลฟิวชั่นฟิชเชอร์ฟิวเจอร์เซมิเซ จำกัด


19

ให้ n เมทริกซ์ข้อมูลฟิชเชอร์ถูกกำหนดเป็น:θRn

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

ฉันจะพิสูจน์ฟิชเชอร์ข้อมูลเมทริกซ์เป็น semidefinite เชิงบวกได้อย่างไร


7
มันเป็นมูลค่าที่คาดหวังของผลิตภัณฑ์ภายนอกของคะแนนด้วยตัวเองหรือไม่?
Neil G

คำตอบ:


20

ลองดูสิครับ: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

จากความหมายที่เรามี

Iij=Eθ[(ilogfXΘ(Xθ))(jlogfXΘ(X|θ))],
สำหรับผม,J=1,...,kซึ่งในผม=/θผมฉัน การแสดงออกของคุณสำหรับผมผมJต่อจากนี้ภายใต้เงื่อนไขที่สม่ำเสมอ

สำหรับ nonnull เวกเตอร์u=(u1,,uk)Rnมันดังมาจากเชิงเส้นของความคาดหวังที่

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Xθ))(j=1kujjlogfXΘ(Xθ))]=Eθ[(i=1kuiilogfXΘ(Xθ))2]0.

H=(Iij)H=Eθ[SS]S

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.


3
(+1) คำตอบที่ดีและยินดีต้อนรับกลับเซน ฉันเริ่มเป็นห่วงว่าเราอาจทำให้คุณหายไปอย่างถาวรเนื่องจากระยะเวลาที่หายไป นั่นจะเป็นความอัปยศที่แท้จริง!
พระคาร์ดินัล

5

คำเตือน: ไม่ใช่คำตอบทั่วไป!

ถ้า (X|θ)สอดคล้องกับครอบครัวเลขชี้กำลังเต็มอันดับแล้ว Hessian เชิงลบของความน่าจะเป็นบันทึกคือเมทริกซ์ความแปรปรวนร่วมของสถิติที่เพียงพอ เมทริกซ์ความแปรปรวนร่วมเป็นค่ากึ่งบวกแน่นอนเสมอ เนื่องจากข้อมูลฟิชเชอร์เป็นการรวมกันของเมทริกซ์กึ่งบวกแน่นอนดังนั้นมันจึงต้องเป็นกึ่งบวกแน่นอนด้วย

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.