สังเกตเมทริกซ์ข้อมูลเป็นตัวประมาณความสอดคล้องของเมทริกซ์ข้อมูลที่คาดหวัง?


16

ฉันพยายามที่จะพิสูจน์ว่าเมทริกซ์ข้อมูลที่สังเกตได้ประเมินที่ตัวประมาณความน่าจะเป็นค่าสูงสุดที่ไม่สม่ำเสมอ (MLE) ซึ่งเป็นค่าประมาณที่ไม่แน่นอนของเมทริกซ์ข้อมูลที่คาดหวัง นี่คือผลลัพธ์ที่ยกมาอย่างกว้างขวาง แต่ไม่มีใครให้การอ้างอิงหรือหลักฐาน (ฉันหมดแรงฉันคิดว่าหน้าแรกของผลการค้นหาของ google และตำราสถิติของฉัน) 20 หน้า!

การใช้ลำดับของ MLE ที่สอดคล้องกันอย่างอ่อนฉันสามารถใช้กฏที่อ่อนแอของจำนวนมาก (WLLN) และทฤษฎีการทำแผนที่แบบต่อเนื่องเพื่อให้ได้ผลลัพธ์ตามที่ฉันต้องการ อย่างไรก็ตามฉันเชื่อว่าไม่สามารถใช้ทฤษฎีบทการทำแผนที่อย่างต่อเนื่องได้ แต่ฉันคิดว่าต้องใช้กฎหมายเครื่องแบบของคนจำนวนมาก (ULLN) มีใครทราบถึงข้อมูลอ้างอิงที่มีหลักฐานนี้หรือไม่? ฉันมีความพยายามที่ ULLN แต่ไม่ต้องสนใจเลยสำหรับตอนนี้

ฉันต้องขออภัยในความยาวของคำถามนี้ แต่จะต้องมีการจดบันทึก สัญกรณ์เป็นเหมือน folows (หลักฐานของฉันอยู่ท้าย)

สมมติว่าเรามีตัวอย่าง IID ของตัวแปรสุ่ม{ Y 1 , ... , Y N }{Y1,,YN}กับความหนาแน่น( ~ Y | θ )f(Y~|θ)ที่θ Θ R kθΘRk (ที่นี่~ YY~เป็นเพียงตัวแปรสุ่มทั่วไปที่มีความหนาแน่นเดียวกัน เป็นหนึ่งในสมาชิกของกลุ่มตัวอย่าง) เวกเตอร์Y = ( Y 1 , , Y N ) TY=(Y1,,YN)Tคือเวกเตอร์ของเวกเตอร์ตัวอย่างทั้งหมดที่Y i R nYiRnสำหรับทุกฉัน=1,...,i=1,,NN ค่าพารามิเตอร์ที่แท้จริงของความหนาแน่นคือ θ 0θ0และ θ N (Y)เป็นที่สอดคล้องกันนิดหน่อยโอกาสสูงสุดประมาณ (MLE) ของ θ 0 ภายใต้เงื่อนไขความสม่ำเสมอเมทริกซ์ข้อมูลฟิชเชอร์สามารถเขียนได้θ^N(Y)θ0

I ( θ ) = - E θ [ H θ ( บันทึกf ( ˜ Y | θ ) ]

I(θ)=Eθ[Hθ(logf(Y~|θ)]

โดยที่H θHθคือเมทริกซ์ของ Hessian ตัวอย่างที่เทียบเท่าคือ

I N ( θ ) = N i = 1ฉันy ฉัน ( θ ) ,

IN(θ)=i=1NIyi(θ),

ที่ฉันy ฉัน = - E θ [ H θ ( บันทึกf ( Y ฉัน | θ ) ] )Iyi=Eθ[Hθ(logf(Yi|θ)]เมทริกซ์ข้อมูลที่สังเกตคือ;

J ( θ ) = - H θ ( บันทึกf ( y | θ )J(θ)=Hθ(logf(y|θ) ,

(บางคนเรียกร้องเมทริกซ์ได้รับการประเมินที่θแต่บางคนไม่) ตัวอย่างเมทริกซ์ข้อมูลที่สังเกตคือθ^

J N ( θ ) = N i = 1 J y i ( θ )JN(θ)=Ni=1Jyi(θ)

ที่J y ฉัน ( θ ) = - H θ ( บันทึกf ( y i | θ )Jyi(θ)=Hθ(logf(yi|θ) )

ฉันสามารถพิสูจน์บรรจบกันในน่าจะเป็นของประมาณการN - 1 J N ( θ )N1JN(θ)เพื่อฉัน( θ )I(θ)แต่ไม่ได้ของN - 1 J N ( θ N ( Y ) )N1JN(θ^N(Y))เพื่อฉัน( θ 0 )I(θ0) )นี่คือบทพิสูจน์ของฉันจนถึงตอนนี้;

Now (JN(θ))rs=Ni=1(Hθ(logf(Yi|θ))rs(JN(θ))rs=Ni=1(Hθ(logf(Yi|θ))rs is element (r,s)(r,s) of JN(θ)JN(θ), for any r,s=1,,kr,s=1,,k. If the sample is iid, then by the weak law of large numbers (WLLN), the average of these summands converges in probability to Eθ[(Hθ(logf(Y1|θ))rs]=(IY1(θ))rs=(I(θ))rsEθ[(Hθ(logf(Y1|θ))rs]=(IY1(θ))rs=(I(θ))rs. Thus N1(JN(θ))rsP(I(θ))rsN1(JN(θ))rsP(I(θ))rs for all r,s=1,,kr,s=1,,k, and so N1JN(θ)PI(θ)N1JN(θ)PI(θ). Unfortunately we cannot simply conclude N1JN(ˆθN(Y))PI(θ0)N1JN(θ^N(Y))PI(θ0) by using the continuous mapping theorem since N1JN()N1JN() is not the same function as I()I().

Any help on this would be greatly appreciated.



does my answer below address answer your question?
Dapz

1
@Dapz Please accept my sincerest apologies for not replying to you until now - I made the mistake of assuming nobody would answer. Thank-you for your answer below - I have upvoted it since I can see it is most useful, however I need to spend a little time considering it. Thank-you for your time, and I will reply to your post below soon.
dandar

คำตอบ:


7

I guess directly establishing some sort of uniform law of large numbers is one possible approach.

Here is another.

We want to show that JN(θMLE)NPI(θ)JN(θMLE)NPI(θ).

(As you said, we have by the WLLN that JN(θ)NPI(θ)JN(θ)NPI(θ). But this doesn't directly help us.)

One possible strategy is to show that |I(θ)JN(θ)N|P0.

|I(θ)JN(θ)N|P0.

and

|JN(θMLE)NJN(θ)N|P0

|JN(θMLE)NJN(θ)N|P0

If both of the results are true, then we can combine them to get |I(θ)JN(θMLE)N|P0,

|I(θ)JN(θMLE)N|P0,

which is exactly what we want to show.

The first equation follows from the weak law of large numbers.

The second almost follows from the continuous mapping theorem, but unfortunately our function g()g() that we want to apply the CMT to changes with NN: our gg is really gN(θ):=JN(θ)NgN(θ):=JN(θ)N. So we cannot use the CMT.

(Comment: If you examine the proof of the CMT on Wikipedia, notice that the set BδBδ they define in their proof for us now also depends on nn. We essentially need some sort of equicontinuity at θθ over our functions gN(θ)gN(θ).)

Fortunately, if you assume that the family G={gN|N=1,2,}G={gN|N=1,2,} is stochastically equicontinuous at θθ, then it immediately follows that for θMLEPθθMLEPθ, |gn(θMLE)gn(θ)|P0.

|gn(θMLE)gn(θ)|P0.

(See here: http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf for a definition of stochastic equicontinuity at θθ, and a proof of the above fact.)

Therefore, assuming that GG is SE at θθ, your desired result holds true and the empirical Fisher information converges to the population Fisher information.

Now, the key question of course is, what sort of conditions do you need to impose on GG to get SE? It looks like one way to do this is to establish a Lipshitz condition on the entire class of functions GG (see here: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic-equicontinuity.original.pdf ).


1

The answer above using stochastic equicontinuity works very well, but here I am answering my own question by using a uniform law of large numbers to show that the observed information matrix is a strongly consistent estimator of the information matrix , i.e. N1JN(ˆθN(Y))a.s.I(θ0)N1JN(θ^N(Y))a.s.I(θ0) if we plug-in a strongly consistent sequence of estimators. I hope it is correct in all details.

We will use IN={1,2,...,N}IN={1,2,...,N} to be an index set, and let us temporarily adopt the notation J(˜Y,θ):=J(θ)J(Y~,θ):=J(θ) in order to be explicit about the dependence of J(θ)J(θ) on the random vector ˜YY~. We shall also work elementwise with (J(˜Y,θ))rs(J(Y~,θ))rs and (JN(θ))rs=Ni=1(J(Yi,θ))rs(JN(θ))rs=Ni=1(J(Yi,θ))rs, r,s=1,...,kr,s=1,...,k, for this discussion. The function (J(,θ))rs(J(,θ))rs is real-valued on the set Rn×ΘRn×Θ, and we will suppose that it is Lebesgue measurable for every θΘθΘ. A uniform (strong) law of large numbers defines a set of conditions under which

supθΘ|N1(JN(θ))rsEθ[(J(Y1,θ))rs]|=supθΘ|N1Ni=1(J(Yi,θ))rs(I(θ))rs|a.s0(1)supθΘN1(JN(θ))rsEθ[(J(Y1,θ))rs]=supθΘN1Ni=1(J(Yi,θ))rs(I(θ))rsa.s0(1)

The conditions that must be satisfied in order that (1) holds are (a) ΘΘ is a compact set; (b) (J(˜Y,θ))rs(J(Y~,θ))rs is a continuous function on ΘΘ with probability 1; (c) for each θΘθΘ (J(˜Y,θ))rs(J(Y~,θ))rs is dominated by a function h(˜Y)h(Y~), i.e. |(J(˜Y,θ))rs|<h(˜Y)|(J(Y~,θ))rs|<h(Y~); and (d) for each θΘθΘ Eθ[h(˜Y)]<Eθ[h(Y~)]<;. These conditions come from Jennrich (1969, Theorem 2).

Now for any yiRnyiRn, iINiIN and θSΘθSΘ, the following inequality obviously holds

|N1Ni=1(J(yi,θ))rs(I(θ))rs|supθS|N1Ni=1(J(yi,θ))rs(I(θ))rs|.(2)N1Ni=1(J(yi,θ))rs(I(θ))rssupθSN1Ni=1(J(yi,θ))rs(I(θ))rs.(2)

Suppose that {ˆθN(Y)}{θ^N(Y)} is a strongly consistent sequence of estimators for θ0θ0, and let ΘN1=BδN1(θ0)KΘΘN1=BδN1(θ0)KΘ be an open ball in RkRk with radius δN10δN10 as N1N1, and suppose KK is compact. Then since ˆθN(Y)ΘN1θ^N(Y)ΘN1 for NN sufficiently large enough we have P[limN{ˆθN(Y)ΘN1}]=1P[limN{θ^N(Y)ΘN1}]=1 for sufficiently large NN. Together with (2) this implies

P[limN{|N1Ni=1(J(Yi,ˆθN(Y)))rs(I(ˆθN(Y)))rs|supθΘN1|N1Ni=1(J(Yi,θ))rs(I(θ))rs|}]=1.(3)P[limN{N1Ni=1(J(Yi,θ^N(Y)))rs(I(θ^N(Y)))rssupθΘN1N1Ni=1(J(Yi,θ))rs(I(θ))rs}]=1.(3)

Now ΘN1ΘΘN1Θ implies conditions (a)-(d) of Jennrich (1969, Theorem 2) apply to ΘN1ΘN1. Thus (1) and (3) imply

P[limN{|N1Ni=1(J(Yi,ˆθN(Y)))rs(I(ˆθN(Y)))rs|=0}]=1.(4)P[limN{N1Ni=1(J(Yi,θ^N(Y)))rs(I(θ^N(Y)))rs=0}]=1.(4)

Since (I(ˆθN(Y)))rsa.s.I(θ0)(I(θ^N(Y)))rsa.s.I(θ0) then (4) implies that N1(JN(ˆθN(Y)))rsa.s.(I(θ0))rsN1(JN(θ^N(Y)))rsa.s.(I(θ0))rs. Note that (3) holds however small ΘN1 is, and so the result in (4) is independent of the choice of N1 other than N1 must be chosen such that ΘN1Θ. This result holds for all r,s=1,...,k, and so in terms of matrices we have N1JN(ˆθN(Y))a.s.I(θ0).

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.