หากคุณหมายถึงโอกาสในการเข้าสู่ระบบจริงๆคำตอบคือ: มันไม่ได้เป็นศูนย์เสมอไป
ตัวอย่างเช่นพิจารณาข้อมูล Poisson:n บันทึกความน่าจะเป็นสำหรับมอบให้โดย:
Y = ( y 1 , … , y n ) ℓ ( μ ; Y ) = - n ∑ i = 1 μ i + n ∑ i = 1 y i log μ i - n ∑ i = 1บันทึกyi∼Poisson(μi),i=1,…,nY=(y1,…,yn)
ℓ(μ;Y)=−∑i=1nμi+∑i=1nyilogμi−∑i=1nlog(yi!).(∗)
สร้างความแตกต่างในด้วยความเคารพและตั้งค่าเป็น (นี่คือวิธีที่เราได้รับ MLE สำหรับแบบจำลองอิ่มตัว):
แก้ปัญหานี้เพื่อเพื่อรับ , แทนที่กลับเข้าสู่สำหรับให้ว่าบันทึกความน่าจะเป็นของโมเดลอิ่มตัวคือ:
เว้นแต่จะพิเศษมาก ค่า( ∗ ) μ i 0 - 1 + y iℓ(μ;Y)(∗)μi0μฉัน μฉัน=Yฉัน μฉัน(*)μฉันℓ( μ ;Y)=n Σฉัน=1Yฉัน(เข้าสู่ระบบYฉัน-1)-n Σฉัน=1บันทึก(yi!!)≠0yi
−1+yiμi=0.
μiμ^i=yiμ^i(∗)μiℓ(μ^;Y)=∑i=1nyi(logyi−1)−∑i=1nlog(yi!)≠0
yi
ในหน้าวิธีใช้ของR
ฟังก์ชันglm
ภายใต้รายการdeviance
เอกสารจะอธิบายปัญหานี้ดังนี้:
deviance
มากถึงค่าคงที่ลบความน่าจะเป็นบันทึกสูงสุด หากเลือกได้ค่าคงที่จะถูกเลือกเพื่อให้แบบจำลองที่อิ่มตัวมีค่าเบี่ยงเบนเป็นศูนย์
ขอให้สังเกตว่ามันกล่าวว่าการเบี่ยงเบนแทนที่จะเป็นความน่าจะเป็นบันทึกของแบบจำลองที่อิ่มตัวถูกเลือกให้เป็นศูนย์
สิ่งที่คุณต้องการยืนยันจริงๆคือ "ความเบี่ยงเบนของแบบจำลองที่อิ่มตัวนั้นให้เป็นศูนย์เสมอ" ซึ่งเป็นความจริงเนื่องจากความเบี่ยงเบนตามคำจำกัดความ (ดูหัวข้อ 4.5.1 ของการวิเคราะห์ข้อมูลหมวดหมู่ (รุ่นที่ 2)โดย Alan Agresti) เป็นสถิติอัตราส่วนความน่าจะเป็นของ GLM ที่ระบุกับแบบจำลองที่อิ่มตัว constant
ดังกล่าวในเอกสาร R เป็นจริงสองขยายโอกาสการเข้าสู่ระบบของรูปแบบการอิ่มตัว
เกี่ยวกับคำชี้แจงของคุณ "แต่วิธีการที่สูตรสำหรับการเบี่ยงเบนจะได้รับแสดงให้เห็นว่าบางครั้งปริมาณนี้ไม่เป็นศูนย์." มันอาจจะเป็นเพราะการละเมิดของการใช้งานของคำว่าอันซ์ ตัวอย่างเช่นใน R สถิติอัตราส่วนความน่าจะเป็นของการเปรียบเทียบแบบจำลองสองแบบโดยพลการ ( )และนั้นก็เรียกว่าการเบี่ยงเบนซึ่งจะเรียกได้อย่างแม่นยำมากขึ้นว่าเป็นความแตกต่างระหว่างความเบี่ยงเบนของและเบี่ยงเบนของถ้าเรา อย่างใกล้ชิดตามคำนิยามที่กำหนดไว้ในหนังสือของ AgrestiM 2 M 1 M 2M1M2M1M2
ข้อสรุป
บันทึกความน่าจะเป็นของโมเดลอิ่มตัวนั้นไม่ใช่แบบศูนย์ทั่วไป
ความเบี่ยงเบน (ในคำจำกัดความดั้งเดิม) ของรุ่นอิ่มตัวนั้นเป็นศูนย์
อันซ์เอาท์พุทจากโปรแกรม (เช่น R) ทั่วไปที่ไม่ใช่ศูนย์ที่มันจริงหมายถึงอย่างอื่น (ความแตกต่างระหว่าง deviances) ที่
ต่อไปนี้คือการสืบทอดสำหรับกรณีครอบครัวเอ็กซ์โพเนนเชียลทั่วไปและอีกตัวอย่างที่เป็นรูปธรรม สมมติว่าข้อมูลมาจากตระกูลชี้แจง (ดูสถิติประยุกต์สมัยใหม่กับ S , บทที่ ):
โดยที่ทราบน้ำหนักก่อนหน้านี้และคือพารามิเตอร์การกระจาย / สเกล (สำหรับหลาย ๆ กรณีเช่นทวินามและปัวซองพารามิเตอร์นี้เป็นที่รู้จักในขณะที่สำหรับกรณีอื่นเช่นปกติและแกมม่าพารามิเตอร์นี้ไม่เป็นที่รู้จัก) จากนั้นจะมีการบันทึกความน่าจะเป็น:
7
f(yi;θi,φ)=exp[Ai(yiθi−γ(θi))/φ+τ(yi,φ/Ai)].(1)
Aiφℓ(θ,φ;Y)=∑i=1nAi(yiθi−γ(θi))/φ+∑i=1nτ(yi,φ/Ai).
ในตัวอย่างปัวซองพารามิเตอร์ของแบบจำลองอิ่มตัวสามารถประมาณได้โดยการแก้ไขฟังก์ชัน
คะแนนต่อไปนี้:
0=U(θi)=∂ℓ(θ,φ;Y)∂θi=Ai(yi−γ′(θi))φ
แสดงวิธีแก้ปัญหาของสมการข้างต้นโดยจากนั้นรูปแบบทั่วไปของบันทึกความน่าจะเป็นของแบบจำลองอิ่มตัว (รักษาพารามิเตอร์มาตราส่วนเป็นค่าคงที่) คือ:
θ^i
ℓ(θ^,φ;Y)=∑i=1nAi(yiθ^i−γ(θ^i))/φ+∑i=1nτ(yi,φ/Ai).(∗∗)
ในคำตอบก่อนหน้าของฉันฉันระบุอย่างไม่ถูกต้องว่าเทอมแรกทางด้านขวาของเป็นศูนย์เสมอตัวอย่างข้อมูลปัวซองด้านบนพิสูจน์ว่าผิด สำหรับตัวอย่างที่ซับซ้อนยิ่งขึ้นให้พิจารณาการแจกแจงให้ไว้ในภาคผนวก(∗∗)Γ(α,β)
การพิสูจน์เทอมแรกในบันทึกความน่าจะเป็นของโมเดลแกมมาอิ่มตัวไม่เป็นศูนย์ : กำหนด
เราจะต้องทำ reparameterization แรกเพื่อให้มีรูปแบบครอบครัวชี้แจง(1)มันสามารถตรวจสอบได้หากปล่อยให้
จากนั้นมีการแทน:
ที่
f(y;α,β)=βαΓ(α)e−βyyα−1,y>0,α>0,β>0,
f(1)φ=1α,θ=−βα,
ff(y;θ,φ)=exp[θy−(−log(−θ))φ+τ(y,φ)],
τ(y,φ)=−logφφ+(1φ−1)logy−logΓ(φ−1).
ดังนั้น MLEs ของรูปแบบอิ่มตัวที่มี{} ดังนั้น
เว้นแต่ว่าใช้ค่าพิเศษมาก
θ^i=−1yi∑i=1n1φ[θ^iyi−(−log(−θ^i))]=∑i=1n1φ[−1−log(yi)]≠0,
yi