ใน GLM ความเป็นไปได้ของบันทึกของโมเดลอิ่มตัวมักเป็นศูนย์หรือไม่?


14

ในฐานะที่เป็นส่วนหนึ่งของเอาท์พุทของตัวแบบเชิงเส้นแบบทั่วไปนั้นการเบี่ยงเบนแบบ null และส่วนที่เหลือจะถูกใช้ในการประเมินแบบจำลอง ฉันมักจะเห็นสูตรสำหรับปริมาณเหล่านี้แสดงในแง่ของโอกาสในการเข้าสู่ระบบของรูปแบบอิ่มตัวเช่น: /stats//a/113022/22199 , ถดถอยโลจิสติ: วิธีการที่จะได้รับรูปแบบการอิ่มตัว

แบบจำลองที่อิ่มตัวตามที่ฉันเข้าใจเป็นแบบจำลองที่เหมาะสมกับการตอบสนองที่สังเกตได้อย่างสมบูรณ์แบบ ดังนั้นในสถานที่ส่วนใหญ่ที่ฉันเคยเห็นความเป็นไปได้ของแบบจำลองความอิ่มตัวจะได้รับเป็นศูนย์เสมอ

ทว่าวิธีการกำหนดสูตรการเบี่ยงเบนแสดงให้เห็นว่าบางครั้งปริมาณนี้ไม่ใช่ศูนย์ (ราวกับว่ามันเป็นศูนย์เสมอทำไมต้องรวมมันด้วย)

ในกรณีใดบ้างที่ไม่เป็นศูนย์ ถ้าไม่ใช่ศูนย์ไม่ใช่ทำไมรวมไว้ในสูตรสำหรับการเบี่ยงเบน

คำตอบ:


18

หากคุณหมายถึงโอกาสในการเข้าสู่ระบบจริงๆคำตอบคือ: มันไม่ได้เป็นศูนย์เสมอไป

ตัวอย่างเช่นพิจารณาข้อมูล Poisson:n บันทึกความน่าจะเป็นสำหรับมอบให้โดย: Y = ( y 1 , , y n ) ( μ ; Y ) = - n i = 1 μ i + n i = 1 y i log μ i - n i = 1บันทึกyiPoisson(μi),i=1,,nY=(y1,,yn)

()(μ;Y)=i=1nμi+i=1nyilogμii=1nlog(yi!).

สร้างความแตกต่างในด้วยความเคารพและตั้งค่าเป็น (นี่คือวิธีที่เราได้รับ MLE สำหรับแบบจำลองอิ่มตัว): แก้ปัญหานี้เพื่อเพื่อรับ , แทนที่กลับเข้าสู่สำหรับให้ว่าบันทึกความน่าจะเป็นของโมเดลอิ่มตัวคือ: เว้นแต่จะพิเศษมาก ค่า( ) μ i 0 - 1 + y i(μ;Y)()μi0μฉัน μฉัน=Yฉัน μฉัน(*)μฉัน( μ ;Y)=n Σฉัน=1Yฉัน(เข้าสู่ระบบYฉัน-1)-n Σฉัน=1บันทึก(yi!!)0yi

1+yiμi=0.
μiμ^i=yiμ^i()μi
(μ^;Y)=i=1nyi(logyi1)i=1nlog(yi!)0
yi

ในหน้าวิธีใช้ของRฟังก์ชันglmภายใต้รายการdevianceเอกสารจะอธิบายปัญหานี้ดังนี้:

deviance มากถึงค่าคงที่ลบความน่าจะเป็นบันทึกสูงสุด หากเลือกได้ค่าคงที่จะถูกเลือกเพื่อให้แบบจำลองที่อิ่มตัวมีค่าเบี่ยงเบนเป็นศูนย์

ขอให้สังเกตว่ามันกล่าวว่าการเบี่ยงเบนแทนที่จะเป็นความน่าจะเป็นบันทึกของแบบจำลองที่อิ่มตัวถูกเลือกให้เป็นศูนย์

สิ่งที่คุณต้องการยืนยันจริงๆคือ "ความเบี่ยงเบนของแบบจำลองที่อิ่มตัวนั้นให้เป็นศูนย์เสมอ" ซึ่งเป็นความจริงเนื่องจากความเบี่ยงเบนตามคำจำกัดความ (ดูหัวข้อ 4.5.1 ของการวิเคราะห์ข้อมูลหมวดหมู่ (รุ่นที่ 2)โดย Alan Agresti) เป็นสถิติอัตราส่วนความน่าจะเป็นของ GLM ที่ระบุกับแบบจำลองที่อิ่มตัว constantดังกล่าวในเอกสาร R เป็นจริงสองขยายโอกาสการเข้าสู่ระบบของรูปแบบการอิ่มตัว

เกี่ยวกับคำชี้แจงของคุณ "แต่วิธีการที่สูตรสำหรับการเบี่ยงเบนจะได้รับแสดงให้เห็นว่าบางครั้งปริมาณนี้ไม่เป็นศูนย์." มันอาจจะเป็นเพราะการละเมิดของการใช้งานของคำว่าอันซ์ ตัวอย่างเช่นใน R สถิติอัตราส่วนความน่าจะเป็นของการเปรียบเทียบแบบจำลองสองแบบโดยพลการ ( )และนั้นก็เรียกว่าการเบี่ยงเบนซึ่งจะเรียกได้อย่างแม่นยำมากขึ้นว่าเป็นความแตกต่างระหว่างความเบี่ยงเบนของและเบี่ยงเบนของถ้าเรา อย่างใกล้ชิดตามคำนิยามที่กำหนดไว้ในหนังสือของ AgrestiM 2 M 1 M 2M1M2M1M2

ข้อสรุป

  1. บันทึกความน่าจะเป็นของโมเดลอิ่มตัวนั้นไม่ใช่แบบศูนย์ทั่วไป

  2. ความเบี่ยงเบน (ในคำจำกัดความดั้งเดิม) ของรุ่นอิ่มตัวนั้นเป็นศูนย์

  3. อันซ์เอาท์พุทจากโปรแกรม (เช่น R) ทั่วไปที่ไม่ใช่ศูนย์ที่มันจริงหมายถึงอย่างอื่น (ความแตกต่างระหว่าง deviances) ที่


ต่อไปนี้คือการสืบทอดสำหรับกรณีครอบครัวเอ็กซ์โพเนนเชียลทั่วไปและอีกตัวอย่างที่เป็นรูปธรรม สมมติว่าข้อมูลมาจากตระกูลชี้แจง (ดูสถิติประยุกต์สมัยใหม่กับ S , บทที่ ): โดยที่ทราบน้ำหนักก่อนหน้านี้และคือพารามิเตอร์การกระจาย / สเกล (สำหรับหลาย ๆ กรณีเช่นทวินามและปัวซองพารามิเตอร์นี้เป็นที่รู้จักในขณะที่สำหรับกรณีอื่นเช่นปกติและแกมม่าพารามิเตอร์นี้ไม่เป็นที่รู้จัก) จากนั้นจะมีการบันทึกความน่าจะเป็น: 7

(1)f(yi;θi,φ)=exp[Ai(yiθiγ(θi))/φ+τ(yi,φ/Ai)].
Aiφ
(θ,φ;Y)=i=1nAi(yiθiγ(θi))/φ+i=1nτ(yi,φ/Ai).
ในตัวอย่างปัวซองพารามิเตอร์ของแบบจำลองอิ่มตัวสามารถประมาณได้โดยการแก้ไขฟังก์ชันคะแนนต่อไปนี้:
0=U(θi)=(θ,φ;Y)θi=Ai(yiγ(θi))φ

แสดงวิธีแก้ปัญหาของสมการข้างต้นโดยจากนั้นรูปแบบทั่วไปของบันทึกความน่าจะเป็นของแบบจำลองอิ่มตัว (รักษาพารามิเตอร์มาตราส่วนเป็นค่าคงที่) คือ: θ^i

()(θ^,φ;Y)=i=1nAi(yiθ^iγ(θ^i))/φ+i=1nτ(yi,φ/Ai).

ในคำตอบก่อนหน้าของฉันฉันระบุอย่างไม่ถูกต้องว่าเทอมแรกทางด้านขวาของเป็นศูนย์เสมอตัวอย่างข้อมูลปัวซองด้านบนพิสูจน์ว่าผิด สำหรับตัวอย่างที่ซับซ้อนยิ่งขึ้นให้พิจารณาการแจกแจงให้ไว้ในภาคผนวก()Γ(α,β)


การพิสูจน์เทอมแรกในบันทึกความน่าจะเป็นของโมเดลแกมมาอิ่มตัวไม่เป็นศูนย์ : กำหนด เราจะต้องทำ reparameterization แรกเพื่อให้มีรูปแบบครอบครัวชี้แจง(1)มันสามารถตรวจสอบได้หากปล่อยให้ จากนั้นมีการแทน: ที่

f(y;α,β)=βαΓ(α)eβyyα1,y>0,α>0,β>0,
f(1)
φ=1α,θ=βα,
f
f(y;θ,φ)=exp[θy(log(θ))φ+τ(y,φ)],
τ(y,φ)=logφφ+(1φ1)logylogΓ(φ1).
ดังนั้น MLEs ของรูปแบบอิ่มตัวที่มี{} ดังนั้น เว้นแต่ว่าใช้ค่าพิเศษมากθ^i=1yi
i=1n1φ[θ^iyi(log(θ^i))]=i=1n1φ[1log(yi)]0,
yi

1
loglikelihood zero หรือไม่ถ้าหาก model สามารถกำหนดความน่าจะเป็น 100% ให้กับผลลัพธ์ที่เป็นไปได้แต่ละรายการ
Alex

ฉันไม่เข้าใจความหมายของคุณ แต่จากรากศัพท์ของฉันคุณอาจสรุปได้ว่ามันคือถ้าหากเหมือนกันและไม่มีพารามิเตอร์การกระจายตัว 0τ0
Zhanxiong

ที่มาของคุณนั้นดีมาก แต่หลักฐานที่เป็นทางการอยู่เหนือหัวฉันเล็กน้อยในขณะนี้ ขอบคุณสำหรับตัวอย่างด้วยโมเดลปัวซอง สิ่งที่ฉันนำออกมาจากตัวอย่างนี้คือโมเดล Poisson ไม่สามารถกำหนดความน่าจะเป็น 100% ให้กับผลลัพธ์ที่สังเกตได้ซึ่งให้ค่าใด ๆ สำหรับค่าเฉลี่ยของ Poisson ดังนั้นโอกาสที่จะไม่เป็นศูนย์
อเล็กซ์

คำสั่ง "แบบจำลองกำหนดความน่าจะเป็นให้กับผลลัพธ์ที่สังเกต" ฟังดูแปลกสำหรับฉัน คุณหมายถึงสิ่งที่ได้รับจากการสังเกตและถ้าเป็นตัวแปรสุ่มปัวซงหรือไม่ 100%y1,,ynYP(Y=y1)+P(Y=y2)++P(Y=yn)<1
Zhanxiong

1
สิ่งที่ฉันหมายถึงคือถ้าเป็นตัวแปรสุ่มของปัวซองดังนั้นสำหรับค่าเฉลี่ยหรือปัวซองใด ๆดังนั้นจึงเป็นไปไม่ได้ที่จะหาพารามิเตอร์โมเดลใด ๆ ที่ให้ความน่าจะเป็นบันทึกของศูนย์สำหรับการสังเกต . บางทีฉันอาจเข้าใจผิดเกี่ยวกับแนวคิดของแบบจำลองที่อิ่มตัว YP(Y=yi)<1i
อเล็กซ์

4

คำตอบของ Zhanxiong นั้นยอดเยี่ยมอยู่แล้ว (+1) แต่นี่เป็นการสาธิตอย่างรวดเร็วว่าความน่าจะเป็นบันทึกของโมเดลอิ่มตัวคือสำหรับการถดถอยโลจิสติกส์ ฉันคิดว่าฉันจะโพสต์เพราะฉันไม่เห็น TeX นี้ขึ้นบนเว็บไซต์นี้และเพราะฉันเพิ่งเขียนสิ่งเหล่านี้เพื่อการบรรยาย0

ความน่าจะเป็นคือ ที่เบต้า})

(1)L(y;X,β)=i=1nf(yi;xi,β)=i=1nπiyi(1πi)1yi=i=1n(πi1πi)yi(1πi)
πi=invlogit(xiβ)

บันทึกความน่าจะเป็นคือ

logL(y;X,β)=i=1nyilog(πi1πi)+log(1πi)=i=1nyilogit(πi)+log(1πi)=i=1nyixiβ+log(1invlogit(xiβ))=i=1nyixiβ+log(invlogit(xiβ))=i=1nyixiβlog(1+exp[xiβ]))

หากคุณใช้อนุพันธ์ที่เกี่ยวกับสัมประสิทธิ์ทั้งหมดคุณจะได้

(2)(β)=i=1nyixiexp[xiβ](1+exp[xiβ])xi.

การตั้งค่านิพจน์นี้เท่ากับและการหาจะให้คำตอบของคุณ โดยทั่วไปแล้วสิ่งนี้ไม่สามารถวิเคราะห์ได้ซึ่งอธิบายถึงความนิยม / ความจำเป็นในการใช้อัลกอริธึมแบบวนซ้ำเพื่อให้พอดีกับโมเดลนี้ แต่ในกรณีของโมเดลอิ่มตัวนั้นเป็นไปได้0β

เพื่อหารูปแบบอิ่มตัวเราให้แต่ละสัมประสิทธิ์ของมันเอง ดังนั้นและเมทริกซ์การออกแบบคูณเวกเตอร์สัมประสิทธิ์คือ βRn

Xβ=[100010001][β1β2βn].

โปรดทราบว่าโดยเฉพาะอย่างยิ่ง\xiβ=βi

ดังนั้นการใช้สมการแถวที่ 2 (2) ให้เรา j

i=1nyixi,j=i=1nexp[xiβ](1+exp[xiβ])xi,j

ซึ่งสามารถเป็นจริงหากสำหรับการสังเกตแต่ละครั้ง :i

yi=invlogit(βi)
หรือกล่าวอีกนัยหนึ่งแต่ละมีค่าบวกหรือลบอนันต์ (ถ้าเป็นหรือตามลำดับ) เราสามารถเสียบพารามิเตอร์เหล่านี้กลับเข้าไปใน (1) เพื่อให้ได้โอกาสสูงสุด: เห็นได้ชัดว่าบันทึกนี้เป็น0βiyi10
i=1nπ^iyi(1π^i)1yi=1n=1.
0


แต่นี้จะถือว่าข้อมูลที่ไม่ได้จัดกลุ่ม หากคุณมีกลุ่มที่มี (และค่า covariate เดียวกัน) (ใน R, forexample โดยใช้แบบฟอร์ม) ดังนั้นรูปแบบอิ่มตัวนั้นจะไม่มีศูนย์ loglikelihood ni>1glm( cbind(k, n-k) ~ x + ...
kjetil b halvorsen

@ kjetilbhalvorsen โอ้จุดดี ฉันไม่เคยลองที่ให้ฉันตรวจสอบ
เทย์เลอร์

1

@Alex: ใช่ถูกต้อง อย่างน้อยสำหรับการแจกแจงแบบไม่ต่อเนื่อง สำหรับการแจกแจงแบบต่อเนื่องมันจะลงมาเพื่อให้ความหนาแน่นเท่ากับ 1 ซึ่งไม่จำเป็นต้องมีความหมายดังนั้นจึงไม่ใช่เรื่องที่สมเหตุสมผลที่จะลองและบรรลุผล โดยทั่วไปอีกเล็กน้อยความน่าจะเป็นของบันทึกของโมเดลอิ่มตัวนั้นจะช่วยให้คุณได้รับประสิทธิภาพสูงสุดของโมเดลใด ๆ ที่เป็นไปตามข้อสันนิษฐานของตระกูลการกระจายข้อมูลพื้นฐาน กล่าวอีกนัยหนึ่งความน่าจะเป็นบันทึกของแบบจำลองทวินามแบบอิ่มตัวมันคือ "ดีเท่าที่จะได้รับ" สำหรับชุดข้อมูลที่ได้รับ (X, Y) โดยสมมติว่า Y เป็นทวินาม มันสมเหตุสมผลแล้วที่จะเปรียบเทียบโมเดล glm ของคุณกับขอบเขตบนนี้ซึ่งตรงข้ามกับ, พูด, 100% (หรือคล้ายกัน), เนื่องจากโมเดลของคุณมีข้อ จำกัด โดยกำเนิดจากสมมติฐานของคุณในการกระจายการตอบสนอง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.