การแจกแจงแบบใดที่มีวิธีแก้ปัญหาแบบปิดเพื่อการประมาณค่าโอกาสสูงสุด

21

การแจกแจงแบบใดมีวิธีแก้ปัญหาแบบปิดสำหรับการประมาณค่าความน่าจะเป็นสูงสุดของพารามิเตอร์จากตัวอย่างการสังเกตการณ์อิสระ

distributions mathematical-statistics maximum-likelihood

25

เราอาจสันนิษฐานได้ว่าความหนาแน่นของความน่าจะเป็น (หรือมวล)สำหรับการสังเกตใด ๆ (จากการสังเกต ) ใด ๆ เป็นเชิงบวกอย่างเข้มงวดทำให้เราสามารถเขียนมันเป็นเลขชี้กำลัง $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

สำหรับพารามิเตอร์เวกเตอร์theta_j) $\theta = (\theta_j)$

การเทียบเคียงการไล่ระดับสีของฟังก์ชันบันทึกความน่าจะเป็นศูนย์ (ซึ่งพบว่าจุดคงที่ของความน่าจะเป็นซึ่งในนั้นจะเป็นค่าสูงสุดทั่วโลกภายในทั้งหมดหากมีอยู่) ให้ชุดสมการของรูปแบบ

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

หนึ่งสำหรับแต่ละญสำหรับหนึ่งในเหล่านี้จะมีวิธีการแก้ปัญหาพร้อมเราต้องการที่จะสามารถที่จะแยกแง่จากเงื่อนไข (ทุกอย่างมาจากแนวคิดหลักที่ได้รับแรงบันดาลใจจากหลักการของความขี้เกียจทางคณิตศาสตร์ : ทำงานให้น้อยที่สุดเท่าที่จะทำได้คิดล่วงหน้าก่อนที่จะคำนวณแก้ไขปัญหาที่ยากรุ่นง่ายก่อน) วิธีที่ใช้โดยทั่วไปมากที่สุดคือสมการที่ใช้ แบบฟอร์ม $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

สำหรับฟังก์ชั่นที่รู้จัก ,และสำหรับวิธีการแก้ปัญหานั้นจะได้รับจากการแก้สมการพร้อมกัน $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

สำหรับ\โดยทั่วไปสิ่งเหล่านี้จะแก้ไขได้ยาก แต่หากตั้งค่าของให้ข้อมูลทั้งหมดเกี่ยวกับเราสามารถ เพียงใช้เวกเตอร์นี้แทนตัวมันเอง (ดังนั้นจึงเป็นการสรุปแนวความคิดของวิธีการแก้ปัญหา "รูปแบบปิด" แต่เป็นวิธีที่มีประสิทธิผลสูง) ในกรณีเช่นนี้การผสานกับให้ผลตอบแทน $\theta$ $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(โดยที่หมายถึงส่วนประกอบทั้งหมดของยกเว้น ) เนื่องจากด้านซ้ายมือเป็นอิสระจากการทำงานของเราต้องมีสำหรับฟังก์ชันคงที่ ; ว่าจะต้องไม่ขึ้นอยู่กับเลย; และเป็นอนุพันธ์ของฟังก์ชันและเป็นอนุพันธ์ของฟังก์ชันอื่นซึ่งทั้งคู่ทำหน้าที่เป็นอิสระจากข้อมูล จากไหน $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

ความหนาแน่นที่สามารถเขียนในรูปแบบนี้ทำขึ้นที่รู้จักกันดีคูปแมน-Pitman-Darmoisหรือชี้แจงครอบครัว มันประกอบด้วยครอบครัวตัวแปรสำคัญทั้งต่อเนื่องและไม่ต่อเนื่องรวมทั้งรังสีปกติไคสแควร์, Poisson, พหุ, และอื่น ๆ อีกมากมาย

— whuber
แหล่งที่มา

และสำหรับผู้ที่ไม่มีรูปแบบปิดเราสามารถใช้อัลกอริทึม EM ตัวอย่างเช่นพิจารณาตัวปรับปัวซองรุ่น Zero-inflated: stats.stackexchange.com/questions/32133/…

— ดาเมียน

0

ฉันไม่รู้ว่าฉันสามารถเขียนรายการทั้งหมดได้ไหม เลขชี้กำลังปกติและทวินามมาคำนึงถึงและพวกมันทั้งหมดตกอยู่ในชั้นเรียนของตระกูลเลขชี้กำลัง ครอบครัวเลขชี้กำลังมีสถิติเพียงพอในเลขชี้กำลังและ mle นั้นเป็นฟังก์ชันที่ดีของสถิติที่เพียงพอนี้

— Michael R. Chernick
แหล่งที่มา

8

คำถามนี้กว้างอย่างไม่น่าเชื่อ แต่ปรากฏว่า OP อาจขอให้สิ่งที่เป็นลักษณะการกระจายที่มีวิธีการแก้ปัญหาแบบปิดสำหรับ MLEแทนที่จะถามหารายการที่ละเอียดถี่ถ้วน ไม่ว่าในกรณีใด ๆ รายการที่ครบถ้วนสมบูรณ์ก็ไม่สามารถทำได้

— แมโคร

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

Thnaks Neil ชี้ให้เห็นว่า ฉันเดาว่าการแจกแจงแบบครอบครัวแบบเลขชี้กำลังทั้งหมดไม่ได้ปิดการแก้ปัญหาแบบฟอร์ม

— Michael R. Chernick