เครื่องมือประมาณความน่าจะเป็นสูงสุดสำหรับการแจกแจงแบบทวินามลบ

คำถามดังต่อไปนี้:

ตัวอย่างแบบสุ่มของค่า n ถูกรวบรวมจากการแจกแจงแบบทวินามลบด้วยพารามิเตอร์ k = 3

ค้นหาตัวประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์π

ค้นหาสูตร asymptotic สำหรับข้อผิดพลาดมาตรฐานของตัวประมาณค่านี้

อธิบายว่าเหตุใดการแจกแจงทวินามลบจะประมาณปกติถ้าพารามิเตอร์ k ใหญ่พอ พารามิเตอร์ของการประมาณปกตินี้มีอะไรบ้าง

การทำงานของฉันมีดังต่อไปนี้:
1. ฉันรู้สึกว่านี่เป็นสิ่งที่ต้องการ แต่ฉันไม่แน่ใจว่าฉันถูกต้องหรือไม่หรือถ้าฉันสามารถรับข้อมูลนี้เพิ่มเติมได้

p (x) = (\binom{x - 1}{k - 1}) π^{k} (1 - π)^{x - k} L (π) = Π_{i}^{n} p (x_{n} | π) ℓ (π) = Σ_{i}^{n} \ln (p (x_{n} | π)) ℓ ‘ (π) = Σ_{i}^{n} \frac{k}{π} - \frac{(x - k)}{(1 - π)}

$p(x) = {x-1 \choose k-1}\pi^k(1-\pi)^{x-k}\\ L(\pi) = \Pi_i^n p(x_n|\pi)\\ \ell(\pi) = \Sigma_i^n\ln(p(x_n|\pi))\\ \ell`(\pi) = \Sigma_i^n\dfrac{k}{\pi}-\dfrac{(x-k)}{(1-\pi)}$

ฉันคิดว่าต่อไปนี้เป็นสิ่งที่ขอ ในส่วนสุดท้ายฉันรู้สึกว่าฉันต้องการแทนที่ $\hat{\pi}$ ด้วย $\dfrac{k}{x}$
$ℓ ‘ ‘ (\hat{π}) = - \frac{k}{{\hat{π}}^{2}} + \frac{x}{(1 - \hat{π})^{2}} s e (\hat{π}) = \sqrt{- \frac{1}{ℓ ‘ ‘ (\hat{π})}} s e (\hat{π}) = \sqrt{\frac{{\hat{π}}^{2}}{k} - \frac{(1 - \hat{π})^{2}}{x}}$ $\ell``(\hat{\pi}) = -\dfrac{k}{\hat{\pi}^2} + \dfrac{x}{(1-\hat{\pi})^2}\\ se(\hat{\pi}) = \sqrt{-\dfrac{1}{\ell``(\hat{\pi})}}\\ se(\hat{\pi}) = \sqrt{\dfrac{\hat{\pi}^2}{k} - \dfrac{(1-\hat{\pi})^2}{x}}\\$
ฉันไม่แน่ใจจริงๆว่าจะพิสูจน์ได้อย่างไรและยังคงค้นคว้าอยู่ คำแนะนำหรือลิงก์ที่มีประโยชน์จะได้รับการชื่นชมอย่างมาก ฉันรู้สึกว่ามันเกี่ยวข้องกับความจริงที่ว่าการแจกแจงทวินามลบสามารถถูกมองว่าเป็นการรวมกันของการแจกแจงเชิงเรขาคณิตหรือการผกผันของการแจกแจงทวินาม แต่ไม่แน่ใจว่าจะเข้าใกล้มันอย่างไร

ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมอย่างมาก

self-study maximum-likelihood negative-binomial

— Syzorr
แหล่งที่มา

(1) เพื่อหาค่าประมาณโอกาสสูงสุดคุณจำเป็นต้องค้นหาว่าฟังก์ชันบันทึกความน่าจะเป็นถึงจุดสูงสุดแล้ว การคำนวณคะแนน (อนุพันธ์อันดับแรกของฟังก์ชั่นบันทึกความน่าจะเป็นที่เกี่ยวกับ ) เป็นการเริ่มต้น - สิ่งนี้จะใช้มูลค่าสูงสุดเท่าไหร่? (และจำไว้ว่าคุณไม่จำเป็นต้องประเมิน .)

\hat{π}

$\hat \pi$

π

$\pi$

k

$k$

— Scortchi - Reinstate Monica

ฉันลืมที่จะเพิ่มอนุพันธ์ของ log-likelihood = 0 เพื่อจุดประสงค์ในการหาค่าสูงสุด ถ้าฉันคิดอย่างถูกต้อง (ทำงานต่อไปตั้งแต่โพสต์) สิ่งที่ฉันมีคือ

\frac{k}{π} - \frac{Σ_{i = 0}^{n} (x_{i} - k)}{(1 - π)} = 0

$\dfrac{k}{\pi}-\dfrac{\Sigma_{i=0}^n(x_i-k)}{(1-\pi)} = 0$

— Syzorr

ระวัง:โปรดทราบว่าเริ่มต้นที่ 1

\sum_{i = 1}^{n} \frac{k}{π} - \sum_{i = 1}^{n} \frac{(x_{i} - k)}{(1 - π)} = ?

$\sum_{i=1}^n \frac{k}{\pi} - \sum_{i=1}^n{\frac{(x_i-k)}{(1-\pi)}} = \ ?$

i

$i$

— Scortchi - Reinstate Monica

ใน (2) เป็นกรณีที่ความแตกต่างของความแตกต่างคือความแตกต่างของส่วนกลับซึ่งกันและกัน ความผิดพลาดนี้อย่างมหาศาลส่งผลกระทบต่อสูตรสุดท้ายของคุณสำหรับPI)

s e (\hat{π})

$se(\hat\pi)$

— whuber

$p(x) = {x_i-1 \choose k-1}\pi^k(1-\pi)^{x_i-k}$

$L(\pi;x_i) = \prod_{i=1}^{n}{x_i-1 \choose k-1}\pi^k(1-\pi)^{x_i-k}\\$

$\ell(\pi;x_i) = \sum_{i=1}^{n}[log{x_i-1 \choose k-1}+klog(\pi)+(x_i-k)log(1-\pi)]\\ \frac{d\ell(\pi;x_i)}{d\pi} = \sum_{i=1}^{n}[\dfrac{k}{\pi}-\dfrac{(x_i-k)}{(1-\pi)}]$

ตั้งค่านี้เป็นศูนย์

$\frac{nk}{\pi}=\frac{\sum_{i=1}^nx_i-nk}{1-\pi}$

$\therefore$ $\hat\pi=\frac{nk}{\sum_{i=1}^nx}$

ส่วนที่สองคุณต้องใช้ทฤษฎีบทที่ ,เป็นข้อมูลที่ชาวประมงที่นี่ ดังนั้นการเบี่ยงเบนมาตรฐานของจะ1/2} หรือคุณเรียกว่าเป็นข้อผิดพลาดมาตรฐานเนื่องจากคุณใช้ CLT ที่นี่ $\sqrt{n}(\hat\theta-\theta) \overset{D}{\rightarrow}N(0,\frac{1}{I(\theta)})$ $I(\theta)$ $\hat\theta$ $[nI(\theta)]^{-1/2}$

ดังนั้นเราจำเป็นต้องคำนวณข้อมูลฟิชเชอร์สำหรับการแจกแจงแบบทวินามลบ

$\frac{\partial^2 \log(P(x;\pi))}{\partial\pi^2}=-\frac{k}{\pi^2}-\frac{x-k}{(1-\pi)^2}$

$I(\theta)=-E(-\frac{k}{\pi^2}-\frac{x-k}{(1-\pi)^2})=\frac{k}{\pi^2}+\frac{k(1-\pi)}{(1-\pi)^2\pi}$

หมายเหตุ:สำหรับลบ binomial pmf $E(x) =\frac{k}{\pi}$

ดังนั้นข้อผิดพลาดมาตรฐานสำหรับ คือ $\hat \pi$ $[n(\frac{k}{\pi^2}+\frac{k(1-\pi)}{(1-\pi)^2\pi})]^{-1/2}$

ลดความซับซ้อนที่เราได้รับเราได้รับ $se(\pi)=\sqrt{\dfrac{\pi^2(\pi-1)}{kn}}$

การแจกแจงเชิงเรขาคณิตเป็นกรณีพิเศษของการแจกแจงลบทวินามเมื่อ k = 1 หมายเหตุเป็นการกระจายเชิงเรขาคณิต $\pi(1-\pi)^{x-1}$

ดังนั้นตัวแปรทวินามลบสามารถเขียนเป็นผลรวมของตัวแปรสุ่ม k อิสระการกระจายตัว (เรขาคณิต) ที่เหมือนกัน

ดังนั้นโดยการแจกแจงทวินามลบของ CLT จะเป็นปกติประมาณถ้าพารามิเตอร์ k มีขนาดใหญ่พอ

— ภาคเหนือตอนล่าง
แหล่งที่มา

โปรดอ่านหัวข้อที่ฉันสามารถถามเกี่ยวกับที่นี่? สำหรับคำถามที่ศึกษาด้วยตนเอง: แทนที่จะทำการบ้านของผู้คนเพื่อพวกเขาเราพยายามช่วยพวกเขาให้ทำด้วยตัวเอง

— Scortchi - Reinstate Monica

คุณไม่จำเป็นต้องพิจารณาขนาดของกลุ่มตัวอย่างเมื่อคำนวณ MLE คุณอาจจะทำให้เกิดความสับสนในบัญชีของสังเกตอิสระแต่ละไม่มี ของการทดลองที่จำเป็นในการเข้าถึงความล้มเหลว ( ) โดยมีบัญชีของการสังเกตการณ์ครั้งเดียว ของการทดลองที่จำเป็นในการเข้าถึงความล้มเหลว ( ) อดีตให้ความน่าจะเป็นของ ; หลัง{}

n

$n$

n

$n$

k

$k$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

k

$k$

n

$n$

\sum_{i = 1}^{n} π^{(} 1 - π)^{x_{i} - k}

$\sum_{i=1}^n{\pi^(1-\pi)^{x_i-k}}$

π^{k} (1 - π)^{n - k}

$\pi^k(1-\pi)^{n-k}$

— Scortchi - Reinstate Monica

คุณพูดถูกฉันมักสับสนในส่วนนี้ ขอบคุณมาก. ฉันยังถามคำถามมากมายในบอร์ดนี้ แต่ฉันหวังว่าผู้คนจะให้คำตอบอย่างละเอียดกับฉันได้จากนั้นฉันก็สามารถศึกษาได้ด้วยตัวเองทีละขั้นตอน

— Deep North

ใช่. ฉันเข้าใจว่าทำไมกฎไม่ให้รายละเอียดมากเกินไป แต่คำตอบนี้รวมกับบันทึกย่อของฉันเองจากการบรรยายทำให้ฉันต้องผูกปลายหลวมมากมายเข้าด้วยกัน ฉันตั้งใจจะไปพูดกับอาจารย์ของฉันในวันนี้เกี่ยวกับเรื่องนี้เพื่อที่ฉันจะได้รับคำชี้แจงจากเขา มันเป็นวันศุกร์ที่นี่ตอนนี้ กำหนดส่งมอบวันจันทร์ตามที่ระบุไว้ข้างต้น เราเรียนรู้สิ่งนี้ในวันพุธและมีเพียงตัวอย่างเดียวที่ใช้การแจกแจงทวินาม ขอบคุณมากสำหรับรายละเอียด

— Syzorr

มีข้อผิดพลาดบางประการในการทำงานของคุณที่นั่นเพราะฉัน (θ) = E [] ไม่ -E [] (ซึ่งทำให้ฉันสับสนจนกระทั่งฉันไปหาสมการที่คุณใช้) ในที่สุดก็จบลงด้วยการ

s e (π) = \sqrt{\frac{π^{2} (π - 1)}{k n}}

$se(\pi)=\sqrt{\dfrac{\pi^2(\pi-1)}{kn}}$

— Syzorr