ปัญหาการประมาณค่าที่เป็นไปไม่ได้?

คำถาม

ความแปรปรวนของการแจกแจงแบบทวินามลบ (NB) นั้นมากกว่าค่าเฉลี่ยเสมอ เมื่อค่าเฉลี่ยของตัวอย่างมากกว่าความแปรปรวนให้พยายามปรับพารามิเตอร์ของ NB ให้มีความเป็นไปได้สูงสุดหรือประมาณช่วงเวลาที่จะล้มเหลว (ไม่มีวิธีแก้ปัญหาด้วยพารามิเตอร์ จำกัด )

อย่างไรก็ตามเป็นไปได้ว่าตัวอย่างที่นำมาจากการแจกแจงแบบ NB มีความหมายมากกว่าความแปรปรวน นี่คือตัวอย่างที่ทำซ้ำได้ใน R

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

มีความน่าจะเป็นที่ไม่เป็นศูนย์ที่ NB จะสร้างตัวอย่างซึ่งไม่สามารถประมาณค่าพารามิเตอร์ได้ (โดยความน่าจะเป็นสูงสุดและวิธีการโมเมนต์)

สามารถประมาณค่าที่เหมาะสมสำหรับตัวอย่างนี้ได้หรือไม่?
ทฤษฎีการประมาณค่าพูดว่าอย่างไรเมื่อตัวประมาณไม่ได้ถูกกำหนดไว้สำหรับตัวอย่างทั้งหมด?

เกี่ยวกับคำตอบ

คำตอบของ @MarkRobinson และ @Yves ทำให้ฉันรู้ว่า parametrization เป็นปัญหาหลัก ความหนาแน่นของความน่าจะเป็นของ NB มักจะถูกเขียนเป็น

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$ หรือ

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

ภายใต้ตัวแปรที่แรกประมาณการโอกาสสูงสุดคือเมื่อใดก็ตามที่ความแปรปรวนของกลุ่มตัวอย่างที่มีขนาดเล็กกว่าค่าเฉลี่ยดังนั้นไม่มีอะไรที่มีประโยชน์สามารถพูดเกี่ยวกับพีภายใต้สองก็คือเพื่อให้เราสามารถให้ประมาณการที่เหมาะสมของม.ในที่สุดการแสดง @MarkRobinson ว่าเราสามารถแก้ปัญหาของค่าอนันต์โดยใช้แทนR $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ $\frac{r}{1+r}$ $r$

โดยสรุปไม่มีอะไรผิดปกติกับปัญหาการประมาณค่านี้ยกเว้นว่าคุณไม่สามารถตีความและมีความหมายสำหรับทุกตัวอย่างได้เสมอ เพื่อความเป็นธรรมความคิดที่มีอยู่ในคำตอบทั้งสอง ฉันเลือกที่ @MarkRobinson เป็นสิ่งที่ถูกต้องสำหรับการเติมเต็มที่เขาให้ $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
แหล่งที่มา

มันไม่ถูกต้องที่จะระบุว่าโอกาสสูงสุดล้มเหลวในกรณีเช่นนี้ วิธีการเฉพาะช่วงเวลาอาจประสบปัญหา

— ซีอาน

@ ซีอานคุณสามารถขยายหรือไม่ ความน่าจะเป็นของกลุ่มตัวอย่างนี้มีจำนวนมากที่สุดไม่มีในโดเมน (ยังเห็นนี้เป็นต้น) ฉันพลาดอะไรไปรึเปล่า? ไม่ว่าในกรณีใดถ้าคุณสามารถให้ ML โดยประมาณของพารามิเตอร์สำหรับกรณีนี้ฉันจะอัปเดตคำถาม

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

โอกาสอาจจะมีสูงสุดที่ระยะอนันต์

และ

∞

ปัญหาที่คล้ายกัน แต่มีการวินิจฉัยที่เรียบง่ายมีไว้สำหรับการกระจายโลแม็กซ์ : มันเป็นที่รู้จักกันว่าประมาณการ ML ของรูปร่างเป็นอนันต์เมื่อตัวอย่างมีค่าสัมประสิทธิ์ของการเปลี่ยนแปลง

แต่น่าจะเป็นของเหตุการณ์นี้เป็นบวกสำหรับขนาดของกลุ่มตัวอย่างใด ๆ และค่อนข้างแข็งแกร่งสำหรับการพูด

และ

200

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— อีฟว์

@ Yves ขอบคุณสำหรับตัวอย่างอื่นนี้ (ซึ่งฉันไม่ได้ตระหนักถึง) ผู้คนทำอะไรในกรณีนี้

— gui11aume

ในตัวอย่างโลแม็กซ์บางคนจะเลือกที่จะใช้การกระจายชี้แจงซึ่งเป็นข้อ จำกัด สำหรับ

และ

สิ่งนี้จะลดลงเพื่อยอมรับการประเมิน ML ที่ไม่มีที่สิ้นสุด เพื่อความไม่แปรเปลี่ยนโดยการปรับค่าพารามิเตอร์อีกครั้งผมเชื่อว่าพารามิเตอร์ที่ไม่สิ้นสุดสามารถทำให้เข้าใจได้ในบางกรณี ยกตัวอย่างเช่น NB ของคุณเหมือนกันเกิดขึ้นถ้าเราเลือกที่จะใช้การกระจาย Poisson เป็นผลมาจาก

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

— Yves

คำตอบ:

โดยทั่วไปสำหรับตัวอย่างของคุณค่าประมาณของขนาดพารามิเตอร์จะอยู่บนขอบเขตของพื้นที่พารามิเตอร์ เราสามารถพิจารณาการแก้ไขใหม่เช่น d = size / (size + 1); เมื่อ size = 0, d = 0, เมื่อขนาดมีแนวโน้มที่จะไม่มีสิ้นสุด, d เข้าใกล้ 1. ปรากฎว่าสำหรับการตั้งค่าพารามิเตอร์ที่คุณได้รับ, ขนาดโดยประมาณของอินฟินิตี้ (d ใกล้กับ 1) เกิดขึ้นประมาณ 13% ของเวลา Cox-เรดโอกาสปรับรายละเอียด (APL) ประมาณการซึ่งเป็นทางเลือกในการประมาณการ MLE สำหรับ NB (ตัวอย่างที่แสดงที่นี่) การประมาณค่าพารามิเตอร์เฉลี่ย (หรือ 'โพรบ') ดูเหมือนจะโอเค (ดูรูปเส้นสีน้ำเงินเป็นค่าจริงจุดสีแดงคือค่าประมาณสำหรับเมล็ดของคุณ = 167 ตัวอย่าง) รายละเอียดเพิ่มเติมเกี่ยวกับทฤษฎี APL มีที่นี่

ดังนั้นฉันจะบอกว่า 1: การประมาณการพารามิเตอร์ที่ดีสามารถมี .. ขนาด = อนันต์หรือการกระจายตัว = 0 เป็นค่าประมาณที่สมเหตุสมผลเมื่อได้รับตัวอย่าง พิจารณาพื้นที่พารามิเตอร์ที่แตกต่างกันและการประมาณจะ จำกัด

— มาร์คโรบินสัน
แหล่งที่มา

ขอบคุณที่เข้าร่วมเว็บไซต์เพื่อตอบคำถามของฉัน! รายละเอียดของความน่าจะเป็นของโปรไฟล์ที่ปรับแล้วของ Cox-Reid นั้นดูมีแนวโน้มมาก

— gui11aume

$p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

คุณสมบัติ ML ใช้สำหรับขนาดตัวอย่างขนาดใหญ่: ภายใต้เงื่อนไขความสม่ำเสมอการประเมิน ML จะปรากฏขึ้นเพื่อให้มีลักษณะเฉพาะและมีแนวโน้มที่จะเป็นพารามิเตอร์จริง แต่สำหรับขนาดตัวอย่างที่กำหนดขอบเขตการประเมิน ML สามารถล้มเหลวในโดเมนได้เช่นเนื่องจากมีค่าถึงค่าสูงสุดในขอบเขต มันสามารถมีอยู่ในโดเมนที่ใหญ่กว่าโดเมนที่ใช้สำหรับการขยายให้ใหญ่สุด

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

เพื่อความไม่แปรเปลี่ยนโดยการปรับค่าพารามิเตอร์อีกครั้งผมเชื่อว่าพารามิเตอร์ที่ไม่สิ้นสุดสามารถทำให้เข้าใจได้ในบางกรณี

— Yves
แหล่งที่มา