การประมาณความน่าจะเป็นในกระบวนการของ Bernoulli โดยการสุ่มตัวอย่างจนถึง 10 ความล้มเหลว: มันมีอคติหรือไม่

สมมติว่าเรามีกระบวนการ Bernoulli ที่มีความน่าจะเป็นล้มเหลว$q$ (ซึ่งจะเล็กพูด ) จากที่เราสุ่มตัวอย่างจนกว่าเราจะพบความล้มเหลวดังนั้นเราจึงประเมินความน่าจะเป็นของความล้มเหลวเนื่องจากโดยที่คือจำนวนตัวอย่าง$q \leq 0.01$$10$$\hat{q}:=10/N$$N$

คำถาม : อะไรคือประมาณการลำเอียงของ ? และถ้าเป็นเช่นนั้นมีวิธีแก้ไขหรือไม่?$\hat{q}$$q$

ฉันกังวลว่าการยืนยันตัวอย่างสุดท้ายคือความเอนเอียงที่ล้มเหลวในการประมาณการ

มันเป็นความจริงที่ว่าQเป็นประมาณการลำเอียงของQในแง่ที่ว่าE ($\hat{q}$$q$$\text{E}(\hat{q}) \neq q$แต่คุณควรไม่จำเป็นต้องปล่อยให้เรื่องนี้เป็นอุปสรรคคุณ สถานการณ์ที่แน่นอนนี้สามารถใช้เป็นคำวิจารณ์ต่อความคิดที่ว่าเราควรใช้ตัวประมาณที่ไม่เอนเอียงเสมอเพราะที่นี่ความลำเอียงเป็นสิ่งประดิษฐ์ของการทดลองเฉพาะที่เรากำลังทำอยู่ ข้อมูลดูตรงตามที่เราต้องการหากเราเลือกจำนวนตัวอย่างล่วงหน้าดังนั้นการอนุมานของเราจึงเปลี่ยนไป

ที่น่าสนใจถ้าคุณต้องรวบรวมข้อมูลด้วยวิธีนี้แล้วจดบันทึกฟังก์ชันความน่าจะเป็นภายใต้ทั้งแบบทวินาม (ขนาดตัวอย่างคงที่) และแบบจำลองแบบทวินามลบ, คุณจะพบว่าทั้งสองเป็นสัดส่วนกัน ซึ่งหมายความว่าคิว$\hat{q}$เป็นเพียงการประมาณการโอกาสสูงสุดสามัญภายใต้รูปแบบทวินามเชิงลบซึ่งแน่นอนว่าเป็นประมาณการที่เหมาะสมได้อย่างสมบูรณ์แบบ

มันไม่ได้ยืนยันว่าตัวอย่างสุดท้ายคือความล้มเหลวซึ่งการประเมินความเอนเอียงมันเป็นการรับส่วนกลับของ$N$

ดังนั้น ในตัวอย่างของคุณ แต่ E[$\mathbb{E}\left[\frac{N}{10}\right] =\frac{1}{q}$Q นี่คือใกล้กับการเปรียบเทียบค่าเฉลี่ยเลขคณิตกับค่าเฉลี่ยฮาร์มอนิก$\mathbb{E}\left[\frac{10}{N}\right] \not = q$

ข่าวร้ายก็คืออคติสามารถเพิ่มขึ้นได้เมื่อมีขนาดเล็กลงแม้ว่าจะน้อยมากเมื่อqมีขนาดเล็กอยู่แล้ว ข่าวดีก็คืออคติลดลงเมื่อจำนวนความล้มเหลวที่ต้องการเพิ่มขึ้น ดูเหมือนว่าถ้าคุณต้องการความล้มเหลวฉนั้นความเอนเอียงจะถูกล้อมด้วยค่าคูณของ$q$$q$$f$สำหรับขนาดเล็ก$\frac{f}{f-1}$ ; คุณไม่ต้องการวิธีการนี้เมื่อคุณหยุดหลังจากความล้มเหลวครั้งแรก $q$

หยุดหลังจากความล้มเหลวครั้งด้วยq = 0.01คุณจะได้รับE $10$$q=0.01$แต่ E$\mathbb{E}\left[\frac{N}{10}\right] = 100$ในขณะที่q=0.001คุณจะได้E[$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.011097$$q=0.001$แต่ E[$\mathbb{E}\left[\frac{N}{10}\right] = 1000$0.001111 อคติประมาณ$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.001111$ปัจจัยคูณ $\frac{10}{9}$

ในฐานะที่เป็นส่วนเติมเต็มให้คำตอบ dsaxton ของที่นี่มีการจำลองบางส่วนในการวิจัยแสดงให้เห็นถึงการกระจายตัวอย่างของQเมื่อk = 10และQ 0 = 0.02 :$\hat{q}$$k=10$$q_0 = 0.02$

n_replications <- 10000
k <- 10
failure_prob <- 0.02
n_trials <- k + rnbinom(n_replications, size=k, prob=failure_prob)
all(n_trials >= k)  # Sanity check, cannot have 10 failures in < 10 trials

estimated_failure_probability <- k / n_trials
histogram_breaks <- seq(0, max(estimated_failure_probability) + 0.001, 0.001)
## png("estimated_failure_probability.png")
hist(estimated_failure_probability, breaks=histogram_breaks)
abline(v=failure_prob, col="red", lty=2, lwd=2)  # True failure probability in red
## dev.off()

mean(estimated_failure_probability)  # Around 0.022
sd(estimated_failure_probability)
t.test(x=estimated_failure_probability, mu=failure_prob)  # Interval around [0.0220, 0.0223]

ดูเหมือนว่าซึ่งเป็นอคติขนาดเล็กเมื่อเทียบค่อนข้างที่จะแปรปรวนในคิว$\mathbb{E}\left[ \hat{q}\right] \approx 0.022$$\hat{q}$