ช่วงการทำนายสำหรับตัวแปรสุ่มแบบทวินาม

สูตร (โดยประมาณหรือแน่นอน) สำหรับช่วงเวลาการทำนายสำหรับตัวแปรสุ่มแบบทวินามคืออะไร

สมมติว่าและเราสังเกตว่า (ดึงมาจาก ) เป็นที่รู้จักกัน$Y \sim \mathsf{Binom}(n, p)$$y$$Y$$n$

เป้าหมายของเราคือการได้รับช่วงเวลาที่การคาดการณ์ 95% สำหรับการวาดใหม่จากY$Y$

ประมาณการจุดคือที่{n} ช่วงความมั่นใจสำหรับนั้นตรงไปตรงมา แต่ฉันไม่สามารถหาสูตรสำหรับช่วงการทำนายสำหรับได้ ถ้าเรารู้ (แทนที่จะเป็น ) ช่วงเวลาการทำนาย 95% นั้นเกี่ยวข้องกับการหาควอนไทล์ของทวินาม มีบางสิ่งที่ชัดเจนที่ฉันมองเห็นหรือไม่?พี = $n\hat{p}$P Yพี$\hat{p}=\frac{y}{n}$$\hat{p}$$Y$$p$$\hat{p}$

ตกลงลองทำกัน ฉันจะให้คำตอบสองข้อ - แบบเบย์ซึ่งในความคิดของฉันเรียบง่ายและเป็นธรรมชาติและเป็นหนึ่งในคำตอบที่เป็นไปได้

วิธีแก้ปัญหาแบบเบย์

เราถือว่าเบต้าก่อน , i, e.,เนื่องจากโมเดลเบต้า - ทวินามเป็นคอนจูเกตซึ่งหมายความว่าการกระจายหลังเป็นการกระจายเบต้าด้วยพารามิเตอร์ , (ฉันใช้kเพื่อแสดงจำนวนความสำเร็จในการทดลองnครั้งแทนที่จะเป็นy ) ดังนั้นการอนุมานจึงง่ายขึ้นมาก ทีนี้ถ้าคุณมีความรู้มาก่อนเกี่ยวกับค่าที่น่าจะเป็นของpคุณสามารถใช้มันเพื่อตั้งค่าของαและβเช่นเพื่อกำหนดเบต้าของคุณก่อนมิฉะนั้นคุณอาจถือว่าเครื่องแบบ (ไม่เป็นทางการ) มาก่อนด้วยα = βพี~ B อีที( α , β ) α = α + k , β = β + n - $p$$p \sim Beta(\alpha,\beta)$$\hat{\alpha}=\alpha+k,\hat{\beta}=\beta+n-k$$k$$n$$y$$p$$\alpha$$\beta$หรือนักบวชที่ไม่ใช่คนอื่น (ดูตัวอย่างที่นี่) ไม่ว่าในกรณีใดด้านหลังของคุณคือ$\alpha=\beta=1$

$Pr(p|n,k)=Beta(\alpha+k,\beta+n-k)$

ในการอนุมานแบบเบย์สิ่งที่สำคัญคือความน่าจะเป็นหลังซึ่งหมายความว่าเมื่อคุณรู้แล้วคุณสามารถทำการอนุมานปริมาณอื่น ๆ ทั้งหมดในแบบจำลองของคุณ คุณต้องการให้การอนุมานใน observables : โดยเฉพาะอย่างยิ่งในเวกเตอร์ของผลการใหม่Y = Y 1 , ... , Y มที่ม.ไม่จำเป็นต้องเท่ากับn โดยเฉพาะสำหรับแต่ละj = 0 , … , mเราต้องการคำนวณความน่าจะเป็นที่จะมีความสำเร็จjในการทดลองmครั้งถัดไปเนื่องจากเราได้$y$$\mathbf{y}=y_1,\dots,y_m$$m$$n$$j=0,\dots,m$$j$$m$$k$ความสำเร็จในการทดลองก่อนหน้านี้ ; ฟังก์ชั่นการทำนายมวลหลัง$n$

$Pr(j|m,y)=Pr(j|m,n,k)=\int_0^1 Pr(j,p|m,n,k)dp = \int_0^1 Pr(j|p,m,n,k)Pr(p|n,k)dp$

อย่างไรก็ตามรูปแบบทวินามของเราสำหรับหมายถึงว่าเงื่อนไขในพีมีค่าบางอย่างน่าจะเป็นของการมีเจประสบความสำเร็จในม.การทดลองไม่ขึ้นอยู่กับผลลัพธ์ที่ผ่านมามันเป็นเพียง$Y$$p$$j$$m$

$f(j|m,p)=\binom{j}{m} p^j(1-p)^j$

ดังนั้นการแสดงออกจะกลายเป็น

$Pr(j|m,n,k)=\int_0^1 \binom{j}{m} p^j(1-p)^j Pr(p|n,k)dp=\int_0^1 \binom{j}{m} p^j(1-p)^j Beta(\alpha+k,\beta+n-k)dp$

ผลลัพธ์ของอินทิกรัลนี้คือการกระจายที่รู้จักกันดีเรียกว่าการกระจายเบต้า - ทวินาม: การข้ามข้อเราได้รับการแสดงออกที่น่ากลัว

$Pr(j|m,n,k)=\frac{m!}{j!(m-j)!}\frac{\Gamma(\alpha+\beta+n)}{\Gamma(\alpha+k)\Gamma(\beta+n-k)}\frac{\Gamma(\alpha+k+j)\Gamma(\beta+n+m-k-j)}{\Gamma(\alpha+\beta+n+m)}$

การประมาณจุดของเราสำหรับ , ที่ได้รับการสูญเสียกำลังสอง, แน่นอนค่าเฉลี่ยของการแจกแจงนี้, คือ,$j$

$\mu=\frac{m(\alpha+k)}{(\alpha+\beta+n)}$

ทีนี้ลองหาช่วงเวลาทำนาย เนื่องจากนี่คือการกระจายไม่ต่อเนื่องเราไม่ได้มีการแสดงออกรูปแบบปิดสำหรับเช่นว่า0.95 เหตุผลก็คือขึ้นอยู่กับวิธีที่คุณกำหนดควอนไทด์สำหรับการกระจายแบบไม่ต่อเนื่องฟังก์ชั่นควอไทล์ไม่ได้เป็นฟังก์ชันหรือเป็นฟังก์ชันที่ไม่ต่อเนื่อง แต่นี่ไม่ใช่ปัญหาใหญ่: สำหรับขนาดเล็กคุณสามารถเขียนความน่าจะเป็นและจากที่นี่หาเช่นนั้นP r ( j 1 ≤ j ≤ j 2 ) = 0.95 m m P r ( j = 0 | m , n , k ) , P r ( j ≤ 1 | m , n , k ) , … , P r ( j ≤ m - 1 $[j_1,j_2]$$Pr(j_1\leq j \leq j_2)= 0.95$$m$$m$j 1 , j $Pr(j=0|m,n,k),Pr(j\leq 1|m,n,k),\dots,Pr(j \leq m-1|m,n,k)$$j_1,j_2$

$Pr(j_1\leq j \leq j_2)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\geq 0.95$

แน่นอนว่าคุณจะพบมากกว่าหนึ่งคู่ดังนั้นคุณควรมองหาที่เล็กที่สุดตามที่พอใจข้างต้น สังเกตได้ว่า$[j_1,j_2]$

$Pr(j=0|m,n,k)=p_0,Pr(j\leq 1|m,n,k)=p_1,\dots,Pr(j \leq m-1|m,n,k)=p_{m-1}$

เป็นเพียงค่าของฟังก์ชัน CMF (Cumulative Mass Function) ของการแจกแจงแบบเบต้า - ทวินามและเช่นนี้มีการแสดงออกของรูปแบบปิดแต่นี่คือในแง่ของฟังก์ชั่น hypergeometric ทั่วไปดังนั้นจึงค่อนข้างซับซ้อน ฉันต้องการเพียงแค่ติดตั้งแพ็กเกจ R extraDistrและโทรpbbinomเพื่อคำนวณ CMF ของการแจกแจงแบบเบต้า - ทวินาม โดยเฉพาะถ้าคุณต้องการคำนวณความน่าจะเป็นทั้งหมดในครั้งเดียวเพียงแค่เขียน:$p_0,\dots,p_{m-1}$

library(extraDistr)  
jvec <- seq(0, m-1, by = 1) 
probs <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

โดยที่alphaและbetaเป็นค่าของพารามิเตอร์ของเบต้าของคุณก่อนหน้านี้คือและ (เช่น 1 หากคุณกำลังใช้เครื่องแบบก่อนหน้านี้มากกว่า ) แน่นอนว่ามันจะง่ายกว่านี้ถ้า R ให้ฟังก์ชันควอนไทล์สำหรับการแจกแจงแบบเบต้า - ทวินาม แต่น่าเสียดายที่มันไม่ได้บีตา$\alpha$$\beta$$p$

ตัวอย่างที่ใช้งานได้จริงกับวิธีแก้ปัญหาแบบเบย์

ให้ , (ดังนั้นในตอนแรกเราสังเกตความสำเร็จ 70 ครั้งในการทดลอง 100 ครั้ง) เราต้องการประมาณค่าจุดและช่วงการทำนาย 95% สำหรับจำนวนความสำเร็จในการทดลองครั้งถัดไปแล้วก็k = 70 j m = $n=100$$k=70$$j$$m=20$

n <- 100
k <- 70
m <- 20
alpha <- 1
beta  <- 1

ที่ฉันสันนิษฐานว่าเครื่องแบบก่อน : ขึ้นอยู่กับความรู้ก่อนหน้าสำหรับการใช้งานเฉพาะของคุณนี้อาจหรือไม่อาจจะดีก่อน ดังนั้น$p$

bayesian_point_estimate <- m * (alpha + k)/(alpha + beta + n) #13.92157

เห็นได้ชัดว่าการประมาณไม่ใช่จำนวนเต็มสำหรับไม่สมเหตุสมผลดังนั้นเราสามารถปัดเศษเป็นจำนวนเต็มที่ใกล้ที่สุด (14) จากนั้นสำหรับช่วงเวลาการทำนาย:$j$

jvec <- seq(0, m-1, by = 1)
library(extraDistr)
probabilities <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

ความน่าจะเป็น

> probabilities
 [1] 1.335244e-09 3.925617e-08 5.686014e-07 5.398876e-06
 [5] 3.772061e-05 2.063557e-04 9.183707e-04 3.410423e-03
 [9] 1.075618e-02 2.917888e-02 6.872028e-02 1.415124e-01
[13] 2.563000e-01 4.105894e-01 5.857286e-01 7.511380e-01
[17] 8.781487e-01 9.546188e-01 9.886056e-01 9.985556e-01

สำหรับช่วงเวลาที่น่าจะเป็นหางเท่ากันเราต้องการเล็กที่สุดเช่นและใหญ่ที่สุดซึ่ง0.025 ด้วยวิธีนี้เราจะได้ P r ( j ≤ j 2 | m , n , k ) ≥ 0.975 j 1 P r ( j < j 1 | m , n , k ) = P r ( j ≤ j 1 - 1 | m , n , k ) ≤ $j_2$$Pr(j\leq j_2|m,n,k)\ge 0.975$$j_1$$Pr(j < j_1|m,n,k)=Pr(j \le j_1-1|m,n,k)\le 0.025$

$Pr(j_1\leq j \leq j_2|m,n,k)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\ge 0.975-0.025=0.95$

ดังนั้นโดยดูที่ความน่าจะเป็นดังกล่าวข้างต้นเราจะเห็นว่าและ 9 ความน่าจะเป็นของช่วงการทำนายแบบเบย์นี้คือ 0.9778494 ซึ่งมากกว่า 0.95 เราสามารถหาช่วงเวลาที่สั้นกว่าเช่นแต่ในกรณีนั้นอย่างน้อยหนึ่งในสองของความไม่เท่าเทียมกันสำหรับความน่าจะเป็นหางจะไม่พอใจj 1 = 9 P r ( j 1 ≤ j ≤ j 2 | m , n , k ) ≥ $j_2=18$$j_1=9$$Pr(j_1\leq j \leq j_2|m,n,k)\ge 0.95$

วิธีแก้ปัญหาประจำ

ฉันจะทำตามการรักษาKrishnamoorthy และเป็ง 2011 ให้และกระจายอย่างอิสระแบบเราต้องการช่วงการคาดการณ์สำหรับบนพื้นฐานของการสังเกตของXในคำอื่น ๆ เรามองหาเช่นนั้น:$Y\sim Binom(m,p)$$X\sim Binom(n,p)$$1-2\alpha-$$Y$$X$$I=[L(X;n,m,\alpha),U(X;n,m,\alpha)]$

$Pr_{X,Y}(Y\in I)=Pr_{X,Y}(L(X;n,m,\alpha)\leq Y\leq U(X;n,m,\alpha)]\geq 1-2\alpha$

" " เกิดจากความจริงที่ว่าเรากำลังเผชิญกับตัวแปรสุ่มแยกและดังนั้นเราจึงไม่สามารถคาดหวังว่าจะได้รับความคุ้มครองที่แน่นอน ... แต่เราสามารถหาช่วงเวลาที่มีอย่างน้อย ความคุ้มครองเล็กน้อยจึงเป็นช่วงเวลาที่อนุรักษ์นิยม ตอนนี้ก็สามารถพิสูจน์ได้ว่าเงื่อนไขการจำหน่ายของได้รับเป็น hypergeometric กับขนาดของกลุ่มตัวอย่างจำนวนของความสำเร็จในประชากรและจำนวนประชากรขนาด m ดังนั้น pmf ตามเงื่อนไขคือ$\geq 1-2\alpha$$X$$X+Y=k+j=s$$s$$n$$n+m$

$Pr(X=k|X+Y=s,n,n+m)=\frac{\binom{n}{k}\binom{m}{s-k}}{\binom{m+n}{s}}$

CDF แบบมีเงื่อนไขของได้รับจึงเป็นเช่นนั้น$X$$X+Y=s$

$Pr(X\leq k|s,n,n+m)=H(k;s,n,n+m)=\sum_{i=0}^k\frac{\binom{n}{i}\binom{m}{s-i}}{\binom{m+n}{s}}$

สิ่งแรกที่ดีเกี่ยวกับ CDF นี้คือมันไม่ได้ขึ้นอยู่กับซึ่งเราไม่รู้ สิ่งที่ดีที่สองก็คือว่ามันจะช่วยให้สามารถค้นหา PI ของเรา: เป็นเรื่องของความเป็นจริงถ้าเราสังเกตค่าของ X แล้วขีด จำกัด ของการคาดการณ์ที่ลดลงเป็นเลขที่เล็กที่สุดดังกล่าวว่า$p$$k$$1-\alpha$$L$

$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

ตามลําดับการคาดคะเนสูงสุดเป็นจํานวนเต็มที่มากที่สุด$1-\alpha$

$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$

ดังนั้นเป็นช่วงเวลาที่การคาดการณ์สำหรับของความคุ้มครองอย่างน้อย1-2ทราบว่าเมื่ออยู่ใกล้กับ 0 หรือ 1 ช่วงเวลานี้เป็นอนุรักษ์นิยมขนาดใหญ่ ,คือการรายงานข่าวค่อนข้างใหญ่กว่า1-2$[L,U]$$Y$$1-2\alpha$$p$$n$$m$$1-2\alpha$

ตัวอย่างที่ใช้งานได้จริงกับโซลูชันของ Frequentist

การตั้งค่าเช่นเดียวกับก่อนหน้านี้ แต่เราไม่จำเป็นต้องระบุและ (ไม่มี Priors ในเฟรมเวิร์กบ่อยครั้ง):$\alpha$$\beta$

n <- 100
k <- 70
m <- 20

ประมาณการจุดจะได้รับตอนนี้ใช้การประมาณการ MLE สำหรับความน่าจะเป็นของความสำเร็จที่ซึ่งผลัดกันนำไปสู่การประมาณการดังต่อไปนี้สำหรับจำนวนของความสำเร็จในการทดลอง:$\hat{p}=\frac{k}{n}$$m$

frequentist_point_estimate <- m * k/n #14

สำหรับช่วงเวลาการทำนายขั้นตอนจะแตกต่างกันเล็กน้อย เรามองหาใหญ่ที่สุดเช่นดังนั้นให้คำนวณนิพจน์ด้านบน สำหรับทั้งหมดใน :$U$$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$$U$$[0,m]$

jvec <- seq(0, m, by = 1)
probabilities <- phyper(k,n,m,k+jvec)

เราจะเห็นได้ว่าใหญ่ที่สุดที่น่าจะเป็นยังคงใหญ่กว่า 0.025 คือ$U$

jvec[which.min(probabilities > 0.025) - 1] # 18

เช่นเดียวกับวิธี Bayesian การคาดการณ์ที่ต่ำกว่าขอบเขตคือจำนวนเต็มที่น้อยที่สุดเช่นดังนั้นP r ( X ≥ k | k + L , n , n + m ) = 1 - H ( k - 1 ; k + L , n , n + m ) > $L$$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

probabilities <- 1-phyper(k-1,n,m,k+jvec)
jvec[which.max(probabilities > 0.025) - 1] # 8

ดังนั้น frequentist ของเรา "แน่นอน" ช่วงเวลาการทำนายเป็น[8,18]$[L,U]=[8,18]$