ปัญหาเกี่ยวกับการศึกษาแบบจำลองของคำอธิบายการทดลองซ้ำในช่วงความมั่นใจ 95% - ฉันจะไปไหนผิด

ฉันกำลังพยายามเขียนสคริปต์ R เพื่อจำลองการตีความการทดลองซ้ำในช่วงความมั่นใจ 95% ฉันพบว่ามันประเมินค่าสัดส่วนของจำนวนครั้งที่ค่าของประชากรที่แท้จริงของสัดส่วนนั้นอยู่ใน 95% CI ของกลุ่มตัวอย่าง ไม่แตกต่างกันมาก - ประมาณ 96% เทียบกับ 95% แต่นี่ก็สนใจฉันอยู่ดี

ฟังก์ชั่นของฉันจะรับตัวอย่างsamp_nจากการกระจาย Bernoulli กับความน่าจะเป็นpop_pและจากนั้นคำนวณช่วงความเชื่อมั่น 95% มีการใช้แก้ไขความต่อเนื่องหรือมากกว่าตรงกับprop.test() binom.test()มันจะส่งกลับ 1 ถ้าสัดส่วนประชากรที่แท้จริงpop_pมีอยู่ใน 95% CI ฉันได้เขียนฟังก์ชันที่สองซึ่งหนึ่งที่ใช้prop.test()และหนึ่งซึ่งใช้binom.test()และมีผลลัพธ์ที่คล้ายกันกับทั้ง:

in_conf_int_normal <- function(pop_p = 0.3, samp_n = 1000, correct = T){
    ## uses normal approximation to calculate confidence interval
    ## returns 1 if the CI contain the pop proportion
    ## returns 0 otherwise
    samp <- rbinom(samp_n, 1, pop_p)
    pt_result <- prop.test(length(which(samp == 1)), samp_n)
    lb <- pt_result$conf.int[1]
        ub <- pt_result$conf.int[2]
    if(pop_p < ub & pop_p > lb){
        return(1)
    } else {
    return(0)
    }
}
in_conf_int_binom <- function(pop_p = 0.3, samp_n = 1000, correct = T){
    ## uses Clopper and Pearson method
    ## returns 1 if the CI contain the pop proportion
    ## returns 0 otherwise
    samp <- rbinom(samp_n, 1, pop_p)
    pt_result <- binom.test(length(which(samp == 1)), samp_n)
    lb <- pt_result$conf.int[1]
        ub <- pt_result$conf.int[2] 
    if(pop_p < ub & pop_p > lb){
        return(1)
    } else {
    return(0)
    }
 }

ฉันพบว่าเมื่อคุณทำการทดสอบซ้ำสองสามพันครั้งสัดส่วนของเวลาที่pop_pอยู่ภายใน 95% CI ของกลุ่มตัวอย่างนั้นใกล้เคียงกับ 0.96 มากกว่า 0.95

set.seed(1234)
times = 10000
results <- replicate(times, in_conf_int_binom())
sum(results) / times
[1] 0.9562

ความคิดของฉันจนถึงตอนนี้เกี่ยวกับสาเหตุที่เป็นเช่นนี้

• รหัสของฉันผิด (แต่ฉันตรวจสอบมันมาก)
• ตอนแรกฉันคิดว่านี่เป็นเพราะปัญหาการประมาณปกติ แต่ก็พบแล้ว binom.test()

ข้อเสนอแนะใด ๆ

คุณจะไม่ผิด มันก็เป็นไปไม่ได้ที่จะสร้างความเชื่อมั่นสำหรับสัดส่วนทวินามซึ่งมักจะมีการรายงานข่าวของว่า 95% เนื่องจากลักษณะที่ไม่ต่อเนื่องของผล ช่วง Clopper-Pearson ('แน่นอน') รับประกันว่าจะมีความครอบคลุมอย่างน้อย 95% ช่วงเวลาอื่นมีความครอบคลุมโดยเฉลี่ย 95% โดยเฉลี่ยเมื่ออยู่ในสัดส่วนที่แท้จริง

ฉันมักจะชอบช่วงเวลา Jeffreys ด้วยตัวเองเนื่องจากมันมีความครอบคลุมเกือบ 95% โดยเฉลี่ยและ (ต่างจากช่วงคะแนน Wilson) ประมาณความคุ้มครองเท่ากันในหางทั้งสอง

ด้วยการเปลี่ยนแปลงเพียงเล็กน้อยของรหัสในคำถามเราสามารถคำนวณความครอบคลุมที่แน่นอนโดยไม่ต้องจำลอง

p <- 0.3
n <- 1000

# Normal test
CI <- sapply(0:n, function(m) prop.test(m,n)$conf.int[1:2])
caught.you <- which(CI[1,] <= p & p <= CI[2,])
coverage.pr <- sum(dbinom(caught.you - 1, n, p))

# Clopper-Pearson
CI <- sapply(0:n, function(m) binom.test(m,n)$conf.int[1:2])
caught.you.again <- which(CI[1,] <= p & p <= CI[2,])
coverage.cp <- sum(dbinom(caught.you.again - 1, n, p))

นี่ให้ผลผลิตต่อไปนี้

> coverage.pr
[1] 0.9508569

> coverage.cp
[1] 0.9546087