การทดลองซ้ำส่วนใดที่จะมีขนาดผลภายในช่วงความมั่นใจ 95% ของการทดสอบครั้งแรก

มายึดติดกับสถานการณ์ในอุดมคติด้วยการสุ่มตัวอย่างประชากรเกาส์เซียนความแปรปรวนที่เท่าเทียมกันไม่มีการแฮ็ค P เป็นต้น

ขั้นตอนที่ 1 คุณเรียกใช้การทดลองพูดเปรียบเทียบค่าเฉลี่ยตัวอย่างสองค่าและคำนวณช่วงความมั่นใจ 95% สำหรับความแตกต่างระหว่างค่าเฉลี่ยประชากรสองค่า

ขั้นตอนที่ 2 คุณเรียกใช้การทดลองอื่น ๆ อีกมากมาย (หลักพัน) ความแตกต่างระหว่างค่าเฉลี่ยจะแตกต่างจากการทดสอบไปจนถึงการทดสอบเนื่องจากการสุ่มตัวอย่าง

คำถาม: ส่วนต่างของค่าเฉลี่ยจากการรวบรวมการทดลองในขั้นตอนที่ 2 จะอยู่ในช่วงความมั่นใจของขั้นตอนที่ 1

ไม่สามารถตอบได้ ทุกอย่างขึ้นอยู่กับสิ่งที่เกิดขึ้นในขั้นตอนที่ 1 หากการทดสอบขั้นตอนที่ 1 นั้นผิดปกติมากคำตอบของคำถามอาจต่ำมาก

ลองจินตนาการว่าทั้งสองขั้นตอนซ้ำหลายครั้ง (ด้วยขั้นตอนที่ 2 ซ้ำหลายครั้ง) ตอนนี้มันน่าจะเป็นไปได้แล้วฉันคิดว่าจะเกิดความคาดหวังว่าการทดลองซ้ำ ๆ โดยเฉลี่ยจะมีขนาดผลภายในช่วงความมั่นใจ 95% ของการทดลองครั้งแรก

ดูเหมือนว่าคำตอบสำหรับคำถามเหล่านี้จำเป็นต้องเข้าใจเพื่อประเมินความสามารถในการทำซ้ำของการศึกษาซึ่งเป็นพื้นที่ร้อนแรงในขณะนี้

การวิเคราะห์

เพราะนี่เป็นคำถามเชิงแนวคิดเพื่อความง่ายลองพิจารณาสถานการณ์ที่ช่วงความเชื่อมั่นถูกสร้างขึ้นสำหรับค่าเฉลี่ยโดยใช้ a สุ่มตัวอย่างของขนาดและสุ่มตัวอย่างที่สองใช้ขนาดทั้งหมดมาจากการกระจายแบบปกติเดียวกัน (ถ้าคุณชอบคุณสามารถแทนที่ค่าด้วยค่าจากการแจกแจงของนักเรียนขององศาอิสระการวิเคราะห์ต่อไปนี้จะไม่เปลี่ยนแปลง)[ ˉ x ( 1 ) + Z α / 2 s ( 1 ) / $1-\alpha$μx(1)nx(2)m(μ,σ2)Ztn-

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

โอกาสที่ค่าเฉลี่ยของตัวอย่างที่สองอยู่ใน CI ที่กำหนดโดยอันดับแรกคือ

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

เนื่องจากค่าเฉลี่ยตัวอย่างแรกเป็นอิสระจากค่าเบี่ยงเบนมาตรฐานตัวอย่างแรก (สิ่งนี้ต้องการค่าปกติ) และตัวอย่างที่สองเป็นอิสระจากตัวอย่างแรกความแตกต่างในตัวอย่างหมายถึงเป็นอิสระจาก{(1)} นอกจากนี้สำหรับช่วงเวลานี้สมมาตร2} ดังนั้นการเขียนสำหรับตัวแปรสุ่มและกำลังสองทั้งความไม่เท่าเทียมกันความน่าจะเป็นในคำถามนั้นเท่ากับ$\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

กฎแห่งความคาดหมายบอกว่ามีค่าเฉลี่ยและความแปรปรวนของ$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

เนื่องจากเป็นชุดแบบเส้นตรงของตัวแปร Normal จึงมีการกระจายแบบปกติ ดังนั้นเป็นครั้งตัวแปร เรารู้อยู่แล้วว่าเป็นครั้งตัวแปร ดังนั้นคือคูณตัวแปรที่มีการแจกแจง แบบความน่าจะเป็นที่ต้องการได้รับจากการแจกแจงแบบ F$U$$U^2$$\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

อภิปรายผล

กรณีที่น่าสนใจคือเมื่อตัวอย่างที่สองมีขนาดเท่ากับครั้งแรกดังนั้นและมีเพียงและกำหนดความน่าจะเป็น นี่คือคุณค่าของการเป็นพล็อตกับสำหรับn$n/m=1$$n$$\alpha$$(1)$$\alpha$$n=2,5,20,50$

กราฟขึ้นไปค่า จำกัด ในแต่ละเป็นเพิ่มขึ้น ขนาดการทดสอบดั้งเดิมถูกทำเครื่องหมายด้วยเส้นสีเทาแนวตั้ง สำหรับค่า largish ของโอกาส จำกัด สำหรับอยู่ที่ประมาณ\%$\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

โดยการทำความเข้าใจขีด จำกัด นี้เราจะตรวจสอบรายละเอียดของตัวอย่างขนาดเล็กและเข้าใจจุดสำคัญของเรื่องได้ดียิ่งขึ้น ในฐานะที่เป็นเติบโตขนาดใหญ่กระจายแนวทางการจัดจำหน่าย ในแง่ของการแจกแจงปกติแบบมาตรฐานความน่าจะเป็นนั้นใกล้เคียง$n=m$$F$$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

ยกตัวอย่างเช่นกับ ,และ0.083 ดังนั้นค่าการ จำกัด การบรรลุโดยเส้นโค้งที่เป็นเพิ่มขึ้นจะเป็น1-0.166 คุณสามารถเห็นมันใกล้จะถึงแล้วสำหรับ (ที่โอกาสคือ )$\alpha=0.05$$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

สำหรับขนาดเล็กความสัมพันธ์ระหว่างและความน่าจะเป็นเสริม - ความเสี่ยงที่ CI ไม่ครอบคลุมค่าเฉลี่ยที่สอง - เกือบสมบูรณ์แบบเป็นกฎหมายพลังงาน $\alpha$$\alpha$ วิธีการแสดงนี้ก็คือว่าน่าจะเป็นบันทึกที่สมบูรณ์เกือบจะเป็นฟังก์ชั่นเชิงเส้นของ\ความสัมพันธ์ที่ จำกัด อยู่ที่ประมาณ$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

ในคำอื่น ๆ ที่มีขนาดใหญ่สำหรับและทุกที่ใกล้ค่าดั้งเดิมของ ,จะใกล้เคียงกับ$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(เรื่องนี้ทำให้ผมนึกถึงมากของการวิเคราะห์ความซ้ำซ้อนของช่วงความเชื่อมั่นผมโพสต์ที่/stats//a/18259/919 . แท้จริงอำนาจวิเศษที่นั่นเป็นอย่างมากเกือบซึ่งกันและกันของอำนาจเวทมนตร์ ที่นี่ณ จุดนี้คุณควรสามารถตีความการวิเคราะห์นั้นอีกครั้งในแง่ของความสามารถในการทำซ้ำของการทดลอง)$1.91$$0.557$

---

ผลการทดลอง

ผลลัพธ์เหล่านี้ได้รับการยืนยันด้วยการจำลองที่ตรงไปตรงมา Rรหัสต่อไปนี้จะคืนค่าความถี่ของการครอบคลุมโอกาสตามที่คำนวณด้วยและคะแนน Z เพื่อประเมินว่าพวกเขาต่างกันเท่าใด The-Z คะแนนโดยทั่วไปจะมีน้อยกว่าในขนาดที่ไม่คำนึงถึง (หรือแม้กระทั่งว่าหรือ CI คำนวณ) แสดงให้เห็นความถูกต้องของสูตร(1)$(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[แก้ไขเพื่อแก้ไขข้อผิดพลาด WHuber ชี้ให้เห็น]

ฉันเปลี่ยนรหัส R @ Whuber เพื่อใช้การแจกแจง t และครอบคลุมการแปลงเป็นฟังก์ชันขนาดตัวอย่าง ผลลัพธ์อยู่ด้านล่าง ที่ขนาดตัวอย่างสูงผลลัพธ์จะตรงกับ WHuber แน่นอน

และนี่คือรหัส R ที่ดัดแปลงให้รันสองครั้งโดยตั้งค่าอัลฟ่าเป็น 0.01 หรือ 0.05

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

และนี่คือไฟล์GraphPad Prismที่สร้างกราฟ