นี่เป็นคำถามสมมุติฐานอย่างหมดจด คำสั่งที่พบบ่อยมากคือ$H_0$ไม่เป็นความจริง แต่เป็นเรื่องของขนาดตัวอย่าง

สมมติว่าจริงไม่มีความแตกต่างที่วัดได้ระหว่างสองวิธี ( ) มาจากประชากรที่กระจายตามปกติ (ทั้งและโดยประมาณ ) เราถือว่าต่อกลุ่มและเราใช้ -test นี้จะหมายความว่า -value เป็นแสดงให้เห็นว่ามีอย่างแตกต่างจากไม่มีH_0นี้จะแสดงให้เห็นว่าสถิติทดสอบคือ0ความแตกต่างค่าเฉลี่ยระหว่างกลุ่มจะเป็น0ข้อ จำกัด ของช่วงความเชื่อมั่นสำหรับความแตกต่างเฉลี่ยในกรณีนี้คืออะไร พวกเขาจะเป็นอย่างไร$\mu_1=\mu_2$$\mu=0$$\sigma$$=1$$N=16$$t$$p$$1.00000$$H_0$$0$$0$$95\%$$[0.0, 0.0]$ ?

ประเด็นหลักในคำถามของฉันคือเมื่อใดที่เราสามารถพูดได้ว่าเป็นจริงเช่นในกรณีนี้ หรือเมื่ออยู่ในกรอบบ่อยครั้งเราสามารถพูดว่า "ไม่แตกต่าง" อย่างแท้จริงเมื่อเปรียบเทียบสองวิธี?$H_0$$\mu_1=\mu_2$

ช่วงความมั่นใจสำหรับการทดสอบ t อยู่ในรูปแบบโดยที่และเป็นค่าเฉลี่ยตัวอย่างคือค่าวิกฤติที่และเป็นข้อผิดพลาดมาตรฐานของความแตกต่างในค่าเฉลี่ย ถ้าแล้ว 0 ดังนั้นสูตรจึงเป็นเพียงและข้อ จำกัด เป็นเพียง { ,$\bar{x}_1 - \bar{x}_2 \pm t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$\bar{x}_1$$\bar{x}_2$$t_{\text{crit}, \alpha}$$t$$\alpha$$s_{\bar{x}_1 - \bar{x}_2}$$p=1.0$$\bar{x}_1 - \bar{x}_2 =0$$\pm t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$-t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$ }

ฉันไม่แน่ใจว่าทำไมคุณถึงคิดว่าข้อ จำกัด จะเป็นค่าวิกฤติไม่เป็นศูนย์และข้อผิดพลาดมาตรฐานของความแตกต่างเฉลี่ยไม่เป็นศูนย์$\{0,0\}.$$t$

เป็นคนขี้เกียจใช้ R เพื่อแก้ปัญหาเป็นตัวเลขแทนที่จะทำการคำนวณด้วยมือ:

กำหนดฟังก์ชั่นที่จะให้ค่าการแจกแจงแบบปกติโดยมีค่าเฉลี่ย (เกือบ!) เท่ากับศูนย์และ SD เท่ากับ 1:

rn2 <- function(n) {r <- rnorm(n); c(scale(r)) }

รันการทดสอบ t:

t.test(rn2(16),rn2(16))

    Welch Two Sample t-test

data:  rn2(16) and rn2(16)
t = 1.7173e-17, df = 30, p-value = 1
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.7220524  0.7220524
sample estimates:
   mean of x    mean of y 
6.938894e-18 8.673617e-19 

วิธีการไม่ได้เป็นศูนย์อย่างแน่นอนเพราะความไม่แน่นอนของจุดลอยตัว

เพิ่มเติมโดยตรง CIs คือ$\pm$ sqrt(1/8)*qt(0.975,df=30) ; ความแปรปรวนของค่าเฉลี่ยแต่ละค่าคือ 1/16 ดังนั้นค่าความแปรปรวนพูคือ 1/8

CI สามารถมีขีด จำกัด ใด ๆ แต่มีศูนย์กลางอยู่ที่ประมาณศูนย์

สำหรับการทดสอบสองตัวอย่าง T (การทดสอบความแตกต่างในค่าเฉลี่ยของสองประชากร) ค่า p ของหนึ่งค่าตรงกับกรณีที่ค่าเฉลี่ยตัวอย่างที่สังเกตมีค่าเท่ากันทุกประการ † (ผลต่างตัวอย่างสามารถใช้กับค่าใดก็ได้) หากต้องการดูสิ่งนี้โปรดทราบว่าฟังก์ชัน p-value สำหรับการทดสอบคือ:$^\dagger$

$$p \equiv p(\mathbf{x},\mathbf{y}) = \mathbb{P} \Bigg( \Bigg| \frac{\bar{X}-\bar{Y}}{\sqrt{S_Y/n_Y + S_Y/n_Y}} \Bigg| \geqslant \Bigg| \frac{\bar{x}-\bar{y}}{\sqrt{s_Y/n_Y + s_Y/n_Y}} \Bigg| \Bigg).$$

ดังนั้นการตั้งค่าให้ผลตอบแทน:$\bar{x}=\bar{y}$

$$p(\mathbf{x},\mathbf{y}) = \mathbb{P} \Bigg( \Bigg| \frac{\bar{X}-\bar{Y}}{\sqrt{S_Y/n_Y + S_Y/n_Y}} \Bigg| \geqslant 0 \Bigg) = 1.$$

ตอนนี้สมมติว่าคุณสร้างช่วงความมั่นใจมาตรฐาน (โดยประมาณ) โดยใช้การประมาณ Welch-Satterwaite ในกรณีนี้สมมติว่า (เพื่อให้ค่า p ที่แน่นอนหนึ่ง) ให้ช่วงความมั่นใจ:$\bar{x}=\bar{y}$

$$\text{CI}(1-\alpha) = \Bigg[ 0 \pm \sqrt{\frac{s_X}{n_X} + t_{DF, \alpha/2} \frac{s_Y}{n_Y}} \Bigg],$$

ซึ่ง -degrees-Freedomนั้นถูกกำหนดโดยการประมาณของ Welch-Satterwaite ขึ้นอยู่กับความแปรปรวนตัวอย่างที่สังเกตได้ในปัญหาช่วงความเชื่อมั่นอาจเป็นช่วงเวลา จำกัด ใด ๆ ที่อยู่กึ่งกลางรอบศูนย์ นั่นคือช่วงความเชื่อมั่นสามารถมีข้อ จำกัด ใด ๆ ตราบใดที่มันอยู่ตรงกลางรอบศูนย์$DF$

---

$^\dagger$แน่นอนถ้าข้อมูลจริงมาจากการกระจายอย่างต่อเนื่องเหตุการณ์นี้เกิดขึ้นกับความน่าจะเป็นศูนย์ แต่สมมติว่ามันเกิดขึ้น

เป็นการยากที่จะมีการถกเถียงทางปรัชญาตรงประเด็นเกี่ยวกับสิ่งต่าง ๆ ที่มีความน่าจะเป็นเกิดขึ้น 0 ครั้ง ดังนั้นฉันจะแสดงตัวอย่างที่เกี่ยวข้องกับคำถามของคุณ

หากคุณมีตัวอย่างอิสระจำนวนมหาศาลสองตัวอย่างจากการแจกแจงแบบเดียวกันตัวอย่างทั้งสองจะยังคงมีความแปรปรวนสถิติที่รวมกัน 2 ตัวอย่าง t จะอยู่ใกล้ แต่ไม่ใช่0 อย่างแน่นอน P-value จะถูกกระจายเป็น และช่วงความมั่นใจ 95% จะสั้นมากและอยู่กึ่งกลางใกล้$\mathsf{Unif}(0,1),$$0.$

ตัวอย่างของชุดข้อมูลและการทดสอบ t:

set.seed(902)
x1 = rnorm(10^5, 100, 15)  
x2 = rnorm(10^5, 100, 15)
t.test(x1, x2, var.eq=T)

        Two Sample t-test

data:  x1 and x2
t = -0.41372, df = 2e+05, p-value = 0.6791
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.1591659  0.1036827
sample estimates:
mean of x mean of y 
 99.96403  99.99177 

นี่คือผลสรุปจาก 10,000 สถานการณ์ดังกล่าว ก่อนการกระจายของค่า P

set.seed(2019)
pv = replicate(10^4, 
   t.test(rnorm(10^5,100,15),rnorm(10^5,100,15),var.eq=T)$p.val)
mean(pv)
[1] 0.5007066   # aprx 1/2
hist(pv, prob=T, col="skyblue2", main="Simulated P-values")
 curve(dunif(x), add=T, col="red", lwd=2, n=10001)

ถัดไปสถิติการทดสอบ:

set.seed(2019)  # same seed as above, so same 10^4 datasets
st = replicate(10^4, 
       t.test(rnorm(10^5,100,15),rnorm(10^5,100,15),var.eq=T)$stat)
mean(st)
[1] 0.002810332  # aprx 0
hist(st, prob=T, col="skyblue2", main="Simulated P-values")
 curve(dt(x, df=2e+05), add=T, col="red", lwd=2, n=10001)

และอื่น ๆ สำหรับความกว้างของ CI

set.seed(2019)
w.ci = replicate(10^4, 
        diff(t.test(rnorm(10^5,100,15),
         rnorm(10^5,100,15),var.eq=T)$conf.int)) 
mean(w.ci)
[1] 0.2629603

แทบเป็นไปไม่ได้เลยที่จะได้ค่า P ที่เป็นเอกภาพในการทำการทดสอบที่แน่นอนด้วยข้อมูลต่อเนื่องซึ่งเป็นไปตามสมมติฐาน นักสถิติที่ชาญฉลาดจะไตร่ตรองสิ่งที่อาจผิดไปเมื่อเห็นค่า P-1

ตัวอย่างเช่นคุณอาจให้ซอฟต์แวร์สองตัวอย่างที่มีขนาดใหญ่เหมือนกัน การเขียนโปรแกรมจะดำเนินการต่อไปราวกับว่าทั้งสองตัวอย่างเป็นอิสระและให้ผลลัพธ์ที่แปลก แต่ถึงอย่างนั้น CI ก็จะไม่กว้างเท่ากับ 0

set.seed(902)
x1 = rnorm(10^5, 100, 15)  
x2 = x1
t.test(x1, x2, var.eq=T)

        Two Sample t-test

data:  x1 and x2
t = 0, df = 2e+05, p-value = 1
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval: 
 -0.1316593  0.1316593
sample estimates:
mean of x mean of y 
 99.96403  99.96403 

คำตอบที่ตรงไปตรงมา (+1 ถึงโนอาห์) จะอธิบายว่าช่วงความเชื่อมั่นสำหรับความแตกต่างเฉลี่ยอาจยังคงมีความยาวไม่เป็นศูนย์เพราะขึ้นอยู่กับรูปแบบที่สังเกตได้ในตัวอย่างในวิธีที่แตกต่างจากค่า p

อย่างไรก็ตามคุณอาจยังสงสัยว่าทำไมถึงเป็นเช่นนั้น เนื่องจากไม่แปลกเลยที่จะจินตนาการว่าค่า p ที่สูงยังหมายถึงช่วงความมั่นใจเล็กน้อย ท้ายที่สุดพวกเขาทั้งคู่ก็สอดคล้องกับสิ่งที่ใกล้เคียงกับการยืนยันสมมติฐานว่าง เหตุใดความคิดนี้จึงไม่ถูกต้อง

ค่า p สูงไม่เหมือนกับช่วงความมั่นใจเล็กน้อย

• p-value เป็นตัวบ่งชี้ว่าการสังเกตการณ์นั้นรุนแรงมากเพียงใด (ให้สมมติฐานบางอย่างมาก) โดยแสดงว่ามันเป็นไปได้มากน้อยเพียงใดที่จะสังเกตการเบี่ยงเบนที่กำหนด เป็นการแสดงออกของขนาดเอฟเฟกต์ที่สังเกตได้ซึ่งสัมพันธ์กับความแม่นยำของการทดลอง (ขนาดเอฟเฟกต์ที่สังเกตได้ขนาดใหญ่อาจไม่ได้มีความหมายมากนักเมื่อการทดลองนั้น 'ไม่ถูกต้อง' ว่าการสังเกตเหล่านี้จะไม่รุนแรงมากนัก ) เมื่อคุณสังเกต p-value 1 แล้วนี้ (เท่านั้น) หมายความว่าคุณสังเกตเห็นผลเป็นศูนย์เพราะความน่าจะเป็นที่จะสังเกตเช่นศูนย์ผลหรือมีขนาดใหญ่เท่ากับ 1 ( แต่นี้ไม่ได้เช่นเดียวกับที่มีเป็นศูนย์ผล)

  Sidenote: ทำไมต้องมีค่า p ค่า p จะแสดงขนาดผลกระทบที่สังเกตได้จริงซึ่งสัมพันธ์กับขนาดผลกระทบที่คาดหวัง (ความน่าจะเป็น) สิ่งนี้มีความเกี่ยวข้องเนื่องจากการทดลองอาจสร้างการสังเกตขนาดผลกระทบที่เกี่ยวข้องบางอย่างโดยโอกาสที่บริสุทธิ์เนื่องจากความผันผวนของข้อมูล / การสังเกตการณ์ทั่วไป การกำหนดให้การสังเกต / การทดลองมีค่า p ต่ำหมายความว่าการทดสอบมีความแม่นยำสูงนั่นคือ: ขนาดของเอฟเฟกต์ที่สังเกตนั้นมักจะน้อยกว่า / มีแนวโน้มเนื่องจากโอกาส / ความผันผวน (และอาจเป็นเพราะผลจริง) .

  Sidenote: สำหรับตัวแปรต่อเนื่อง p-value นี้เท่ากับ 1 เกิดขึ้นแทบจะไม่เคยเพราะมันเป็นเหตุการณ์ที่มีการวัดศูนย์ (เช่นสำหรับตัวแปรกระจายปกติคุณมี ) แต่สำหรับตัวแปรที่ไม่ต่อเนื่องหรือตัวแปรต่อเนื่องที่แยกได้นั้นอาจเป็นกรณี (อย่างน้อยความน่าจะเป็นไม่ใช่ศูนย์)$X\sim N (0,1)$$\mathbb {P}(X=0)=0$

• ช่วงความเชื่อมั่นอาจถูกมองว่าเป็นช่วงของค่าที่การ   ทดสอบสมมติฐาน level จะประสบความสำเร็จ (ซึ่งค่า p-value อยู่เหนือ )$\alpha$$\alpha$

  คุณควรทราบว่าค่า p ที่สูงนั้นไม่ได้เป็นการพิสูจน์ / สนับสนุน / อะไรก็ตามสำหรับสมมติฐานว่าง p-value สูงเท่านั้นหมายความว่าการสังเกตไม่น่าทึ่ง / สุดขีดสำหรับสมมติฐานว่างที่กำหนด แต่นี่อาจเป็นกรณีของสมมติฐานทางเลือกอื่น ๆ (เช่นผลลัพธ์เป็นไปตามสมมติฐานทั้งสองใช่ / ไม่มีผลกระทบ) สิ่งนี้มักเกิดขึ้นเมื่อข้อมูลไม่ได้รับข้อมูลมาก (เช่นเสียงรบกวนสูงหรือตัวอย่างเล็ก ๆ )

ตัวอย่าง: ลองนึกภาพว่าคุณมีเหรียญหนึ่งใบซึ่งคุณมีเหรียญที่ยุติธรรมและไม่ยุติธรรมและคุณต้องการจัดประเภทเหรียญหนึ่งเหรียญโดยการพลิกเหรียญ 20 ครั้ง (พูดว่าเหรียญเป็นตัวแปร bernoulli ที่มีสำหรับเหรียญที่ยุติธรรมและสำหรับเหรียญที่ไม่ยุติธรรมในกรณีนี้เมื่อคุณสังเกตเห็น 10 หัวและ 10 หางคุณอาจพูดว่า p- ค่าเท่ากับ 1 แต่ฉันเดาว่ามันชัดเจนว่าเหรียญที่ไม่เป็นธรรมอาจสร้างผลลัพธ์นี้ได้เช่นกันและเราไม่ควรแยกแยะความเป็นไปได้ว่าเหรียญนั้นไม่ยุติธรรม$p \approx 0.5$$p \sim U (0,1)$

ประเด็นหลักในคำถามของฉันคือเมื่อใดที่เราสามารถพูดได้ว่า เป็นจริงเช่นในกรณีนี้$H_0$$\mu_1=\mu_2$

ไม่เพราะ"การไม่มีหลักฐานไม่ใช่หลักฐานการขาด" ความน่าจะเป็นอาจเป็นส่วนขยายของตรรกะด้วยความไม่แน่นอนที่เพิ่มเข้ามาดังนั้นลองจินตนาการถึงช่วงเวลาที่แทนที่จะเป็นจำนวนจริงในช่วงหน่วยการทดสอบสมมติฐานจะส่งกลับเฉพาะค่าไบนารี: 0 (เท็จ) หรือ 1 (จริง) ในกรณีเช่นนี้กฎพื้นฐานของตรรกะจะใช้เช่นในตัวอย่างต่อไปนี้ :

• หากมีฝนตกข้างนอกพื้นดินก็จะเปียก
• พื้นดินเปียก
• ดังนั้นจึงมีฝนตกนอก

พื้นดินอาจเปียกเพราะฝนตก หรืออาจเป็นเพราะสปริงเกอร์, ใครบางคนกำลังทำความสะอาดร่องน้ำของพวกเขา, สายน้ำขาด, ฯลฯ ตัวอย่างที่รุนแรงมากขึ้นสามารถพบได้ในลิงค์ด้านบน

เกี่ยวกับช่วงความมั่นใจถ้าตัวอย่างของคุณมีขนาดใหญ่และดังนั้นช่วงความมั่นใจสำหรับความแตกต่างจะแคบลงอย่างมาก แต่ไม่ใช่ศูนย์ อย่างที่คนอื่นสังเกตคุณสามารถสังเกตสิ่งต่าง ๆ เช่นค่าที่แน่นอนและเลขศูนย์ แต่เนื่องจากข้อ จำกัด ด้านความแม่นยำของจุดลอยตัว$\mu_1 - \mu_2 \to 0$

แม้ว่าคุณจะสังเกตเห็นและช่วงความเชื่อมั่นคุณยังต้องจำไว้ว่าการทดสอบนั้นให้คำตอบโดยประมาณเท่านั้น เมื่อทำการทดสอบสมมติฐานเราไม่เพียง แต่ทำให้สมมติฐานที่ว่าเป็นจริง แต่ยังทำให้สมมติฐานอื่น ๆ อีกมากมายเช่นกลุ่มตัวอย่างมีความเป็นอิสระและมาจากการแจกแจงแบบปกติสิ่งที่ไม่เคยเป็นจริงสำหรับข้อมูลโลกแห่งความเป็นจริง การทดสอบจะช่วยให้คุณตัวอย่างคำตอบให้กับคำถามไม่ดีถูกวางดังนั้นจึงไม่สามารถ "พิสูจน์" สมมติฐานมันก็สามารถพูดได้"ภายใต้สมมติฐานที่ไม่มีเหตุผลดังกล่าวนี้จะไม่น่า"$p = 1$$\pm 0$$H_0$

ไม่มีอะไรทำให้คุณไม่สามารถใช้สูตรมาตรฐานหรือสูตรเกาส์สำหรับคำนวณช่วงความเชื่อมั่นได้ - มีการให้ข้อมูลทั้งหมดที่จำเป็นในคำถามของคุณ p = 1 ไม่ได้หมายความว่ามีอะไรผิดปกติ โปรดทราบว่า p = 1 ไม่ได้หมายความว่าคุณจะมั่นใจได้อย่างยิ่งว่า H0 นั้นเป็นจริง การเปลี่ยนแปลงแบบสุ่มยังคงมีอยู่และหาก u0 = u1 สามารถเกิดขึ้นได้ภายใต้ H0 ก็สามารถเกิดขึ้นได้หากค่าที่แท้จริงของ u0 นั้นแตกต่างจาก u1 จริงเล็กน้อยดังนั้นจะมีช่วงความมั่นใจมากกว่าความเท่าเทียมกัน

คำแถลงทั่วไปคือ H0 ไม่เคยเป็นจริงมันเป็นเรื่องของขนาดตัวอย่าง

ไม่ใช่ในหมู่คนที่รู้ว่าพวกเขากำลังพูดถึงอะไรและกำลังพูดอย่างแม่นยำ การทดสอบสมมติฐานดั้งเดิมไม่เคยสรุปว่าโมฆะเป็นจริง แต่ไม่ว่าจะเป็นจริงหรือไม่ก็แยกจากว่าเป็นโมฆะสรุปเป็นจริง

นี่หมายความว่าค่า p คือ 1.00000

สำหรับการทดสอบแบบสองด้านใช่

ระบุว่าไม่มีความคลาดเคลื่อนจาก H0 อย่างแน่นอน

$H_0$เป็นข้อความเกี่ยวกับการแจกแจง โหมดของการกระจายที่กำหนดในเป็นเพื่อให้มีความแตกต่างระหว่างการสังเกตและโหมดของการกระจายไม่มี แต่มันไม่ถูกต้องค่อนข้างที่จะบอกว่าไม่มีความแตกต่างจากH_0ไม่มีผลลัพธ์ใด ๆ ที่แตกต่างกันเนื่องจากค่าใด ๆ อาจมาจากการแจกจ่าย ค่า p แต่ละค่ามีแนวโน้มเท่ากัน การได้รับ p-value ที่. 01 นั้นมีความเป็นไปได้เช่นเดียวกับการได้รับ p-value อย่างแน่นอนที่ 1 (นอกเหนือจากปัญหาการแยกส่วนย่อย) หากคุณมีกลุ่มตัวอย่างอิสระและการแจกแจงของพวกเขาไม่ตรงกับ$H_0$$0$$H_0$H 0$H_0$ ทำนายว่าจะถูกเรียกว่า "ความแตกต่าง" ที่ถูกกฎหมายมากกว่าที่จะเห็นเพียงตัวอย่างเดียวซึ่งค่าเฉลี่ยไม่ตรงกับโหมด

อะไรคือข้อ จำกัด ของช่วงความมั่นใจ 95% สำหรับความแตกต่างเฉลี่ยในกรณีนี้

ในการประมาณครั้งแรกขีด จำกัด ของช่วงความมั่นใจ 95% นั้นมีค่าเบี่ยงเบนมาตรฐานที่เกี่ยวข้องประมาณสองเท่า ไม่มีความต่อเนื่องที่ศูนย์ หากคุณพบฟังก์ชันที่พบช่วงความมั่นใจ 95% สำหรับความแตกต่างของคุณสามารถใช้เพื่อค้นหาช่วงความมั่นใจสำหรับ ความแตกต่างเฉลี่ยของศูนย์$f(\epsilon)$$\epsilon$$\lim_{\epsilon \rightarrow 0}f(\epsilon)$

ประเด็นหลักในคำถามของฉันคือเมื่อใดที่เราสามารถพูดได้ว่า H0 เป็นจริงเช่นμ1 = μ2ในกรณีนี้

เราสามารถพูดอะไรก็ได้ที่เราต้องการ อย่างไรก็ตามการบอกว่าการทดสอบแสดงให้เห็นว่าโมฆะเป็นจริงนั้นไม่สอดคล้องกับการทดสอบสมมติฐานแบบดั้งเดิมโดยไม่คำนึงถึงผลลัพธ์ และการทำเช่นนั้นไม่ได้รับการพิสูจน์จากจุดยืนของพยาน สมมติฐานทางเลือกที่ว่าค่าเฉลี่ยนั้นไม่เหมือนกันนั้นหมายถึงความแตกต่างที่เป็นไปได้ทั้งหมด สมมติฐานทางเลือกคือ "ความแตกต่างในวิธีการเป็นหรือหรือหรือหรือ$1$$2$$3$$.5$$.1$, ... "เราสามารถวางความแตกต่างเล็ก ๆ น้อย ๆ ตามอำเภอใจและนั่นจะสอดคล้องกับสมมติฐานทางเลือกและด้วยความแตกต่างเล็ก ๆ โดยพลการความน่าจะเป็นที่ได้จากค่าเฉลี่ยนั้นใกล้กับความน่าจะเป็นที่ได้รับเป็นโมฆะ สมมติฐานทางเลือกไม่เพียง แต่ครอบคลุมความเป็นไปได้ที่พารามิเตอร์ของการแจกแจงเช่นค่าเฉลี่ยจะแตกต่างกัน แต่มีการแจกแจงที่แตกต่างกันโดยสิ้นเชิงตัวอย่างเช่นสมมติฐานทางเลือกครอบคลุม "ทั้งสองตัวอย่างจะมีความแตกต่างในวิธีการนี้ มีค่าเท่ากับ 1 หรือ 0 อย่างแน่นอนโดยมีความน่าจะเป็น 0.5 สำหรับแต่ละ "ผลลัพธ์จะสอดคล้องกันมากกว่านี้กับผลลัพธ์นั้นจะเป็นโมฆะ