ANOVA จะมีนัยสำคัญหรือไม่เมื่อไม่มีการทดสอบ t-pairwise

มันเป็นไปได้สำหรับทางเดียว (กับกลุ่มหรือ "ระดับ") ANOVA เพื่อรายงานความแตกต่างอย่างมีนัยสำคัญเมื่อไม่มีN ( N - 1 ) / 2คู่เสื้อทดสอบไม่?$N>2$$N(N-1)/2$

ในคำตอบนี้ @whuber เขียนว่า:

เป็นที่ทราบกันดีว่าการทดสอบ ANOVA F ทั่วโลกสามารถตรวจจับความแตกต่างของวิธีการได้แม้ในกรณีที่ไม่มีการทดสอบทีละคู่ [ทีไม่ได้รับการปรับแก้คู่] ของวิธีการใดก็ตาม

เห็นได้ชัดว่ามันเป็นไปได้ แต่ฉันไม่เข้าใจว่า มันเกิดขึ้นเมื่อใดและสัญชาตญาณที่อยู่เบื้องหลังกรณีเช่นนี้จะเป็นเช่นไร? บางทีใครบางคนสามารถให้ตัวอย่างของเล่นง่ายๆของสถานการณ์เช่นนี้?

ข้อสังเกตเพิ่มเติมบางส่วน:

1. ตรงกันข้ามเป็นไปได้อย่างชัดเจน: ANOVA โดยรวมอาจไม่มีนัยสำคัญในขณะที่บางส่วนของการทดสอบ t-pairwise รายงานความแตกต่างที่สำคัญอย่างผิดพลาด (เช่นนั้นจะเป็นผลบวกปลอม)

2. คำถามของฉันเกี่ยวกับมาตรฐานไม่ได้ปรับสำหรับการเปรียบเทียบแบบทดสอบหลายรายการ หากใช้การทดสอบที่ปรับแล้ว (เช่นขั้นตอน HSD ของ Tukey) อาจเป็นไปได้ว่าไม่มีการทดสอบใดที่มีนัยสำคัญแม้ว่า ANOVA โดยรวมจะเป็นเช่นนั้น คำถามนี้ครอบคลุมในหลาย ๆ คำถามเช่นฉันจะได้รับ ANOVA โดยรวมที่สำคัญได้อย่างไร แต่ไม่มีความแตกต่างอย่างมีนัยสำคัญระหว่างคู่กับกระบวนการของ Tukey และที่สําคัญ ANOVA ปฏิสัมพันธ์ แต่ไม่ใช่อย่างมีนัยสำคัญจากจำนวนรถ

3. ปรับปรุง แต่เดิมคำถามของฉันอ้างถึงการทดสอบ t ตามเข็มนาฬิกาสองตัวอย่าง อย่างไรก็ตามตามที่ @whuber ชี้ให้เห็นในความคิดเห็นในบริบทของ ANOVA การทดสอบแบบ T มักจะถูกเข้าใจว่าเป็นความขัดแย้งหลังการโพสต์โดยใช้ ANOVA ประมาณความแปรปรวนภายในกลุ่มรวมกันในทุกกลุ่ม (ซึ่งไม่ใช่สิ่งที่เกิดขึ้นในสอง - ตัวอย่างการทดสอบ t) จริง ๆ แล้วคำถามของฉันมีสองเวอร์ชันที่แตกต่างกันและคำตอบของทั้งคู่นั้นกลับกลายเป็นว่าเป็นบวก ดูด้านล่าง

หมายเหตุ: มีบางอย่างผิดปกติกับตัวอย่างดั้งเดิมของฉัน ฉันถูกจับโดยการโต้เถียงอย่างเงียบงันของ R ตัวอย่างใหม่ของฉันคล้ายกับรุ่นเก่าของฉัน หวังว่าทุกอย่างตอนนี้

นี่คือตัวอย่างที่ผมทำที่มีความแปรปรวนอย่างมีนัยสำคัญที่ระดับ 5% แต่ไม่มีการเปรียบเทียบจากจำนวน 6 มีความสำคัญแม้ในระดับ 5%

นี่คือข้อมูล:

g1:  10.71871  10.42931   9.46897   9.87644
g2:  10.64672   9.71863  10.04724  10.32505  10.22259  10.18082  10.76919  10.65447 
g3:  10.90556  10.94722  10.78947  10.96914  10.37724  10.81035  10.79333   9.94447 
g4:  10.81105  10.58746  10.96241  10.59571

นี่คือ ANOVA:

             Df Sum Sq Mean Sq F value Pr(>F)  
as.factor(g)  3  1.341  0.4469   3.191 0.0458 *
Residuals    20  2.800  0.1400        

ต่อไปนี้เป็นตัวอย่าง p-test p-values ​​สองตัวอย่าง (สมมติฐานความแปรปรวนเท่ากัน):

        g2     g3     g4
 g1   0.4680 0.0543 0.0809 
 g2          0.0550 0.0543 
 g3                 0.8108

ด้วยความยุ่งเหยิงที่มากขึ้นกับค่าเฉลี่ยของกลุ่มหรือคะแนนแต่ละจุดความแตกต่างในความสำคัญอาจทำให้โดดเด่นมากขึ้น (ในการที่ฉันสามารถทำให้ค่า p แรกมีขนาดเล็กลงและต่ำสุดของชุดของค่า p หกค่าสำหรับการทดสอบ t สูงขึ้น )

-

แก้ไข: นี่คือตัวอย่างเพิ่มเติมที่ แต่เดิมสร้างขึ้นด้วยเสียงรบกวนเกี่ยวกับแนวโน้มซึ่งแสดงให้เห็นว่าคุณสามารถทำได้ดีกว่านี้หากคุณย้ายจุดไปรอบ ๆ :

g1:  7.27374 10.31746 10.54047  9.76779
g2: 10.33672 11.33857 10.53057 11.13335 10.42108  9.97780 10.45676 10.16201
g3: 10.13160 10.79660  9.64026 10.74844 10.51241 11.08612 10.58339 10.86740
g4: 10.88055 13.47504 11.87896 10.11403

F มีค่า p ต่ำกว่า 3% และไม่มีของใด ๆ ที่มีค่า p ต่ำกว่า 8% (สำหรับตัวอย่าง 3 กลุ่ม - แต่มีค่า p ที่ค่อนข้างใหญ่กว่าใน F - ละเว้นกลุ่มที่สอง)

และนี่คือตัวอย่างที่ง่ายมาก ๆ ถ้ามีการประดิษฐ์มากขึ้นด้วย 3 กลุ่ม:

g1: 1.0  2.1
g2: 2.15 2.3 3.0 3.7 3.85
g3: 3.9  5.0

(ในกรณีนี้ความแปรปรวนที่ใหญ่ที่สุดคือกลุ่มกลาง - แต่เนื่องจากขนาดตัวอย่างใหญ่กว่านั้นข้อผิดพลาดมาตรฐานของค่าเฉลี่ยกลุ่มจึงยังเล็กกว่า)

เปรียบเทียบการทดสอบหลายที

whuber แนะนำให้ฉันพิจารณากรณีการเปรียบเทียบหลายรายการ มันพิสูจน์แล้วว่าน่าสนใจมาก

กรณีสำหรับการเปรียบเทียบหลายรายการ (ทั้งหมดดำเนินการในระดับนัยสำคัญดั้งเดิม - เช่นโดยไม่ต้องปรับอัลฟ่าสำหรับการเปรียบเทียบหลายรายการ) ค่อนข้างยากกว่าที่จะประสบความสำเร็จเนื่องจากการเล่นกับความแปรปรวนที่ใหญ่กว่าและเล็กกว่าหรือน้อยกว่า ในทำนองเดียวกันกับการทดสอบสองตัวอย่างทั่วไป

อย่างไรก็ตามเรายังมีเครื่องมือในการจัดการจำนวนกลุ่มและระดับความสำคัญ หากเราเลือกกลุ่มมากขึ้นและมีระดับความสำคัญน้อยลงอีกครั้งก็จะค่อนข้างตรงไปตรงมาเพื่อระบุกรณีและปัญหา นี่คือหนึ่ง:

ใช้แปดกลุ่มด้วย $n_i=2$. กำหนดค่าในสี่กลุ่มแรกเป็น (2,2.5) และในสี่กลุ่มสุดท้ายเป็น (3.5,4) และรับ $\alpha=0.0025$(พูด). จากนั้นเราจะมีค่า F ที่สำคัญ:

> summary(aov(values~ind,gs2))
            Df Sum Sq Mean Sq F value  Pr(>F)   
ind          7      9   1.286   10.29 0.00191 
Residuals    8      1   0.125                   

แต่ค่า p ที่เล็กที่สุดในการเปรียบเทียบแบบคู่ไม่มีความหมายที่ระดับ:

> with(gs2,pairwise.t.test(values,ind,p.adjust.method="none"))

        Pairwise comparisons using t tests with pooled SD 

data:  values and ind 

   g1     g2     g3     g4     g5     g6     g7    
g2 1.0000 -      -      -      -      -      -     
g3 1.0000 1.0000 -      -      -      -      -     
g4 1.0000 1.0000 1.0000 -      -      -      -     
g5 0.0028 0.0028 0.0028 0.0028 -      -      -     
g6 0.0028 0.0028 0.0028 0.0028 1.0000 -      -     
g7 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 -     
g8 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 1.0000

P value adjustment method: none 

Summary: I believe that this is possible, but very, very unlikely. The difference will be small, and if it happens, it's because an assumption has been violated (such as homoscedasticity of variance).

Here's some code that seeks out such a possibility. Note that it increments the seed by 1 each time it runs, so that the seed is stored (and the search through seeds is systematic).

stopNow <- FALSE
counter <- 0
while(stopNow == FALSE) {
  counter <- counter + 1
  print(counter)
  set.seed(counter)
  x <- rep(c(0:5), 100)
  y <- rnorm(600) + x * 0.01
  df  <-as.data.frame( cbind(x, y))
  df$x <- as.factor(df$x)
  fit <- (lm(y ~ x, data=df))
  anovaP <- anova(fit)$"Pr(>F)"[[1]]
       minTtestP <- 1
      for(loop1 in c(0:5)){
        for(loop2 in c(0:5)) {
          newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y)$p.value
      minTtestP <- min(minTtestP, newTtestP )    
      }
   }

  if(minTtestP > 0.05 & anovaP < 0.05) stopNow <- TRUE 
  cat("\nminTtestP = ", minTtestP )
  cat("\nanovaP = ", anovaP )
  cat("\nCounter = ", counter, "\n\n" )
}

Searching for a significant R2 and no non-significant t-tests I have found nothing up to a seed of 18,000. Searching for a lower p-value from R2 than from the t-tests, I get a result at seed = 323, but the difference is very, very small. It's possible that tweaking the parameters (increasing the number of groups?) might help. The reason that the R2 p-value can be smaller is that when the standard error is calculated for the parameters in the regression, all groups are combined, so the standard error of the difference is potentially smaller than in the t-test.

I wondered if violating heteroscedasticity might help (as it were). It does. If I use

y <- (rnorm(600) + x * 0.01) * x * 5

To generate the y, then I find a suitable result at seed = 1889, where the minimum p-value from the t-tests is 0.061 and the p-value associated with R-squared is 0.046.

If I vary the group sizes (which increases the effect of violation of heteroscedasticity), by replacing the x sampling with:

x <- sample(c(0:5), 100, replace=TRUE)

I get a significant result at seed = 531, with the minimum t-test p-value at 0.063 and the p-value for R2 at 0.046.

If I stop correcting for heteroscedasticity in the t-test, by using:

newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y, var.equal = TRUE)$p.value

My conclusion is that this is very unlikely to occur, and the difference is likely to be very small, unless you have violated the homoscedasticity assumption in regression. Try running your analysis with a robust/sandwich/whatever you want to call it correction.

It's entirely possible:

• One or more pairwise t-test is signfiicant but the overall F-test isn't
• The overall F-test is significant but none of the pairwise t-test is

The overall F test tests all contrasts simultaneously. As such, it must be less sensitive (less statistical power) to individual contrasts (eg: a pairwise test). The two tests are closely related to each other but they are not reporting exactly the same thing.

As you can see, the textbook recommendation of not doing planned comparisons unless the overall F-test is significant is not always correct. In fact, the recommendation may prevent us from finding significant differences because the overall F test has less power than planned comparisons for testing the specific differences.