มันคือทั้งหมดในครอบครัว แต่เรารวมถึงกฎหมายด้วยหรือไม่

สมมติว่าฉันมีการทดสอบด้วยสองปัจจัยขึ้นไป ANOVA โดยรวมถูกสร้างขึ้นจากนั้นเราติดตามด้วยชุดการทดสอบpost hocสองชุดขึ้นไปพูดเปรียบเทียบหลาย ๆ อย่าง คำถามของฉันเกี่ยวกับขนาดใหญ่และจำนวนครอบครัวที่ควรใช้เป็นพื้นฐานสำหรับการปรับหลายหลากของการทดสอบหลังการโพสต์นี้

ตัวอย่างคือชุดข้อมูล warp-break จากหนังสือของ Tukey บน EDA มีสองปัจจัย: wool(ที่สองระดับ) และtension(ที่สามระดับ) ตาราง ANOVA คือ:

Source       Df Sum Sq Mean Sq F value    Pr(>F)    
wool          1  450.7  450.67  3.7653 0.0582130
tension       2 2034.3 1017.13  8.4980 0.0006926
wool:tension  2 1002.8  501.39  4.1891 0.0210442
Residuals    48 5745.1  119.69  

เห็นได้ชัดว่ามีความจำเป็นต้องมีปฏิสัมพันธ์ในรูปแบบ ดังนั้นเราจึงตัดสินใจทำการเปรียบเทียบระดับของแต่ละปัจจัยโดยคงปัจจัยอื่นไว้ ผลลัพธ์อยู่ด้านล่างโดยมีคำอธิบายประกอบที่จะอ้างอิงในภายหลัง:

*** Pairwise comparisons of tension for each wool ***
*** All combined: Family T ***

wool = A:   *** Family T|A ***
 contrast   estimate       SE df t.ratio
 L - M    20.5555556 5.157299 48   3.986
 L - H    20.0000000 5.157299 48   3.878
 M - H    -0.5555556 5.157299 48  -0.108

wool = B:   *** Family T|B ***
 contrast   estimate       SE df t.ratio
 L - M    -0.5555556 5.157299 48  -0.108
 L - H     9.4444444 5.157299 48   1.831
 M - H    10.0000000 5.157299 48   1.939


*** Comparison of wool for each tension ***
*** All combined: Family W ***

tension = L:   *** Family W|L ***
 contrast  estimate       SE df t.ratio
 A - B    16.333333 5.157299 48   3.167

tension = M:   *** Family W|M ***
 contrast  estimate       SE df t.ratio
 A - B    -4.777778 5.157299 48  -0.926

tension = H:   *** Family W|H ***
 contrast  estimate       SE df t.ratio
 A - B     5.777778 5.157299 48   1.120

ฉันคิดว่ามีวิธีปฏิบัติที่แตกต่างกันออกไปและฉันสงสัยว่าสิ่งใดเป็นเรื่องที่พบได้บ่อยที่สุด ในการคำนวณปรับ$P$ ค่าเราควรทำการปรับหลายหลากสำหรับ ...

1. แต่ละครอบครัวที่เล็กที่สุดทั้งห้า (T | A, T | B, ... , W | H) แยกกันหรือไม่ (หมายเหตุ - 3 ตระกูลสุดท้ายมีเพียงการทดสอบเดียวดังนั้นจะไม่มีการปรับหลายหลากสำหรับการทดสอบเหล่านั้น)
2. ครอบครัวใหญ่แต่ละครอบครัว (T, 6 การทดสอบและ W, 3 การทดสอบ) แยกกันหรือไม่?
3. ทั้งหมด $6+3=9$ การทดสอบถือเป็นครอบครัวใหญ่หรือไม่?

ฉันสนใจทั้งในสิ่งที่คนทั่วไปทำ (แม้ว่าพวกเขาจะไม่ได้คิดมาก) และทำไม (ถ้ามี) สองสิ่งที่ฉันอาจกล่าวถึงคือ:

• มี 3 $F$การทดสอบในตาราง ANOVA ฉันจำไม่ได้ว่ามีใครพิจารณาการปรับความหลากหลายของการทดสอบ ANOVA หากเป็นเช่นนั้นและคุณแนะนำตัวเลือก (3) คุณไม่สอดคล้องหรือไม่?
• หากเราทำการทดลองที่มีขนาดเล็กลงซึ่งการทดสอบทั้งหมดมีประสิทธิภาพน้อยกว่าก็เป็นไปได้ที่การโต้ตอบจะไม่สำคัญทำให้มีการเปรียบเทียบโพสต์เฉพาะกิจน้อยจำนวนเล็กน้อยเท่านั้น ยิ่งกว่านั้นค่าเฉลี่ยเล็กน้อยอาจมีค่า SEs น้อยกว่าค่าเฉลี่ยของเซลล์ในการทดสอบขนาดใหญ่ หากนอกจากนี้การปรับหลายหลากเป็นแบบอนุรักษ์นิยมน้อยเราอาจมีผลลัพธ์ "สำคัญ" มากขึ้นโดยมีข้อมูลน้อยกว่าที่เรามีกับข้อมูลมากขึ้น

สนใจที่จะเห็นสิ่งที่ผู้คนพูด ...

ยังไม่มีใครตอบดังนั้นฉันจะหยุดพูดเรื่องนี้

เป็นความคิดของฉัน (และฉันชอบที่จะได้ยินความคิดของผู้อื่น) ว่าคุณควรจะปรับการทดสอบแบบเต็ม 9 ในกรณีนี้ สมมติว่าเราใช้การแก้ไขอัตราความผิดพลาดที่เหมาะสำหรับครอบครัว

• เราได้ข้อสรุปจากการทดสอบทั้ง 9 ข้อพร้อมกัน นั่นคือการสแกนรายการและมองหาสิ่งที่สำคัญ

• เพื่อให้สามารถทำสิ่งนี้ได้เรากำลังพิจารณาอัตราความผิดพลาดที่เหมาะสำหรับครอบครัวโดยรวมที่ 5% ทางเลือกคือการแก้ไขกลุ่มเป็น 5% FWER นี่จะหมายความว่าเมื่อทำการตีความเราไม่สามารถตีความการทดสอบร่วมกันและจะต้องดูการทดสอบ 6 ครั้งแรกและคิดว่ามีโอกาส 5% ของการบวกที่ผิดพลาดจากนั้นตรวจสอบการทดสอบเพิ่มเติมแต่ละครั้ง ที่มีโอกาส 5% ของบวกเท็จสำหรับแต่ละกลุ่ม IMO ยูทิลิตี้ของการแก้ไขการทดสอบหลายรายการคือเราสามารถดึงการอนุมานจากการทดสอบหลายครั้งพร้อมกัน ดูเหมือนว่ามีเหตุผลมากกว่าที่เราควรตรวจสอบการทดสอบทั้ง 9 รายการและรู้ว่ามีโอกาส 5% ของการบวกปลอมแทนที่จะต้องตรวจสอบแยกต่างหากคล้ายกับการแก้ไขไม่ได้เลย

• ปัญหาของการปรับสำหรับทั้งสาม $F$- การทดสอบใน ANOVA นั้นน่าสนใจ แต่ในความคิดของฉันมีความเกี่ยวข้องเฉพาะในกรณีที่คุณวางแผนที่จะเลือกรูปแบบที่คุณยอมรับเฉพาะตัวทำนายที่สำคัญเท่านั้น นี่อาจเป็นการอ่านที่ดีโดยเฉพาะข้อสรุปคือการอ่านที่กระชับและยอดเยี่ยมมาก ฉันขโมยลิงค์ที่จากนี้คำถาม

• ประเด็นของคุณเกี่ยวกับการรวมเอฟเฟกต์การโต้ตอบเข้าด้วยกันเป็นเรื่องที่น่าสนใจและฉันคิดว่าคุณสามารถกำหนดได้ว่าเป็นการเลือกรุ่น คุณจะรวมเอฟเฟกต์ปฏิสัมพันธ์ไว้หรือไม่ถ้ามันมีนัยสำคัญ? ในกรณีนี้อาจจะเป็น$F$ สถิติใน ANOVA ดั้งเดิมควรมีการปรับเพื่ออำนวยความสะดวกในการเลือกตัวทำนายที่สำคัญ

โดยรวมฉันคิดว่าถ้าคุณวาดการอนุมานพร้อมกันจากกลุ่มคุณต้องพิจารณาการทดสอบแต่ละครั้งในกลุ่มนั้นเพื่อการแก้ไข ไม่เช่นนั้นความเข้าใจมาตรฐานของอัตราความผิดพลาดของกลุ่มควบคุมจะไม่คงที่และมันค่อนข้างยากที่จะติดตามความคิดของสิ่งที่ได้รับการปรับและสิ่งที่ไม่ได้ ในความคิดของฉันดีกว่ามากที่จะทำการทดสอบทั้งหมดที่รับผิดชอบและเก็บอัตราข้อผิดพลาดที่เหมาะกับครอบครัวไว้ตามเกณฑ์ที่กำหนด

หากคุณมีข้อโต้แย้งใด ๆ ฉันชอบที่จะได้ยินพวกเขาและฉันแน่ใจว่าบางคนจะไม่เห็นด้วยกับบางสิ่งในที่นี่ สนใจมากที่ได้ยินความคิดของผู้อื่น