เราจำเป็นต้องมีการทดสอบระดับโลกก่อนการทดสอบแบบโพสต์เฉพาะกิจหรือไม่?

ฉันมักจะได้ยินว่าการทดสอบโพสต์เฉพาะกิจหลังจาก ANOVA สามารถใช้ได้เฉพาะในกรณีที่ ANOVA นั้นมีความสำคัญ

• อย่างไรก็ตามการทดสอบโพสต์เฉพาะกิจจะปรับค่าเพื่อให้อัตราการพิมพ์ผิดพลาดทั่วโลกอยู่ที่ 5% ใช่ไหม?$p$
• แล้วทำไมเราต้องมีการทดสอบระดับโลกก่อน

• หากเราไม่ต้องการการทดสอบระดับโลกคำศัพท์ "post hoc" ถูกต้องหรือไม่

• หรือมีการทดสอบหลังจบหลายแบบบางคนคิดว่าเป็นผลการทดสอบระดับโลกที่สำคัญและอื่น ๆ โดยไม่มีข้อสันนิษฐานนั้น?

เนื่องจากการทดสอบเปรียบเทียบหลายครั้งมักเรียกว่า 'การทดสอบหลังการทดสอบ' คุณคิดว่าการทดสอบนั้นมีเหตุผลตามการวิเคราะห์ความแปรปรวนทางเดียว อันที่จริงแล้วมันไม่ได้เป็นเช่นนั้น

" การปฏิบัติร่วมกันที่โชคร้ายคือการทำการเปรียบเทียบหลายครั้งเฉพาะเมื่อสมมติฐานของฮัลล์ของความเป็นเนื้อเดียวกันถูกปฏิเสธ " ( Hsu, หน้า 177 )

ผลลัพธ์ของการทดสอบหลังการทดสอบจะใช้ได้หรือไม่ถ้าค่า P โดยรวมของ ANOVA มากกว่า 0.05

น่าแปลกที่คำตอบคือใช่ ด้วยข้อยกเว้นหนึ่งข้อการทดสอบหลังการทดสอบจะใช้ได้แม้ว่า ANOVA โดยรวมจะไม่พบความแตกต่างอย่างมีนัยสำคัญระหว่างวิธีการ

ข้อยกเว้นคือการทดสอบเปรียบเทียบหลายรายการแรกที่คิดค้นการทดสอบความแตกต่างที่สำคัญของฟิชเชอร์ไลเฟอร์ (LSD) ที่ได้รับการป้องกัน ขั้นตอนแรกของการทดสอบ LSD ที่ได้รับการป้องกันคือการตรวจสอบว่า ANOVA โดยรวมปฏิเสธสมมติฐานว่างเปล่าของวิธีการที่เหมือนกันหรือไม่ หากไม่เป็นเช่นนั้นไม่ควรทำการเปรียบเทียบแต่ละรายการ แต่การทดสอบ LSD ที่ได้รับการป้องกันนี้ล้าสมัยแล้วและไม่แนะนำอีกต่อไป

เป็นไปได้หรือไม่ที่จะได้ผลลัพธ์ 'สำคัญ' จากการทดสอบเปรียบเทียบหลายครั้งแม้ว่า ANOVA โดยรวมจะไม่สำคัญหรือไม่?

ใช่มันเป็นไปได้ ข้อยกเว้นคือการทดสอบของ Scheffe มันเกี่ยวพันกับการทดสอบ F โดยรวม หาก ANOVA โดยรวมมีค่า P มากกว่า 0.05 การทดสอบของ Scheffe จะไม่พบการทดสอบหลังการทดสอบที่สำคัญ ในกรณีนี้การทดสอบการโพสต์ตาม ANOVA ที่ไม่สำคัญโดยรวมนั้นเป็นการเสียเวลา แต่จะไม่นำไปสู่ข้อสรุปที่ไม่ถูกต้อง แต่การทดสอบเปรียบเทียบหลายแบบอื่น ๆ สามารถค้นหาความแตกต่างอย่างมีนัยสำคัญ (บางครั้ง) แม้ว่า ANOVA โดยรวมจะไม่แสดงความแตกต่างอย่างมีนัยสำคัญระหว่างกลุ่ม

ฉันจะเข้าใจความแตกต่างที่ชัดเจนระหว่าง ANOVA ที่บอกว่าผลที่เกิดขึ้นหมายความว่าทุกกลุ่มมีความเหมือนกันและการทดสอบหลังพบความแตกต่าง?

การวิเคราะห์ความแปรปรวนทางเดียวโดยรวมทดสอบสมมติฐานว่างว่ากลุ่มการรักษาทั้งหมดมีค่าเฉลี่ยเท่ากันดังนั้นความแตกต่างใด ๆ ที่คุณสังเกตเห็นเกิดขึ้นเนื่องจากการสุ่มตัวอย่าง การทดสอบการโพสต์แต่ละครั้งจะทดสอบสมมติฐานว่างว่าสองกลุ่มนั้นมีค่าเฉลี่ยที่เหมือนกัน

การทดสอบการโพสต์จะเน้นมากขึ้นดังนั้นมีอำนาจในการค้นหาความแตกต่างระหว่างกลุ่มแม้เมื่อ ANOVA โดยรวมรายงานว่าความแตกต่างระหว่างค่าเฉลี่ยนั้นไม่มีนัยสำคัญทางสถิติ

ผลลัพธ์ของ ANOVA โดยรวมมีประโยชน์หรือไม่?

ANOVA ทดสอบสมมติฐานว่างโดยรวมว่าข้อมูลทั้งหมดมาจากกลุ่มที่มีวิธีการเหมือนกัน หากนั่นคือคำถามเชิงทดลองของคุณ - ข้อมูลแสดงหลักฐานที่น่าเชื่อถือว่าค่าเฉลี่ยนั้นไม่เหมือนกันหรือเปล่าแล้ว ANOVA เป็นสิ่งที่คุณต้องการ บ่อยครั้งที่คำถามทดสอบของคุณเน้นและตอบคำถามมากกว่าโดยการทดสอบเปรียบเทียบหลายรายการ (การทดสอบหลังการทดสอบ) ในกรณีเหล่านี้คุณสามารถเพิกเฉยต่อผลการวิเคราะห์โดยรวมและข้ามไปที่ผลการทดสอบภายหลังได้อย่างปลอดภัย

โปรดทราบว่าการคำนวณการเปรียบเทียบหลายรายการทั้งหมดใช้ผลลัพธ์ Mean-Square จากตาราง ANOVA ดังนั้นแม้ว่าคุณจะไม่สนใจเกี่ยวกับค่าของ F หรือค่า P การทดสอบหลังยังคงต้องการให้คำนวณตาราง ANOVA

(1) การทดสอบโพสต์เฉพาะกิจอาจหรืออาจไม่บรรลุอัตราความผิดพลาดระดับโลกที่ระบุเล็กน้อยขึ้นอยู่กับ (ก) ว่านักวิเคราะห์กำลังปรับจำนวนการทดสอบและ (b) เท่าที่การทดสอบโพสต์เฉพาะกิจนั้นมีความเป็นอิสระ อื่น การใช้การทดสอบระดับโลกครั้งแรกเป็นการป้องกันที่แข็งแกร่งต่อความเสี่ยงของการเปิดเผยข้อมูลที่สำคัญ "ที่สำคัญ" จากการสอดแนมข้อมูลหลังการปลอมแปลง

(2) มีปัญหาเรื่องพลังงาน เป็นที่ทราบกันดีว่าการทดสอบ ANOVA F ทั่วโลกสามารถตรวจจับความแตกต่างของวิธีการได้แม้ในกรณีที่ไม่มีการทดสอบทีเป็นรายบุคคลของคู่ของวิธีใดก็ตามที่จะให้ผลลัพธ์ที่สำคัญ กล่าวอีกนัยหนึ่งในบางกรณีข้อมูลสามารถเปิดเผยได้ว่าวิธีการจริงอาจแตกต่างกัน แต่ไม่สามารถระบุด้วยความมั่นใจที่เพียงพอซึ่งหมายถึงคู่ที่แตกต่างกัน