ทำไมการทดสอบสมมติฐานบ่อย ๆ จึงลำเอียงในการปฏิเสธสมมติฐานว่างด้วยตัวอย่างที่มีขนาดใหญ่เพียงพอ?

ฉันแค่อ่านบทความนี้เกี่ยวกับปัจจัย Bayes สำหรับปัญหาที่ไม่เกี่ยวข้องอย่างสมบูรณ์เมื่อฉันสะดุดกับข้อนี้

การทดสอบสมมติฐานด้วย Bayes factor นั้นแข็งแกร่งกว่าการทดสอบสมมติฐานบ่อยๆเนื่องจากรูปแบบ Bayesian หลีกเลี่ยงอคติการเลือกรูปแบบประเมินหลักฐานที่สนับสนุนสมมติฐานว่างรวมถึงความไม่แน่นอนของแบบจำลองและช่วยให้แบบจำลองที่ไม่ซ้อนกันต้องถูกเปรียบเทียบ มีตัวแปรตามเหมือนกัน) นอกจากนี้การทดสอบที่มีนัยสำคัญบ่อยครั้งกลายเป็นความลำเอียงในการปฏิเสธสมมติฐานว่างด้วยขนาดตัวอย่างที่มีขนาดใหญ่เพียงพอ [เน้นเพิ่ม]

ผมเคยเห็นการเรียกร้องนี้มาก่อนในคาร์ล Friston 2012 กระดาษใน NeuroImageที่เขาเรียกมันว่าการเข้าใจผิดของการอนุมานคลาสสิก

ฉันมีปัญหาเล็กน้อยในการค้นหาบัญชีการสอนอย่างแท้จริงว่าทำไมเรื่องนี้จึงควรเป็นจริง โดยเฉพาะฉันสงสัยว่า:

1. ทำไมสิ่งนี้เกิดขึ้น
2. วิธีการป้องกันมัน
3. ความล้มเหลวนั้นวิธีการตรวจสอบ

คำตอบของคำถามที่ 1:นี้เกิดขึ้นเนื่องจาก -value กลายเป็นพลขนาดเล็กเพิ่มขึ้นขนาดของกลุ่มตัวอย่างในการทดสอบ frequentist สำหรับความแตกต่าง (เช่นการทดสอบกับสมมติฐานของไม่แตกต่างกัน / รูปแบบบางส่วนของความเสมอภาค) เมื่อมีความแตกต่างที่แท้จริงว่าเท่ากับศูนย์ , เมื่อเทียบกับศูนย์โดยพลการใกล้เคียงกับศูนย์ไม่เป็นจริง (ดูความเห็นของ Nick Stauner ต่อ OP) -value กลายเป็นขนาดเล็กโดยพลการเพราะข้อผิดพลาดของสถิติทดสอบ frequentist โดยทั่วไปลดลงด้วยขนาดของกลุ่มตัวอย่างที่มีผลที่สุดที่แตกต่างอย่างมีนัยสำคัญให้อยู่ในระดับที่กำหนดเองที่มีขนาดของกลุ่มตัวอย่างขนาดใหญ่พอ Cosma Shalizi เขียนเกี่ยวกับเรื่องนี้อย่างสุภาพ$p$$p$

คำตอบสำหรับคำถามที่ 2:ภายในกรอบการทดสอบสมมติฐาน frequentist หนึ่งสามารถป้องกันการนี้โดยไม่ได้ทำให้อนุมาน แต่เพียงผู้เดียวเกี่ยวกับการตรวจสอบความแตกต่าง ตัวอย่างเช่นหนึ่งสามารถรวมการหาข้อสรุปเกี่ยวกับความแตกต่างและความเท่าเทียมกันเพื่อที่หนึ่งไม่ได้รับการยินยอม (หรือมหันต์!) ภาระการพิสูจน์ในหลักฐานของผลกระทบกับหลักฐานของการขาดของผลกระทบ หลักฐานการขาดผลกระทบมาจากตัวอย่างเช่น:

1. การทดสอบด้านเดียวสองรายการเพื่อความเท่าเทียมกัน (TOST)
2. การทดสอบที่ทรงพลังที่สุดสม่ำเสมอเพื่อความเท่าเทียมกันและ
3. ช่วงความเชื่อมั่นเข้าใกล้ความเท่าเทียม (เช่นถ้า$1-2\alpha$$\alpha$

สิ่งที่วิธีการเหล่านี้ใช้ร่วมกันทั้งหมดเป็นการตัดสินใจเบื้องต้น เกี่ยวกับขนาดของเอฟเฟกต์ที่สร้างความแตกต่างที่เกี่ยวข้องและสมมติฐานว่างในกรอบของความแตกต่างอย่างน้อยใหญ่เท่ากับสิ่งที่ถือว่ามีความเกี่ยวข้อง

$_{0}^{+}$$_{0}^{-}$

สังเกตุมุมบนซ้าย: การทดสอบแบบเอาชนะเป็นสิ่งที่ใช่คุณปฏิเสธสมมติฐานว่างไม่แตกต่างกัน แต่คุณยังปฏิเสธสมมติฐานว่างเปล่าของความแตกต่างที่เกี่ยวข้องดังนั้นใช่มีความแตกต่าง แต่คุณมีการตัดสินใจก่อนว่าคุณไม่สนใจ มันเพราะมันเล็กเกินไป

ตอบคำถาม 3:ดูคำตอบที่ 2

การทดสอบเป็นประจำกับกลุ่มตัวอย่างจำนวนมากไม่แสดงอคติต่อการปฏิเสธสมมติฐานว่างถ้าสมมติฐานว่างเป็นจริง หากสมมติฐานของการทดสอบนั้นถูกต้องและสมมติฐานว่างนั้นเป็นจริงดังนั้นไม่มีความเสี่ยงของกลุ่มตัวอย่างขนาดใหญ่ที่นำไปสู่การปฏิเสธสมมติฐานว่างมากกว่าตัวอย่างขนาดเล็ก หากโมฆะไม่เป็นความจริงเราก็ยินดีที่จะปฏิเสธมันดังนั้นความจริงที่ว่ากลุ่มตัวอย่างขนาดใหญ่มักจะปฏิเสธโมฆะเท็จบ่อยกว่าตัวอย่างเล็ก ๆ ไม่ใช่ 'อคติ' แต่พฤติกรรมที่เหมาะสม

ความกลัวของ 'การทดลองที่เกินกำลัง' นั้นขึ้นอยู่กับการสันนิษฐานว่ามันไม่ใช่เรื่องดีที่จะปฏิเสธสมมติฐานว่างเมื่อมันเกือบเป็นจริง แต่ถ้ามันเกือบจะเป็นจริงแล้วมันผิดจริง! ปฏิเสธออกไป แต่อย่าล้มเหลวในการสังเกตขนาดและผลของการสังเกต อาจมีขนาดเล็กมากและไม่คุ้มค่าในการพิจารณาอย่างจริงจัง แต่การตัดสินใจในเรื่องนั้นจะต้องทำหลังจากพิจารณาข้อมูลจากภายนอกการทดสอบสมมติฐาน