เหตุใดค่า p ต่ำกว่าจึงไม่มีหลักฐานมากขึ้นต่อโมฆะ? ข้อโต้แย้งจาก Johansson 2011

Johansson (2011) ใน " ทักทายสิ่งที่เป็นไปไม่ได้: ค่า p, หลักฐานและโอกาส " (ที่นี่ยังเชื่อมโยงไปยังวารสาร ) ระบุว่าค่าต่ำกว่ามักจะถือว่าเป็นหลักฐานที่แข็งแกร่งต่อโมฆะ Johansson หมายความว่าคนจะพิจารณาหลักฐานโมฆะจะแข็งแกร่งถ้าทดสอบทางสถิติของพวกเขาออกมาพี -value ของ0.01 , กว่าถ้าทดสอบทางสถิติของพวกเขาออกมาพี -value ของ0.45 Johansson แสดงเหตุผลสี่ประการที่ทำให้ไม่สามารถใช้ค่าpเป็นหลักฐานต่อโมฆะ:$p$$p$$0.01$$p$$0.45$$p$

1. ถูกกระจายอย่างสม่ำเสมอภายใต้สมมติฐานว่างดังนั้นจึงไม่สามารถระบุหลักฐานสำหรับโมฆะได้$p$
2. เป็นเงื่อนไขเพียงอย่างเดียวในสมมติฐานว่างและดังนั้นจึงไม่เหมาะสมที่จะหาหลักฐานเชิงปริมาณเพราะหลักฐานมักจะสัมพันธ์กันในความรู้สึกของการเป็นหลักฐานสำหรับหรือต่อต้านสมมติฐานที่เกี่ยวข้องกับสมมติฐานอื่น$p$
3. กำหนดความน่าจะเป็นในการได้มาซึ่งหลักฐาน (ให้เป็นโมฆะ) แทนที่จะเป็นความแข็งแกร่งของหลักฐาน$p$
4. ขึ้นอยู่กับข้อมูลที่ไม่ได้ตรวจสอบและความตั้งใจส่วนตัวและดังนั้นจึงมีนัยถึงการตีความที่เป็นหลักฐานว่ากำลังของหลักฐานที่สังเกตได้นั้นขึ้นอยู่กับสิ่งที่ไม่ได้เกิดขึ้นและความตั้งใจส่วนตัว$p$

น่าเสียดายที่ฉันไม่สามารถเข้าใจได้อย่างง่ายจากบทความของ Johansson ให้ฉัน -value ของ0.01แสดงว่ามีโอกาสน้อย null เป็นจริงกว่าP -value ของ0.45 เหตุใดค่าpต่ำกว่าจึงไม่มีหลักฐานที่ดีกว่าต่อโมฆะ? $p$$0.01$$p$$0.45$$p$

การประเมินข้อโต้แย้งส่วนตัวของฉัน:

1. $p$$p$
2. $p$
3. $p$
4. $p$$p$$p$$p$$p<.05$

$p$$p$

$s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

$q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$$P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

เหตุผลที่ข้อโต้แย้งเช่น Johansson ถูกนำกลับมาใช้ใหม่บ่อยครั้งดูเหมือนจะเกี่ยวข้องกับความจริงที่ว่าค่า P เป็นดัชนีของหลักฐานต่อโมฆะ แต่ไม่ใช่การวัดของหลักฐาน หลักฐานมีมิติมากกว่าตัวเลขใด ๆ ที่สามารถวัดได้ดังนั้นจึงมีแง่มุมของความสัมพันธ์ระหว่างค่า P กับหลักฐานที่ผู้คนสามารถพบได้ยาก

ฉันได้ตรวจทานข้อโต้แย้งหลายข้อที่ Johansson ใช้ในบทความที่แสดงความสัมพันธ์ระหว่างค่า P กับค่าความน่าจะเป็นและหลักฐานดังนี้: http://arxiv.org/abs/1311.0081 แต่น่าเสียดายที่กระดาษได้ถูกปฏิเสธถึงสามครั้ง แม้ว่าข้อโต้แย้งและหลักฐานสำหรับพวกเขายังไม่ได้รับการข้องแวะ (ดูเหมือนว่าเป็นเรื่องน่ารังเกียจที่ผู้ตัดสินที่แสดงความคิดเห็นเหมือนของ Johansson ไม่ใช่คนผิด)

กำลังเพิ่มคำตอบที่ดีของ @ Momo:

$1$

Johansson กำลังพูดถึงค่า p จากการทดลองสองแบบที่แตกต่างกันหรือไม่? ถ้าเป็นเช่นนั้นการเปรียบเทียบค่า p อาจเป็นการเปรียบเทียบแอปเปิ้ลกับเนื้อแกะ หากการทดสอบ "A" เกี่ยวข้องกับกลุ่มตัวอย่างจำนวนมากแม้ความแตกต่างเล็กน้อยที่ไม่สำคัญอาจมีนัยสำคัญทางสถิติ หากการทดสอบ "B" เกี่ยวข้องกับตัวอย่างเพียงไม่กี่ตัวอย่างความแตกต่างที่สำคัญอาจไม่มีนัยสำคัญทางสถิติ ยิ่งแย่ลง (นั่นคือเหตุผลที่ฉันพูดว่าเนื้อแกะและไม่ใช่ส้ม) เครื่องชั่งอาจเทียบไม่ได้เลย (psi ในหนึ่งและ kwh ในที่อื่น ๆ )