ค่าที่แน่นอนของ 'p-value' ไม่มีความหมายหรือไม่?

ฉันได้พูดคุยกับนักสถิติย้อนกลับไปเมื่อปี 2552 ซึ่งเขากล่าวว่าค่าที่แน่นอนของ p-value นั้นไม่เกี่ยวข้อง: สิ่งเดียวที่สำคัญคือไม่ว่ามันจะสำคัญหรือไม่ก็ตาม เช่นผลลัพธ์หนึ่งจะไม่สำคัญกว่าอีก ตัวอย่างของคุณอาจมาจากประชากรเดียวกันหรือไม่ก็ได้

ฉันมีคุณสมบัติบางอย่างกับสิ่งนี้ แต่บางทีฉันสามารถเข้าใจอุดมการณ์:

1. ขีด จำกัด 5% นั้นเป็นกฎเกณฑ์นั่นคือ p = 0.051 นั้นไม่มีนัยสำคัญและ p = 0.049 คือไม่ควรเปลี่ยนข้อสรุปของการสังเกตหรือการทดสอบของคุณจริงๆแม้ว่าผลลัพธ์หนึ่งรายการจะสำคัญ

   เหตุผลที่ทำให้ตอนนี้ขึ้นมาก็คือตอนนี้ฉันกำลังศึกษาปริญญาโทด้านชีวสารสนเทศศาสตร์และหลังจากพูดคุยกับผู้คนในภาคสนามดูเหมือนว่าจะมีความมุ่งมั่นที่จะได้รับค่า p ที่แน่นอนสำหรับสถิติทุกชุดที่พวกเขาทำ ตัวอย่างเช่นหากพวกเขา 'บรรลุ' ค่า p ของ p <1.9 × 10 ^-12พวกเขาต้องการแสดงให้เห็นว่าผลลัพธ์ของพวกเขามีนัยสำคัญอย่างไรและผลลัพธ์นี้เป็นข้อมูลที่ยอดเยี่ยม ปัญหานี้เป็นตัวอย่างที่มีคำถามเช่น: เหตุใดฉันจึงไม่สามารถรับค่า p น้อยกว่า 2.2e-16 ได้ โดยที่พวกเขาต้องการบันทึกค่าที่บ่งชี้ว่าโดยบังเอิญเพียงอย่างเดียวนี่จะน้อยกว่า 1 ในล้านล้าน แต่ฉันเห็นความแตกต่างเล็กน้อยในการแสดงให้เห็นว่าผลลัพธ์นี้จะเกิดขึ้นน้อยกว่า 1 ในล้านล้านเมื่อเทียบกับ 1 ในพันล้าน

2. ฉันรู้สึกซาบซึ้งที่ p <0.01 แสดงให้เห็นว่ามีโอกาสน้อยกว่า 1% ที่จะเกิดขึ้นในขณะที่ p <0.001 บ่งชี้ว่าผลลัพธ์เช่นนี้ไม่น่าเป็นไปได้มากไปกว่าค่า p-a ดังกล่าวข้างต้น แตกต่างกันอย่างไร หลังจากพวกเขามีทั้งค่า p ที่สำคัญ วิธีเดียวที่ฉันสามารถจินตนาการได้ว่าต้องการบันทึกค่า p-value ที่แน่นอนคือระหว่างการแก้ไข Bonferroni โดยที่เกณฑ์เปลี่ยนไปเนื่องจากจำนวนการเปรียบเทียบที่ทำจึงลดข้อผิดพลาดประเภท I แต่ถึงอย่างนั้นทำไมคุณถึงต้องการแสดงค่า p ที่มีขนาด 12 ออเดอร์น้อยกว่าขีด จำกัด ที่มีนัยสำคัญ?

3. และไม่ใช้การแก้ไข Bonferroni ในตัวเองโดยพลการเล็กน้อยเช่นกัน? ในแง่ที่ว่าการแก้ไขเริ่มแรกนั้นถูกมองว่าเป็นแบบอนุรักษ์นิยมมากดังนั้นจึงมีการแก้ไขอื่น ๆ ที่เราสามารถเลือกที่จะเข้าถึงระดับนัยสำคัญที่ผู้สังเกตการณ์สามารถใช้สำหรับการเปรียบเทียบหลาย ๆ แต่ด้วยเหตุนี้ไม่ได้เป็นจุดที่บางสิ่งบางอย่างกลายเป็นตัวแปรสำคัญโดยขึ้นอยู่กับสถิติที่นักวิจัยต้องการใช้ สถิติควรเปิดกว้างสำหรับการตีความหรือไม่?

โดยสรุปสถิติไม่ควรเป็นแบบอัตนัยน้อยลง (แม้ว่าฉันเดาว่าความต้องการที่จะทำให้เกิดอัตวิสัยนั้นเป็นผลมาจากระบบหลายตัวแปร) แต่ท้ายที่สุดฉันต้องการคำอธิบายบางอย่าง: สิ่งที่สำคัญกว่าอย่างอื่นหรือไม่? และ p <0.001 จะเพียงพอหรือไม่ในการพยายามบันทึกค่า p ที่แน่นอน

1. อัตราข้อผิดพลาดการปฏิเสธประเภท 1 / เท็จ$\alpha=.05$$\alpha=.051$$p$

   $p$$\ge.05$$p$$p$fail toreject

2. $p$$p$$p$

   $p$

3. $\alpha$

   $p$

fail toreject$p$- ค่าที่ต้องรายงาน (และทำไม R วางขั้นต่ำไว้ที่ 2.22e-16?) "- ดีกว่าคำตอบสำหรับรุ่นของคำถามที่คุณเชื่อมโยงกับ Stack Overflow!

<sup>ข้อมูลอ้างอิง
- Johnson, VE (2013) มาตรฐานที่ปรับปรุงใหม่สำหรับหลักฐานทางสถิติ กิจการของ National Academy of Sciences, 110 (48), 19313–19317 แปลจากhttp://www.pnas.org/content/110/48/19313.full.pdf
- Lew, MJ (2013) ถึง P หรือไม่ถึง P: ตามลักษณะเชิงประจักษ์ของค่า P และตำแหน่งในการอนุมานทางวิทยาศาสตร์ arXiv: 1311.0081 [stat.ME] แปลจากhttp://arxiv.org/abs/1311.0081</sup>

สำหรับฉันแล้วดูเหมือนว่าถ้าคุณค่ามีความหมายคุณค่าที่แท้จริงของมันก็มีความหมาย

ค่า p ตอบคำถามนี้:

หากในประชากรที่สุ่มตัวอย่างนี้สมมุติฐานว่างเป็นจริงความน่าจะเป็นที่จะได้รับสถิติทดสอบอย่างน้อยที่สุดเท่าที่มากที่สุดเท่าที่เราได้รับในตัวอย่างคืออะไร?

สิ่งที่เกี่ยวกับคำนิยามนี้ทำให้ค่าที่แน่นอนไร้ความหมาย?

นี่เป็นคำถามที่แตกต่างจากคำถามเกี่ยวกับค่าที่สุดของ p ปัญหาเกี่ยวกับข้อความที่เกี่ยวข้องกับ p ที่มี 0 หลายตัวนั้นเกี่ยวกับว่าเราสามารถประมาณค่า p ในค่าสุดขีดได้อย่างไร เนื่องจากเราไม่สามารถทำได้ดีมากมันจึงไม่มีเหตุผลที่จะใช้การประมาณที่แม่นยำของ p นี่เป็นเหตุผลเดียวกันที่เราไม่ได้บอกว่า p = 0.0319281010012981 เราไม่ทราบตัวเลขสุดท้ายเหล่านั้นด้วยความมั่นใจ

ข้อสรุปของเราควรแตกต่างกันหรือไม่ถ้า p <0.001 มากกว่า p <0.05 หรือเพื่อใช้ตัวเลขที่แม่นยำข้อสรุปของเราควรแตกต่างกันหรือไม่ถ้า p = 0.00023 มากกว่า p = 0.035

ฉันคิดว่าปัญหาอยู่ที่ว่าเราจะสรุปสิ่งต่าง ๆ เกี่ยวกับ p อย่างไร เราพูดว่า "สำคัญ" หรือ "ไม่สำคัญ" ตามระดับที่กำหนด หากเราใช้ระดับเหล่านี้ตามอำเภอใจแล้วข้อสรุปของเราจะแตกต่างกัน แต่นี่ไม่ใช่วิธีที่เราควรจะคิดเกี่ยวกับสิ่งเหล่านี้ เราควรดูน้ำหนักของหลักฐานและการทดสอบทางสถิติเป็นเพียงส่วนหนึ่งของหลักฐานนั้น ฉันจะเสียบ "MAGIC criteria" ของ Robert Abelson อีกครั้ง:

ขนาด - เอฟเฟกต์ใหญ่แค่ไหน?

ข้อต่อ - มันระบุไว้อย่างแม่นยำแค่ไหน? มีข้อยกเว้นมากมายหรือไม่?

Generality - ใช้กับกลุ่มใด?

ความน่าสนใจ - ผู้คนจะสนใจหรือไม่

ความน่าเชื่อถือ - เหมาะสมหรือไม่

มันคือการรวมกันของสิ่งเหล่านี้ที่มีความสำคัญ โปรดทราบว่า Abelson ไม่ได้กล่าวถึงค่า p เลยแม้ว่าพวกเขาจะเข้ามาเป็นลูกผสมขนาดและความประกบ