การตรวจสอบสติ: p-value ไปได้น้อยแค่ไหน?

ฉันใช้การทดสอบ ranksum เพื่อเปรียบเทียบค่ามัธยฐานของทั้งสองตัวอย่าง (คน ) และได้พบว่าพวกเขามีความแตกต่างอย่างมีนัยสำคัญด้วย: ฉันควรจะสงสัยว่าค่าขนาดเล็กเช่นนี้หรือไม่หรือฉันควรกำหนดให้มีค่าสถิติสูงที่เกี่ยวข้องกับการมีกลุ่มตัวอย่างขนาดใหญ่มาก? มีสิ่งใดที่เป็นค่าต่ำอย่างน่าสงสัยหรือไม่?พี$n=120000$p = 1.12E-207$p$$p$

P-ค่าบนคอมพิวเตอร์มาตรฐาน (โดยใช้มาตรฐาน IEEE ลอยแม่นยำสอง) จะได้รับที่ต่ำเป็นประมาณ 303 สิ่งเหล่านี้สามารถคำนวณได้อย่างถูกต้องตามกฎหมายเมื่อขนาดผลมีขนาดใหญ่และ / หรือข้อผิดพลาดมาตรฐานต่ำ ค่าของคุณหากคำนวณด้วยการแจกแจงแบบ T หรือแบบปกติจะสอดคล้องกับขนาดเอฟเฟกต์ของข้อผิดพลาดมาตรฐานประมาณ 31 ข้อ โปรดจำไว้ว่าข้อผิดพลาดมาตรฐานมักจะขยายด้วยรากที่สองของnซึ่งสะท้อนถึงความแตกต่างของค่าเบี่ยงเบนมาตรฐานน้อยกว่า 0.09 (สมมติว่าตัวอย่างทั้งหมดเป็นอิสระ) ในแอปพลิเคชันส่วนใหญ่จะไม่มีอะไรน่าสงสัยหรือผิดปกติเกี่ยวกับความแตกต่างดังกล่าว$10^{-303}$$n$

การตีความค่า p ดังกล่าวเป็นอีกเรื่องหนึ่ง การดูตัวเลขที่มีขนาดเล็กเพียงหรือแม้แต่10 - 10เป็นความน่าจะเป็นที่เกินขอบเขตของเหตุผลเนื่องจากทุกวิธีที่ความเป็นจริงมีแนวโน้มที่จะเบี่ยงเบนจากตัวแบบความน่าจะเป็นที่การคำนวณ p-value นี้ ทางเลือกที่ดีคือการรายงาน p-value เป็นน้อยกว่าเกณฑ์ที่เล็กที่สุดที่คุณรู้สึกแบบมีเหตุผลสามารถสนับสนุน: มักจะอยู่ระหว่าง0.01และ0.0001$10^{-207}$$10^{-10}$$0.01$$0.0001$

ไม่มีอะไรน่าสงสัย - ค่า p ต่ำมากอย่างเช่นคุณเป็นเรื่องธรรมดาเมื่อขนาดของกลุ่มตัวอย่างมีขนาดใหญ่ ตามที่ระบุไว้โดยทั่วไปค่า p-value ดังกล่าวจะถูกรายงานว่ามีค่าน้อยกว่าเกณฑ์ (เช่น <0.001)

สิ่งหนึ่งที่ต้องระวังคือ p-values ​​จะบอกคุณว่าความแตกต่างของค่ามัธยฐานนั้นมีนัยสำคัญทางสถิติหรือไม่ ไม่ว่าความแตกต่างจะมีความสำคัญเพียงพอในขนาดหรือไม่นั้นเป็นสิ่งที่คุณจะต้องตัดสินใจเช่นสำหรับชุดตัวอย่างขนาดใหญ่ความแตกต่างเล็กน้อยในค่าเฉลี่ย / ค่ามัธยฐานอาจมีนัยสำคัญทางสถิติ แต่อาจไม่ได้มีความหมายมากนัก

ค่า p สามารถรับค่าเป็น 0

$\theta$$\mathcal{H}_0: \theta = 1$$X=1.1$