p-values ​​หลอกลวงเมื่อใด

เงื่อนไขข้อมูลที่เราควรระวังคืออะไรค่า p อาจไม่ใช่วิธีที่ดีที่สุดในการตัดสินใจนัยสำคัญทางสถิติ มีปัญหาประเภทใดบ้างที่เข้าหมวดนี้หรือไม่

คุณกำลังถามเกี่ยวกับData Dredgingซึ่งเป็นสิ่งที่เกิดขึ้นเมื่อทำการทดสอบสมมติฐานจำนวนมากกับชุดข้อมูลหรือทดสอบสมมติฐานกับชุดข้อมูลที่แนะนำโดยข้อมูลเดียวกัน

โดยเฉพาะอย่างยิ่งตรวจสอบอันตรายสมมติฐานหลายและทดสอบสมมติฐานแนะนำโดยข้อมูล

การแก้ปัญหาคือการใช้ชนิดของการแก้ไขบางอย่างสำหรับอัตราการค้นพบเท็จหรืออัตราความผิดพลาด Familywiseเช่นวิธีการของSchefféหรือ (มากโรงเรียนเก่า) Bonferroni แก้ไข

ในวิธีที่ค่อนข้างเข้มงวดน้อยกว่ามันอาจช่วยกรองการค้นพบของคุณตามช่วงความเชื่อมั่นสำหรับอัตราส่วนอัตราต่อรอง (OR) สำหรับผลลัพธ์ทางสถิติแต่ละรายการ หากช่วงความเชื่อมั่น 99% สำหรับอัตราส่วนอัตราต่อรองคือ 10-12 ดังนั้น OR คือ <= 1 ด้วยความน่าจะเป็นที่น้อยมากโดยเฉพาะถ้าขนาดตัวอย่างมีขนาดใหญ่เช่นกัน หากคุณพบอะไรเช่นนี้มันอาจจะเป็นผลที่ดีแม้ว่ามันจะออกมาจากการทดสอบสมมติฐานหลายล้าน

คุณไม่ควรพิจารณาค่า p-out นอกบริบท

จุดหนึ่งที่ค่อนข้างพื้นฐาน (ดังที่แสดงโดยxkcd ) คือคุณต้องพิจารณาว่าคุณทำแบบทดสอบกี่ครั้ง เห็นได้ชัดว่าคุณไม่ควรตกใจที่จะเห็น p <0.05 สำหรับการทดสอบหนึ่งจาก 20 การทดสอบแม้ว่าสมมติฐานว่างจะเป็นจริงทุกครั้ง

ตัวอย่างที่ลึกซึ้งยิ่งขึ้นนี้เกิดขึ้นในฟิสิกส์พลังงานสูงและเป็นที่รู้จักกันเป็นผลกระทบลักษณะอื่น ๆ พื้นที่พารามิเตอร์ที่ใหญ่ขึ้นที่คุณค้นหาสัญญาณที่อาจเป็นตัวแทนของอนุภาคใหม่มีโอกาสมากขึ้นที่คุณจะเห็นสัญญาณที่ชัดเจนซึ่งเป็นเพียงความผันผวนแบบสุ่ม

สิ่งหนึ่งที่คุณควรระวังคือขนาดตัวอย่างที่คุณใช้ ตัวอย่างที่มีขนาดใหญ่มากเช่นนักเศรษฐศาสตร์ที่ใช้ข้อมูลสำมะโนจะนำไปสู่ค่า p ที่ลดลง กระดาษนี้"ใหญ่เกินไปที่จะล้มเหลว: ตัวอย่างขนาดใหญ่และปัญหาค่า p"ครอบคลุมปัญหาบางอย่าง