การตีความค่า p-value ในการทดสอบสมมติฐาน

ฉันเพิ่งมาข้ามกระดาษ"การไม่มีความหมายของสมมติฐานสำคัญการทดสอบ" เจฟฟ์กิลล์ (1999) ผู้เขียนยกความเข้าใจผิดที่พบบ่อยเกี่ยวกับการทดสอบสมมติฐานและค่า p ซึ่งฉันมีสองคำถามที่เฉพาะเจาะจง:

P-ค่าเป็นเทคนิคซึ่งเป็นออกแหลมกระดาษโดยทั่วไปไม่ได้บอกเราอะไรเกี่ยวกับ , นอกเสียจากว่าเราจะรู้ว่าการแจกแจงส่วนเพิ่มซึ่งไม่ค่อยเกิดขึ้นในการทดสอบสมมติฐาน "ทุกวัน" เมื่อเราได้ค่า p-value ขนาดเล็กและ "ปฏิเสธสมมติฐานว่าง" อะไรคือข้อความที่น่าจะเป็นที่เราทำเพราะเราไม่สามารถพูดอะไรเกี่ยวกับ ? $P({\rm observation}|H_{0})$ $P(H_{0}|{\rm observation})$ $P(H_{0}|{\rm observation})$
คำถามที่สองเกี่ยวข้องกับข้อความเฉพาะจากหน้า 6 (652) ของกระดาษ:

เนื่องจากค่า p-value หรือช่วงของค่า p ที่ระบุโดยดวงดาวไม่ได้ถูกตั้งค่ามาก่อนจึงไม่ใช่ความน่าจะเป็นในระยะยาวที่จะทำให้เกิดข้อผิดพลาดประเภทที่ 1 แต่โดยทั่วไปถือว่าเป็นเช่นนั้น

ใครสามารถช่วยอธิบายสิ่งที่มีความหมายโดยคำสั่งนี้

hypothesis-testing p-value

— gung - Reinstate Monica
แหล่งที่มา

TY สำหรับการอ้างอิงถึงกระดาษ

— Ludovic Kuty

@ezbentley: บางทีมันอาจจะน่าสนใจที่จะลองดูคำตอบของฉัน: stats.stackexchange.com/questions/166323/…

คำตอบ:

(โดยทางเทคนิคค่า P คือความน่าจะเป็นในการสังเกตข้อมูลอย่างน้อยที่สุดเท่าที่สังเกตได้จริงโดยให้สมมติฐานว่างไว้)

ไตรมาสที่ 1 การตัดสินใจที่จะปฏิเสธสมมติฐานว่างบนพื้นฐานของ P-value ขนาดเล็กมักจะขึ้นอยู่กับ 'Fisher' disjunction ': เหตุการณ์ที่เกิดขึ้นได้ยากหรือสมมติฐานว่างเป็นเท็จ ผลก็คือความหายากของเหตุการณ์คือสิ่งที่ค่า P บอกคุณมากกว่าความน่าจะเป็นที่เป็นโมฆะ

ความน่าจะเป็นที่เป็นโมฆะเป็นเท็จสามารถรับได้จากข้อมูลการทดลองโดยใช้ทฤษฎีบทของเบย์เท่านั้นซึ่งต้องระบุความน่าจะเป็น 'ก่อนหน้า' ของสมมติฐานว่าง (สันนิษฐานว่าปลาหมายถึงอะไร

ไตรมาสที่ 2 ส่วนนี้ของคำถามของคุณนั้นยากกว่าที่คิด มีความสับสนอย่างมากเกี่ยวกับค่า P และอัตราความผิดพลาดซึ่งน่าจะเป็นสิ่งที่ปลาอ้างถึงด้วย "แต่โดยทั่วไปถือว่าเป็นเช่นนั้น" การรวมกันของค่า P- ของชาวประมงกับอัตราความผิดพลาดของ Neyman-Pearsonian ถูกเรียกว่าเป็นการยั่วยุที่ไม่ต่อเนื่องกันและเป็นที่แพร่หลายอย่างมาก ไม่มีคำตอบสั้น ๆ เพียงพอที่นี่อย่างสมบูรณ์ แต่ฉันสามารถชี้ให้คุณดูเอกสารดีๆสักสองสามข้อ (ใช่ข้อนี้เป็นของฉัน) ทั้งสองจะช่วยให้คุณเข้าใจกระดาษของเหงือก

Hurlbert, S. , & Lombardi, C. (2009) การล่มสลายครั้งสุดท้ายของกรอบการตัดสินใจเชิงทฤษฎีของ Neyman-Pearson และการเพิ่มขึ้นของ neoFisherian Annales Zoologici Fennici, 46 (5), 311–349 (ลิงก์ไปยังกระดาษ)

Lew, MJ (2012) การปฏิบัติทางสถิติที่ไม่ถูกต้องในเภสัชวิทยา (และสาขาชีวการแพทย์พื้นฐานอื่น ๆ ): คุณอาจไม่รู้จัก P. British Journal of Pharmacology, 166 (5), 1559–1567 ดอย: 10.1111 / j.1476-5381.2012.01931.x (ลิงก์ไปยังกระดาษ)

— Michael Lew
แหล่งที่มา

ขอขอบคุณสำหรับการชี้แจง. มันเป็นเทคนิคที่ไม่ถูกต้องที่จะทำให้คำสั่งเช่น"the small p-value indicates that the sample mean(or regression coefficient, etc) is significantly different from zero"? แหล่งที่มาของความสับสนดูเหมือนว่าจะไม่มีการอ้างสิทธิ์ที่น่าจะเป็นจริงกับสมมติฐานว่างเมื่อเราพูดว่าโมฆะคือ "ปฏิเสธ"

@ezbentley นั้นขึ้นอยู่กับความหมายของคุณ คำนั้นไม่ค่อยมีความหมายมากนักในบริบทส่วนใหญ่เพราะมันถูกปนเปื้อนโดยลูกผสม Fisher-Neyman-Pearson ถ้าคุณได้ค่า P-value ที่น้อยมากมันก็ยุติธรรมที่จะบอกว่าค่าเฉลี่ยจริงอาจไม่เป็นศูนย์ แต่เป็นสิ่งสำคัญที่จะต้องบอกว่าค่าเฉลี่ยที่สังเกตได้นั้นเป็นอย่างไรและบ่งบอกถึงความแปรปรวน (SEM หรือช่วงความมั่นใจ) และ อย่าลืมบอกขนาดของตัวอย่างด้วย ค่า P ไม่ใช่ค่าทดแทนสำหรับขนาดของเอฟเฟกต์ที่สังเกตได้

— Michael Lew

ขอบคุณสำหรับคำอธิบาย ฉันต้องขุดลึกลงไปในกระบวนทัศน์ของฟิชเชอร์และเนย์แมน - เพียร์สัน

@Michael Lew: มันอาจจะน่าสนใจที่จะดูคำตอบของฉัน: stats.stackexchange.com/questions/166323/…

ย่อหน้าของคุณในไตรมาสที่ 1 อาจเป็นคำอธิบายที่ดีที่สุดของปัญหาที่ฉันเคยเห็น ขอขอบคุณ.

— Maxim.K

+1 ถึง @MichaelLew ที่ให้คำตอบที่ดีแก่คุณ บางทีฉันยังสามารถมีส่วนร่วมโดยให้วิธีคิดเกี่ยวกับ Q2 พิจารณาสถานการณ์ต่อไปนี้:

สมมติฐานว่างเป็นจริง (โปรดทราบว่าหากสมมติฐานว่างเปล่าไม่เป็นจริงจะไม่สามารถเกิดข้อผิดพลาดประเภท I และไม่ชัดเจนว่าค่ามีความหมายอย่างไร) $p$
$\alpha$ ได้รับการตั้งอัตภาพที่0.05 $0.05$
คำนวณ -value เป็น0.01 $p$ $0.01$

ตอนนี้ความน่าจะเป็นที่จะได้ข้อมูลมากหรือสูงกว่าข้อมูลของคุณคือ 1% (นั่นคือสิ่งที่ $p$ $p$ $0.02$ $p$ $0.04\bar{9}$ $p$ $\approx$ $\alpha$

$p$

— gung - Reinstate Monica
แหล่งที่มา

การทำงานในทุ่งนา (epi) ซึ่งบ่อยครั้งยากที่จะเชื่อว่าสมมติฐาน H_0 = 0 เป็นจริงฉันคิดว่าประเด็นนี้ถูกมองข้ามและสมควรได้รับความสนใจมากขึ้น

— boscovich

α

$\alpha$

+1 แต่ข้อเสนอแนะว่าความหมายของ P-value นั้นไม่ชัดเจนเมื่อ null เป็นเท็จทำให้เข้าใจผิด ยิ่งค่า P-value ยิ่งน้อยลงความคลาดเคลื่อนระหว่างค่า Null และค่าที่สังเกตได้ก็จะยิ่งมากขึ้น ยิ่งขนาดตัวอย่างใหญ่เท่าไรก็ยิ่งสามารถคาดเดาได้ว่าขนาดของเอฟเฟกต์จริงจะใหญ่กว่าขนาดเอฟเฟกต์ที่สังเกต มันมีประโยชน์มากที่จะต้องทราบว่าการทดสอบที่สำคัญนั้นคล้ายคลึงกับการประมาณ

— Michael Lew

@MichaelLew ฉันไม่แน่ใจว่า p-value หมายถึงสิ่งเหล่านี้ด้วยตัวเอง ร่วมกับ w / N (& โดยเฉพาะการถือ N คงที่) p ที่เล็กลงจะสอดคล้องกับความคลาดเคลื่อนที่ใหญ่กว่า b / t โมฆะ & สังเกต แล้วถึงแม้ที่มากขึ้นของสิ่งที่สามารถสรุปจาก P มากกว่าสิ่ง P หมายถึง มันก็เป็นความจริงที่ว่าขนาดของเอฟเฟ็กต์ที่สังเกตได้โดยไม่มีขนาดใหญ่ขึ้นควรใกล้เคียงกับ ES จริง แต่ก็ไม่ค่อยชัดเจนสำหรับฉันในสิ่งที่บทบาท p เล่นที่นั่น EG, w / a false null, ผลที่แท้จริงอาจยังเล็กมาก & w / ใหญ่ N เราคาดว่า ES ที่สังเกตจะใกล้ แต่ p อาจมีขนาดใหญ่

— gung - Reinstate Monica

...this fallacy shows up in statistics textbooks, as when Canavos and Miller (1999, p.255) stipulate: "If the null hypothesis is true, then a type I error occurs if (due to sampling error) the P-value is less than or equal to $alpha$"

α

$\alpha$

ฉันต้องการแสดงความคิดเห็นที่เกี่ยวข้องกับ "ความสำคัญของการทดสอบนัยสำคัญสมมุติฐานว่าง" แต่ไม่ตอบคำถามของ OP

$p$ $H_0$ $H_0\colon\{\theta=0\}$ $\theta=\epsilon$ $\epsilon$ $\epsilon$ $0$ $\epsilon$ $0$

— Stéphane Laurent
แหล่งที่มา

+1 ใช่ปัญหาจริงของการทดสอบสมมติฐานทั่วไปคือมันตอบคำถามที่คุณไม่สนใจคำตอบนั่นคือ "มีหลักฐานสำคัญของความแตกต่างหรือไม่" แทนที่จะเป็น "มีหลักฐานของความแตกต่างที่สำคัญหรือไม่? " แน่นอนว่าสิ่งที่ต้องการจริงๆคือ "ความน่าจะเป็นที่สมมติฐานการวิจัยของฉันเป็นจริงคืออะไร" แต่สิ่งนี้ไม่สามารถตอบได้ภายในกรอบการทำงานบ่อย การตีความที่ผิดปกติเกิดขึ้นจากความพยายามในการรักษาแบบทดสอบบ่อยครั้งในเทอม

— Dikran Marsupial

มันไม่ควรแยกความหมายของค่า P และขนาดตัวอย่าง ค่า P ที่มีขนาดเล็กลงหมายถึงขนาดของเอฟเฟกต์ที่ใหญ่กว่าที่ขนาดตัวอย่างใด ๆ และสำหรับค่า P ใด ๆ โดยเฉพาะขนาดตัวอย่างที่มีขนาดใหญ่บ่งชี้ว่าขนาดของเอฟเฟกต์จริงอาจใกล้เคียงกับขนาดเอฟเฟกต์ที่สังเกต การทดสอบความสำคัญควรคำนึงถึงในบริบทของการประมาณค่าไม่ใช่ข้อผิดพลาด ตัวอย่างที่มีขนาดใหญ่กว่าจะให้ข้อมูลเพิ่มเติมเสมอ - วิธีการตีความมันขึ้นอยู่กับผู้ทดลอง ตัวอย่างการร้องเรียนผลกระทบเล็กน้อยที่มีขนาดใหญ่เป็นเพียงปัญหาสำหรับการทดสอบสมมติฐานของ Neyman-Pearsonian

— Michael Lew