p = 5.0% สำคัญหรือไม่

วันนี้ฉันถูกถามว่า p-value 0.05 (ตรง) ถือว่ามีนัยสำคัญ (ให้ alpha = 5%) หรือไม่ ฉันไม่ทราบคำตอบและ Google เปิดทั้งสองคำตอบ: (a) ผลลัพธ์มีความสำคัญถ้า p น้อยกว่า 5% และ (b) ถ้า p น้อยกว่า 5% หรือเท่ากับ 5%

แน่นอนว่าไม่มีเว็บไซต์ใดที่อ้างถึงใครเลย ทำไมหนึ่ง - มันเป็นความรู้ทั่วไปและ 5% เป็นสิ่งที่ไม่มีเหตุผล แต่นั่นไม่ได้ช่วยให้ฉันบอกนักเรียนถึงสิ่งที่ต้องจำ

ดังนั้นนี่คือคำถามที่หมดหวังของฉันในการทดสอบสมมติฐาน: ถ้าค่า p เป็นค่าอัลฟา - ฉันจะพิจารณาผลลัพธ์ที่มีนัยสำคัญหรือไม่? และการอ้างอิงเชิงอำนาจในกรณีนี้คืออะไร?

ขอบคุณมาก

ออกจากประเด็นการปฏิบัติบางอย่าง (เช่นขอบเขตที่เป็นตัวอย่างโดยพลการ) คำจำกัดความของระดับนัยสำคัญและค่า p-value ทำให้คำตอบสำหรับคำถามนี้ไม่คลุมเครือ$\alpha$

ซึ่งก็คือการพูดอย่างเป็นทางการกฎการปฏิเสธคือการที่คุณปฏิเสธเมื่อ α$p = \alpha$

มันควรจะสำคัญสำหรับกรณีที่ไม่ต่อเนื่องเท่านั้น แต่ในสถานการณ์นั้นถ้าคุณไม่ปฏิเสธเมื่ออัตราความผิดพลาดประเภทที่ 1 ของคุณจะไม่เป็นα !$p=\alpha$$\alpha$

(เท่าที่ฉันกังวลไม่มีการอ้างอิง 'เผด็จการ' คุณต้องจับกับทั้ง Neyman-Pearson และวิธีการประมงเพื่อทดสอบสมมติฐานและมันเป็นสิ่งที่พัฒนาขึ้นตามกาลเวลา)

มีข้อความสถิติที่ดีจำนวนหนึ่งที่อธิบายการทดสอบสมมติฐานอย่างถูกต้อง

คำจำกัดความของ p-value ได้รับอย่างถูกต้องในประโยคแรกของบทความ Wikipedia ที่เกี่ยวข้อง *:

p-value คือความน่าจะเป็นที่จะได้รับสถิติทดสอบอย่างน้อยที่สุดเท่าที่สังเกตได้จริงโดยสมมติว่าสมมติฐานว่างเป็นจริง

* (และไม่ใช่วิกิพีเดียไม่ใช่ผู้มีอำนาจฉันแค่บอกว่าคำจำกัดความถูกต้อง)

สำหรับความเรียบง่ายลองยึดจุดว่าง มันทำหน้าที่เพื่อให้ได้จุดผ่านโดยไม่ต้องยุ่งกับน้ำที่มีปัญหาเพิ่มเติม

ตอนนี้ระดับนัยสำคัญคืออัตราความผิดพลาดประเภทที่เลือก นี่คืออัตราที่คุณเลือกสมมติฐานว่างที่จะถูกปฏิเสธเมื่อเป็นจริง นั่นคือมันเป็นสัดส่วนของเวลาที่คุณควรปฏิเสธโมฆะ ตอนนี้พิจารณาสถิติการทดสอบมีการกระจายที่ไม่ต่อเนื่อง - เวลาเพียงหน้าของว่าαเป็นไปได้จริง ** (โดยทั่วไปจะเป็นกรณีที่อัลฟาที่เกิดขึ้นจริงจะแตกต่างจากสิ่งที่ดีและรอบเช่น 5%)$\alpha$$p$ $\alpha$

** ฉันเดาว่าฉันกำลัง จำกัด การสนทนาของฉันไว้เฉพาะสถิติการทดสอบแบบกระจายหรือไม่ต่อเนื่องล้วนๆ ในกรณีที่หลากหลายคุณสามารถทราบได้ว่าการสนทนาแบบไม่ต่อเนื่องของฉันมีผลอย่างไร (ในกรณีที่มีการใช้)

เช่นลองทดสอบเครื่องหมายสองด้านด้วยพูด ระดับนัยสำคัญที่ทำได้ใกล้เคียงที่สุดถึง 5% คือ 4.904% ลองเลือกα = 4.904 % (หรือจะแม่นยำกว่านี้คือ$n=17$$\alpha = 4.904\%$ )$\frac{137500}{2^{17}}$

ดังนั้นเมื่อเป็นจริงสิ่งที่อัตราการปฏิเสธถ้าเราปฏิเสธเมื่อP = α ? เราสามารถทำงานได้ เป็น 4.904% - เป็นαที่เราเลือก$H_0$$p=\alpha$$\alpha$

ในทางตรงกันข้ามเมื่อเป็นจริงสิ่งที่อัตราการปฏิเสธถ้าเราไม่ปฏิเสธเมื่อP = α ? เราสามารถทำงานได้ เพียง 1.27% มันเป็นวิธีที่น้อยกว่าα นั่นไม่ใช่การทดสอบที่เราสมัคร!$H_0$$p=\alpha$$\alpha$

นั่นคือการทดสอบของเรา (ค่อนข้างชัดแจ้ง!) มีคุณสมบัติที่ต้องการหากอยู่ในเขตการปฏิเสธ$p=\alpha$

[ตอนนี้ลองพิจารณาสถานการณ์ของคุณ ค่า p ของคุณเป็นจริง 5% จริงหรือ ฉันเดิมพันว่ามันไม่ได้เป็นอย่างนั้นด้วยเหตุผลหลายประการ แต่ในกรณีใด ๆ คุณสามารถระบุอย่างเป็นทางการได้ว่าเป็นการปฏิเสธ]$p=\alpha$

หากคุณอธิบายกฎการปฏิเสธของคุณล่วงหน้าและแสดงให้เห็นว่า (หากสมมติฐานมีความพึงพอใจ) มันมีระดับนัยสำคัญที่ต้องการนั่นก็คงไม่จำเป็นต้องมีการอ้างอิง

กฎการปฏิเสธเป็นเพียงคำสั่งเกี่ยวกับการที่ค่าสถิติทดสอบจะทำให้คุณจะปฏิเสธ 0 มันเทียบเท่ากับการกำหนดขอบเขตการปฏิเสธ (ซึ่งจะเห็น Casella และ Berger, อนุมานทางสถิติ , p346 ซึ่งกำหนดภูมิภาคการปฏิเสธคำในแง่ธรรมดา)$H_0$

หนังสือเล่มเดียวกันกำหนด p-values ​​(p364) ในแง่ที่แตกต่างกับวิกิพีเดีย (แต่เป็นความหมายเดียวกัน) - นั่นคือมันกำหนดว่าเป็น (สำหรับชุดข้อมูลที่กำหนด), เล็กที่สุดที่จะนำไปสู่การปฏิเสธโมฆะ$\alpha$

(หากคุณมีหมายเลขหน้าแตกต่างกันอาจมีการเปลี่ยนแปลง แต่มีดัชนีเพื่อให้คุณสามารถค้นหาคำศัพท์ได้โปรดระวังคุณอาจต้องดูรายการภายใต้ 'การทดสอบสมมติฐาน' หรือสิ่งที่คล้ายกันในดัชนีเพื่อค้นหา 'ภูมิภาคปฏิเสธ')

อืมลองทำหนังสือเล่มอื่นจากชั้นวาง Wackerly, Mendenhall & Scheaffer คณิตศาสตร์สถิติด้วยแอปพลิเคชันรุ่นที่ 5กำหนดขอบเขตการปฏิเสธใน p412 และ p-value (def เดียวกันกับ C&B) ใน p431

คำสารภาพที่น่าสนใจที่ฉันได้เรียนรู้ในชั้นเรียนวิชาชีวสถิติในช่วงแรกจากอาจารย์คือระดับนัยสำคัญ 0.05 นั้นมาถึงฉันทามติมากกว่าความจริงสีทอง ตั้งแต่นั้นมาฉันได้เห็นวรรณกรรมที่จีบด้วยระดับนัยสำคัญ 0.05 เช่น "ใกล้" ถึงการค้นพบที่โดดเด่นของการศึกษาและฉันเคยได้ยินข้อโต้แย้งว่าระดับนัยสำคัญ 0.05 อาจไม่สามารถนำไปใช้กับการวิจัยทุกสาขา จากที่กล่าวมาฉันพบการประมาณจุดและช่วงความมั่นใจว่ามีข้อมูลมากกว่าระดับนัยสำคัญ นี่คือบทความที่น่าสนใจเกี่ยวกับเรื่องนี้ (สำหรับฉันอยู่แล้ว)

ค่าของ p มักจะถูกตั้งค่าสำหรับฉันทามติตามที่ได้กล่าวไว้ก่อนหน้านี้ เพื่อที่จะสามารถพูดได้ว่าสิ่งที่สำคัญเราต้องค้นหาค่าของ p ที่สอดคล้องกับขนาดเอฟเฟกต์ขนาดตัวอย่างและความเข้มงวดที่คุณต้องการให้เป็นข้อมูลของคุณ สิ่งนี้เรียกว่าการวิเคราะห์พลังงาน (เป็นฟิลด์ย่อยภายในสถิติ) มีหลายคนที่ไม่รู้ตัวหรือไม่ได้ใช้เพราะมันไม่ตรงไปตรงมา นี่ไม่ใช่การบอกว่ามันเป็นอย่างที่มันเป็น เราควรทำการศึกษาแบบนี้เสมอเพื่อทำการอนุมานที่มีความหมายจริงๆ