ช่วงความมั่นใจแคบ ๆ เกี่ยวกับผลกระทบที่ไม่สำคัญสามารถแสดงหลักฐานว่าเป็นโมฆะ

เห็นได้ชัดว่าผิดพลาดที่จะคิดว่าความล้มเหลวในการปฏิเสธโมฆะก็หมายความว่าเป็นโมฆะ แต่ในกรณีที่เป็นโมฆะไม่ได้ปฏิเสธและช่วงความเชื่อมั่นที่สอดคล้องกัน (CI) เป็นที่แคบและแน่นิ่ง 0 นี้ไม่ได้ให้หลักฐานสำหรับโมฆะ?

ฉันเป็นคนหนึ่งในใจสองคน: ใช่ในทางปฏิบัติสิ่งนี้จะแสดงหลักฐานว่าผลกระทบมีมากหรือน้อยกว่า 0 อย่างไรก็ตามในกรอบการทดสอบสมมุติฐานที่เข้มงวด ดังนั้นความหมายของ CI คืออะไรเมื่อการประเมินจุดของมันไม่สำคัญ? มันยังใช้ไม่ได้สำหรับการอนุมานหรือสามารถนำมาใช้ในตัวอย่างก่อนหน้านี้เพื่อหาปริมาณหลักฐานสำหรับโมฆะ?

สนับสนุนคำตอบที่มีการอ้างอิงเชิงวิชาการ

ในระยะสั้น: ใช่

ดังที่ Andy W เขียนไว้การสรุปว่าพารามิเตอร์เท่ากับค่าที่ระบุ (ในกรณีของคุณขนาดผลกระทบเท่ากับศูนย์) เป็นเรื่องของการทดสอบความเท่าเทียมกัน

ในกรณีของคุณช่วงเวลาความเชื่อมั่นที่แคบลงนี้ในความเป็นจริงอาจบ่งบอกว่าผลกระทบนั้นเป็นศูนย์จริงซึ่งหมายความว่าสมมติฐานว่างของความเท่าเทียมอาจถูกปฏิเสธ นัยสำคัญที่เทียบเท่าที่$1-\alpha$ระดับมักจะแสดงโดยสามัญ $1-2\alpha$- ช่วงความมั่นใจที่ตั้งอยู่อย่างสมบูรณ์ภายในช่วงเวลาที่เท่าเทียมกันที่กำหนดไว้ล่วงหน้า ช่วงเวลาที่เท่าเทียมกันนี้คำนึงถึงว่าคุณสามารถเพิกเฉยต่อความเบี่ยงเบนเล็ก ๆ ได้จริงนั่นคือขนาดเอฟเฟกต์ทั้งหมดภายในช่วงเวลาที่เท่าเทียมกันนี้จะถูกพิจารณาว่าเทียบเท่ากันจริง (การทดสอบทางสถิติของความเท่าเทียมกันเป็นไปไม่ได้)

โปรดดูสเตฟานเวลค์เรื่อง "การทดสอบสมมติฐานทางสถิติของความเท่าเทียมและความไม่เสื่อม" สำหรับการอ่านเพิ่มเติมซึ่งเป็นหนังสือที่ครอบคลุมที่สุดในเรื่องนี้

สมมุติฐานว่างเปล่าเป็นตัวอย่างของความหมายของ"แบบจำลองทั้งหมดผิด แต่บางส่วนก็มีประโยชน์" พวกมันอาจมีประโยชน์มากที่สุดหากไม่ได้ถูกนำมาใช้อย่างแท้จริงและไม่อยู่ในบริบท - นั่นคือสิ่งสำคัญที่ต้องจำจุดประสงค์ของการ epistemic ของค่า Null หากสามารถปลอมแปลงได้ซึ่งเป็นวัตถุประสงค์ที่ตั้งใจไว้ทางเลือกนั้นมีประโยชน์มากขึ้นโดยการเปรียบเทียบแม้ว่าจะยังไม่มีความรู้ หากคุณปฏิเสธโมฆะคุณกำลังบอกว่าผลกระทบอาจไม่เป็นศูนย์ (หรืออะไรก็ตาม - สมมติฐานว่างสามารถระบุค่าอื่น ๆ สำหรับการปลอมแปลงได้เช่นกัน) ... แล้วมันจะเป็นอย่างไร?

ขนาดผลกระทบที่คุณคำนวณคือการประมาณจุดที่ดีที่สุดของพารามิเตอร์ประชากร โดยทั่วไปแล้วโอกาสที่ควรจะดีเท่า ๆ กันคือการประเมินค่าสูงไปหรือต่ำไป แต่โอกาสที่มันจะเป็นศูนย์บูลส์ตานั้นมีน้อยมากเนื่องจากความคิดเห็นของ @ Glen_b บ่งบอกถึง ถ้ามีโชคชะตาที่แปลกประหลาด (หรือจากการก่อสร้าง - ไม่ทางใดก็ทางหนึ่งฉันคิดว่าเรากำลังพูดถึงสมมุติฐาน?) การประเมินของคุณตรงไปตรงมา$0.\bar 0$นี่ยังไม่เป็นหลักฐานมากนักว่าพารามิเตอร์นั้นไม่แตกต่างกันในช่วงความเชื่อมั่น ความหมายของช่วงความเชื่อมั่นจะไม่เปลี่ยนแปลงตามความสำคัญของการทดสอบสมมติฐานใด ๆ ยกเว้นมากเท่าที่จะเปลี่ยนตำแหน่งและความกว้างในลักษณะที่เกี่ยวข้อง

ในกรณีที่คุณไม่คุ้นเคยกับการคาดการณ์ขนาดลักษณะพิเศษของตัวอย่างจากประชากร (จำลอง) ที่สมมติฐานว่างเป็นจริง (หรือในกรณีที่คุณยังไม่เห็นมันและอยู่ที่นี่เพื่อความบันเทิงทางสถิติเล็กน้อย ) ตรวจสอบการเต้นรำของเจฟฟ์คัมมิง$p$ค่า ในกรณีที่ช่วงความมั่นใจนั้นไม่แคบพอสำหรับรสนิยมของคุณฉันพยายามจำลองของตัวเองใน R โดยใช้ตัวอย่างที่สร้างแบบสุ่มเพียงแค่ขี้อาย$n=1\rm M$ แต่ละจาก $\mathcal N(0,1)$. ฉันลืมที่จะตั้งค่าเมล็ดพันธุ์ แต่ตั้งค่าx=c()แล้ววิ่งx=append(x,replicate(500,cor(rnorm(999999),rnorm(999999))))หลายต่อหลายครั้งที่ฉันใส่ใจก่อนที่จะจบคำตอบนี้ซึ่งทำให้ฉันตัวอย่าง 6,000 ตัวอย่างในที่สุด นี่คือฮิสโตแกรมและพล็อตความหนาแน่นที่ใช้hist(x,n=length(x)/100)และplot(density(x))ตามลำดับ:

$\ \ \ \ $

อย่างที่คาดไว้มีหลักฐานว่ามีผลกระทบที่ไม่ใช่ศูนย์ที่หลากหลายจากกลุ่มตัวอย่างแบบสุ่มของประชากรที่มีผลเป็นศูนย์อย่างแท้จริงและการประมาณการเหล่านี้กระจายโดยทั่วไปมากหรือน้อยรอบพารามิเตอร์จริง ( skew(x)= -.005, kurtosis(x)= 2.85) ลองนึกภาพคุณเท่านั้นที่รู้คุณค่าของการประมาณของคุณจากตัวอย่าง$n=1\rm M$ไม่ใช่พารามิเตอร์ที่แท้จริง: ทำไมคุณคาดหวังว่าพารามิเตอร์จะใกล้เคียงกับศูนย์มากกว่าที่คุณคาดการณ์ไว้แทนที่จะเป็นต่อไป ช่วงความมั่นใจของคุณอาจมีค่าเป็นโมฆะ แต่ค่า null นั้นไม่น่าเชื่อถือมากกว่าค่าของระยะทางเทียบเท่าจากขนาดเอฟเฟกต์ตัวอย่างในทิศทางตรงกันข้ามและค่าอื่น ๆ อาจมีความน่าเชื่อถือมากกว่านั้นโดยเฉพาะอย่างยิ่งจุดประเมินของคุณ!

หากในทางปฏิบัติคุณต้องการแสดงให้เห็นว่าเอฟเฟกต์มีค่ามากกว่าหรือน้อยกว่านั้นคุณต้องกำหนดว่าคุณจะเพิกเฉยต่อความสนใจมากหรือน้อยเพียงใด ด้วยตัวอย่างขนาดใหญ่เหล่านี้ที่ฉันจำลองขึ้นมาการประมาณขนาดที่ใหญ่ที่สุดที่ฉันสร้างขึ้นคือ$|r|=.004$. ด้วยตัวอย่างที่สมจริงมากขึ้น$n=999$ที่ใหญ่ที่สุดที่ฉันเจอในหมู่ $1\rm M$ ตัวอย่างคือ $|r|=.14$. ส่วนที่เหลือจะกระจายตามปกติดังนั้นสิ่งเหล่านี้ไม่น่าเป็นไปได้ แต่ประเด็นก็คือพวกมันไม่น่าเชื่อ

CI น่าจะมีประโยชน์สำหรับการอนุมานมากกว่า NHST โดยทั่วไป ไม่เพียง แต่แสดงให้เห็นว่าความคิดที่ไม่ดีอาจเป็นไปได้ที่จะสมมติว่าพารามิเตอร์นั้นมีขนาดเล็กมาก มันแสดงให้เห็นถึงความคิดที่ดีว่าพารามิเตอร์คืออะไร เรายังคงสามารถตัดสินใจได้ว่าสิ่งนี้จะเล็กน้อยหรือไม่ แต่ยังสามารถรับรู้ได้ว่ามันไม่สำคัญเพียงใด สำหรับการสนับสนุนต่อไปของช่วงความเชื่อมั่นให้ดูคัมมิง^{(2014 ,} 2013)

<sub>การอ้างอิง
- คัมมิง, กรัม (2013) ทำความเข้าใจเกี่ยวกับสถิติใหม่: ขนาดผลช่วงความเชื่อมั่นและ meta-analysis เลดจ์
- คัมมิง, กรัม (2014) สถิติใหม่: ทำไมและอย่างไร วิทยาศาสตร์จิตวิทยา, 25 (7), 7–29 แปลจากhttp://pss.sagepub.com/content/25/1/7.full.pdf+html</sub>