การทดสอบ t จะมีนัยสำคัญทางสถิติได้อย่างไรหากความแตกต่างเฉลี่ยเกือบ 0

ฉันกำลังพยายามเปรียบเทียบข้อมูลจากประชากร 2 คนเพื่อบอกว่าความแตกต่างระหว่างการรักษานั้นมีนัยสำคัญทางสถิติหรือไม่ ดูเหมือนว่าชุดข้อมูลจะกระจายตามปกติโดยมีความแตกต่างน้อยมากระหว่างสองชุด ความแตกต่างเฉลี่ยคือ 0.00017 ฉันทำการทดสอบแบบจับคู่โดยคาดหวังว่าฉันจะไม่ปฏิเสธสมมติฐานว่างที่ไม่ต่างกันระหว่างค่าเฉลี่ยอย่างไรก็ตามค่า t ที่คำนวณได้ของฉันนั้นสูงกว่าค่า t วิกฤตมาก

ฉันไม่เห็นเหตุผลที่จะเชื่อว่าคุณทำอะไรผิดพลาดเพียงเพราะการทดสอบนั้นมีนัยสำคัญแม้ว่าค่าเฉลี่ยจะแตกต่างกันเล็กน้อย ในการทดสอบแบบจับคู่ t ความสำคัญจะถูกขับเคลื่อนด้วยสามสิ่ง:

1. ขนาดของความแตกต่างของค่าเฉลี่ย
2. ปริมาณข้อมูลที่คุณมี
3. ค่าเบี่ยงเบนมาตรฐานของความแตกต่าง

ความแตกต่างของค่าเฉลี่ยของคุณนั้นเล็กมาก ๆ ในทางกลับกันคุณมีข้อมูลจำนวนพอสมควร (N = 335) ปัจจัยสุดท้ายคือส่วนเบี่ยงเบนมาตรฐานของความแตกต่าง ฉันไม่รู้ว่ามันคืออะไร แต่เมื่อคุณได้ผลลัพธ์ที่สำคัญมันปลอดภัยที่จะคิดว่ามันเล็กพอที่จะเอาชนะความแตกต่างของค่าเฉลี่ยเล็กน้อยกับปริมาณข้อมูลที่คุณมี เพื่อประโยชน์ในการสร้างสัญชาตญาณลองจินตนาการว่าความแตกต่างของการจับคู่ทุกครั้งในการศึกษาของคุณคือ 0.00017 จากนั้นค่าเบี่ยงเบนมาตรฐานของความแตกต่างจะเป็น 0 แน่นอนมันจะสมเหตุสมผลที่จะสรุปว่าการรักษานั้นนำไปสู่การลดลง อันเล็ก ๆ )

ตามที่ @whuber บันทึกไว้ในความคิดเห็นด้านล่างมันมีค่าที่ชี้ให้เห็นว่าในขณะที่ 0.00017 ดูเหมือนว่าหมายเลข qua จำนวนน้อยมากมันไม่จำเป็นต้องมีขนาดเล็กในแง่ที่มีความหมาย หากต้องการทราบว่าเราจะต้องรู้หลายสิ่งก่อนอื่นคือหน่วย หากหน่วยมีขนาดใหญ่มาก (เช่นปีกิโลเมตรและอื่น ๆ ) สิ่งที่ดูเหมือนว่าจะมีขนาดเล็กอาจมีความหมายที่มีขนาดใหญ่ในขณะที่ถ้าหน่วยมีขนาดเล็ก (เช่นวินาทีวินาทีหน่วยเซนติเมตร ฯลฯ ) ความแตกต่างนี้ก็ดูเล็กลง ประการที่สองแม้แต่การเปลี่ยนแปลงเล็กน้อยก็มีความสำคัญลองจินตนาการถึงวิธีการรักษาบางอย่าง (เช่นวัคซีน) ที่ราคาถูกมากง่ายต่อการจัดการกับประชากรทั้งหมดและไม่มีผลข้างเคียง มันอาจคุ้มค่าที่จะทำแม้ว่ามันจะช่วยชีวิตคนเพียงไม่กี่คนเท่านั้น

หากต้องการทราบว่าความแตกต่างมีขนาดใหญ่หรือเล็กจริง ๆ ต้องใช้การวัดขนาดหรือไม่ส่วนเบี่ยงเบนมาตรฐานคือการวัดขนาดหนึ่งและเป็นส่วนหนึ่งของสูตรทดสอบ t-test เพื่ออธิบายส่วนหนึ่งของมาตราส่วนนั้น

พิจารณาว่าคุณกำลังเปรียบเทียบความสูงของเด็กอายุ 5 ปีกับความสูงของเด็กอายุ 20 ปีหรือไม่ (มนุษย์พื้นที่ทางภูมิศาสตร์เดียวกัน ฯลฯ ) สัญชาตญาณบอกเราว่ามีความแตกต่างในทางปฏิบัติที่นั่นและหากความสูงวัดเป็นนิ้วหรือเซนติเมตรความแตกต่างจะดูมีความหมาย แต่ถ้าคุณแปลงความสูงเป็นกิโลเมตร หรือปีแสง จากนั้นความแตกต่างจะเป็นจำนวนน้อยมาก (แต่ก็ยังแตกต่างกัน) แต่ (ยกเว้นข้อผิดพลาดปัดเศษออก) การทดสอบ t จะให้ผลลัพธ์เดียวกันไม่ว่าจะวัดความสูงเป็นนิ้วเซนติเมตรหรือกิโลเมตร

ดังนั้นความแตกต่างของ 0.00017 อาจมีขนาดใหญ่ขึ้นอยู่กับขนาดของการวัด

$t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

.00001$t$

บางทีคุณอาจสนใจในความสำคัญเชิงปฏิบัติมากกว่าในการทดสอบนัยสำคัญสมมุติฐานว่าง ความสำคัญในทางปฏิบัติจะขึ้นอยู่กับความหมายของข้อมูลของคุณในบริบทมากกว่าความสำคัญทางสถิติ มันไม่ใช่เรื่องทางสถิติล้วนๆ ฉันอ้างถึงตัวอย่างที่มีประโยชน์ของหลักการนี้ในการตอบคำถามยอดนิยมที่นี่, รองรับมุมมองที่ยึดที่มั่นของค่า p :

$r=.03$

"เรื่องของชีวิตและความตาย" นี้เป็นขนาดของแอสไพรินที่มีผลต่ออาการหัวใจวายโดยทั่วไป - เป็นตัวอย่างที่ทรงพลังของความแตกต่างเล็ก ๆ น้อย ๆ ที่สอดคล้องกับความหมายที่สำคัญ คำถามอื่น ๆ อีกมากมายพร้อมคำตอบที่มั่นคงซึ่งคุณอาจได้รับประโยชน์จากลิงค์ที่นี่รวมถึง:

• ทำไม "สำคัญทางสถิติ" ไม่เพียงพอ?
• ในทางปฏิบัติกับนัยสำคัญทางสถิติ
• ความสำคัญในทางปฏิบัติโดยเฉพาะอย่างยิ่งกับร้อยละ: การวัดและเกณฑ์ "มาตรฐาน"

การอ้างอิง

Rosenthal, R. , Rosnow, RL, & Rubin, DB (2000) ความแตกต่างและขนาดที่มีผลในการวิจัยพฤติกรรม: วิธีการหาความสัมพันธ์ สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์

นี่คือตัวอย่างใน R ที่แสดงแนวคิดเชิงทฤษฎีในการดำเนินการ การทดลอง 10,000 ครั้งการพลิกเหรียญ 10,000 ครั้งที่มีความน่าจะเป็นที่ระดับหัว. 0001 เมื่อเทียบกับการทดลองแบบ 10,000 ครั้งที่พลิกเหรียญ 10,000 ครั้งที่มีความน่าจะเป็นที่ระดับหัว. 00011

t.test (rbinom (10,000, 10000, .0001), rbinom (10,000, 10000, .00011)

t = -8.0299, df = 19886.35, p-value = 1.03e-15 สมมติฐานทางเลือก: ความแตกต่างที่แท้จริงของค่าเฉลี่ยไม่เท่ากับ 0 95 ช่วงความเชื่อมั่นร้อยละ: -0.14493747 -0.08806253 การประมาณค่าตัวอย่าง: ค่าเฉลี่ยของค่าเฉลี่ยของ x 0.9898 1.1063

ความแตกต่างของค่าเฉลี่ยนั้นค่อนข้างใกล้กับ 0 ในแง่ของการรับรู้ของมนุษย์อย่างไรก็ตามมันแตกต่างกันอย่างมีนัยสำคัญทางสถิติมากกว่า 0