นี่คือคำถามการอภิปรายเกี่ยวกับจุดตัดของสถิติและวิทยาศาสตร์อื่น ๆ ฉันมักเผชิญปัญหาเดียวกัน: นักวิจัยในสาขาของฉันมักจะบอกว่าไม่มีผลเมื่อค่า p ไม่น้อยกว่าระดับนัยสำคัญ ในตอนแรกฉันมักจะตอบว่านี่ไม่ใช่วิธีการทดสอบสมมติฐาน เมื่อคำถามนี้เกิดขึ้นบ่อยครั้งฉันต้องการจะหารือเกี่ยวกับปัญหานี้กับนักสถิติที่มีประสบการณ์มากกว่า

ให้เราพิจารณาบทความล่าสุดในวารสารวิทยาศาสตร์จาก "กลุ่มสำนักพิมพ์ที่ดีที่สุด" Nature Communications Biology (มีหลายตัวอย่าง แต่ให้มุ่งเน้นไปที่หนึ่ง)

นักวิจัยตีความผลลัพธ์ที่ไม่มีนัยสำคัญทางสถิติด้วยวิธีต่อไปนี้:

ดังนั้นเรื้อรังข้อ จำกัด แคลอรี่ในระดับปานกลางสามารถยืดอายุการใช้งานและเสริมสร้างสุขภาพของเจ้าคณะ แต่มันมีผลต่อสมองสมบูรณ์เรื่องสีเทาโดยไม่มีผลต่อการแสดงความรู้ความเข้าใจ

พิสูจน์:

อย่างไรก็ตามการแสดงในงานเขาวงกต Barnes นั้นไม่แตกต่างกันระหว่างสัตว์ควบคุมและสัตว์ที่ จำกัด แคลอรี (LME: F = 0.05, p = 0.82; รูปที่ 2a) ในทำนองเดียวกันงานการสลับที่เกิดขึ้นเองไม่ได้เปิดเผยความแตกต่างระหว่างสัตว์ที่ควบคุมและสัตว์ที่ จำกัด แคลอรี่ (LME: F = 1.63, p = 0.22; รูปที่ 2b)

ผู้เขียนยังแนะนำให้อธิบายถึงการขาดผลกระทบ - แต่ประเด็นสำคัญไม่ใช่คำอธิบาย แต่เป็นการอ้างสิทธิ์เอง พล็อตที่ให้ดูแตกต่างอย่างมีนัยสำคัญ "โดยตา" สำหรับฉัน (รูปที่ 2)

ยิ่งกว่านั้นผู้เขียนยังเพิกเฉยต่อความรู้เดิม:

ผลกระทบที่เป็นอันตรายจากการ จำกัด แคลอรี่ต่อประสิทธิภาพการรับรู้ได้รับรายงานสำหรับหนูและสำหรับการทำงานของสมองและอารมณ์ในมนุษย์

ฉันสามารถเข้าใจการอ้างสิทธิ์แบบเดียวกันสำหรับขนาดตัวอย่างขนาดใหญ่ (ไม่มีผล = ไม่มีผลกระทบอย่างมีนัยสำคัญที่นั่น) แต่ในการทดสอบที่ซับซ้อนโดยเฉพาะในสถานการณ์ที่ใช้และไม่ชัดเจนสำหรับฉันในการคำนวณพลังงาน

คำถาม:

1. ฉันมองข้ามรายละเอียดใด ๆ ที่ทำให้ข้อสรุปมีผลหรือไม่

2. คำนึงถึงความจำเป็นที่จะต้องรายงานผลลัพธ์เชิงลบในวิทยาศาสตร์วิธีการพิสูจน์ว่ามันไม่ใช่ "การขาดผล" (ที่เรามี ) แต่ "ผลลัพธ์เชิงลบ (เช่นไม่มีความแตกต่างระหว่างกลุ่ม)" ใช้สถิติหรือไม่ ฉันเข้าใจว่าสำหรับกลุ่มตัวอย่างขนาดใหญ่แม้แต่การเบี่ยงเบนเล็ก ๆ จากการปฏิเสธสาเหตุของ null แต่ลองสมมติว่าเรามีข้อมูลในอุดมคติและยังต้องพิสูจน์ว่า null นั้นจริงจริง$p > \alpha$

3. นักสถิติควรยืนยันในข้อสรุปที่ถูกต้องทางคณิตศาสตร์เช่น "การมีพลังนี้เราไม่สามารถตรวจจับผลขนาดที่มีนัยสำคัญ" ได้หรือไม่? นักวิจัยจากสาขาอื่น ๆ ไม่ชอบสูตรของผลลัพธ์เชิงลบอย่างมาก

ฉันยินดีที่จะรับฟังความคิดเกี่ยวกับปัญหาและฉันได้อ่านและเข้าใจคำถามที่เกี่ยวข้องในเว็บไซต์นี้ มีคำตอบที่ชัดเจนสำหรับคำถาม 2) -3) จากมุมมองของสถิติ แต่ฉันต้องการที่จะเข้าใจว่าคำถามนี้จะต้องตอบในกรณีที่มีการสนทนาแบบสหวิทยาการ

UPD: ฉันคิดว่าตัวอย่างที่ดีของผลลัพธ์เชิงลบคือขั้นตอนที่ 1 ของการทดลองทางการแพทย์ความปลอดภัย เมื่อนักวิทยาศาสตร์สามารถตัดสินใจได้ว่ายานั้นปลอดภัยหรือไม่? ฉันเดาว่าพวกเขาเปรียบเทียบสองกลุ่มและทำสถิติกับข้อมูลนี้ มีวิธีที่จะบอกว่ายานี้ปลอดภัยหรือไม่? Cochrane ใช้แม่นยำ "ไม่พบผลข้างเคียง" แต่แพทย์บอกว่ายานี้ปลอดภัย เมื่อความสมดุลระหว่างความถูกต้องและความเรียบง่ายของคำอธิบายเม็ตส์และเราสามารถพูดว่า "ไม่มีผลต่อสุขภาพ"?

ฉันคิดว่ามันเป็นเวลาที่เหมาะสมในการตีความผลลัพธ์ที่ไม่สำคัญทางสถิติในจิตวิญญาณของ "ยอมรับสมมติฐานว่าง" ในความเป็นจริงฉันได้เห็นการศึกษาที่สำคัญทางสถิติตีความในแบบนี้ การศึกษามีความแม่นยำมากเกินไปและผลลัพธ์มีความสอดคล้องกับช่วงแคบ ๆ ของผลไม่เป็นโมฆะ แต่ไม่มีนัยสำคัญทางคลินิก นี่เป็นคำวิจารณ์ที่ค่อนข้างพองของการศึกษา (หรือมากกว่านั้นกด) เกี่ยวกับความสัมพันธ์ระหว่างการบริโภคช็อคโกแลต / ไวน์แดงและ "ผลประโยชน์" ของโรคเบาหวาน เส้นโค้งความน่าจะเป็นสำหรับการแจกแจงความต้านทานต่ออินซูลินด้วยการบริโภคสูง / ต่ำเป็นโรคฮิสทีเรีย

ว่าใครสามารถตีความสิ่งที่ค้นพบว่า "การยืนยัน H_0" นั้นขึ้นอยู่กับปัจจัยจำนวนมาก: ความถูกต้องของการศึกษาพลังความไม่แน่นอนของการประมาณและหลักฐานก่อนหน้า การรายงานช่วงความมั่นใจ (CI) แทนค่า p อาจเป็นผลงานที่มีประโยชน์ที่สุดที่คุณสามารถทำได้ในฐานะนักสถิติ ฉันเตือนนักวิจัยและนักสถิติเพื่อนว่าสถิติไม่ได้ตัดสินใจคนทำ การละเว้นค่า p จะกระตุ้นให้เกิดการอภิปรายที่รอบคอบมากขึ้นเกี่ยวกับสิ่งที่ค้นพบ

ความกว้างของ CI อธิบายถึงช่วงของผลกระทบที่อาจมีหรือไม่มีค่าเป็นโมฆะและอาจรวมถึงค่าที่มีนัยสำคัญทางคลินิกเช่นศักยภาพในการช่วยชีวิต อย่างไรก็ตาม CI แบบแคบยืนยันผลชนิดหนึ่ง ทั้งชนิดหลังซึ่งเป็น "สำคัญ" ในความหมายที่แท้จริงหรืออดีตซึ่งอาจเป็นโมฆะหรือบางสิ่งบางอย่างที่ใกล้เคียงกับโมฆะ

บางทีสิ่งที่ต้องการคือความรู้สึกกว้างกว่าของสิ่งที่ "ผลลัพธ์เป็นโมฆะ" (และเอฟเฟกต์แบบ null) สิ่งที่ฉันพบที่น่าผิดหวังในความร่วมมือการวิจัยคือเมื่อนักวิจัยไม่สามารถเบื้องต้นรัฐสิ่งที่อยู่ในช่วงของผลกระทบที่พวกเขาจะกำหนดเป้าหมาย: ถ้าการแทรกแซงจะหมายถึงการลดความดันโลหิตกี่มิลลิเมตรปรอท? หากยาเสพติดมีไว้เพื่อรักษาโรคมะเร็งผู้ป่วยจะมีชีวิตรอดกี่เดือน? คนที่หลงใหลในการวิจัยและ "เสียบปลั๊ก" ในสาขาและวิทยาศาสตร์ของพวกเขาสามารถพูดคุยเกี่ยวกับข้อเท็จจริงที่น่าทึ่งที่สุดเกี่ยวกับการวิจัยก่อนหน้านี้และสิ่งที่ได้ทำไปแล้ว

ในตัวอย่างของคุณฉันอดไม่ได้ที่จะสังเกตว่า p-value 0.82 นั้นใกล้กับค่า null มาก จากนั้นทั้งหมดที่ฉันสามารถบอกได้ก็คือ CI อยู่กึ่งกลางค่าศูนย์ สิ่งที่ฉันไม่ทราบก็คือว่ามันครอบคลุมผลกระทบทางคลินิกอย่างมีนัยสำคัญ หาก CI แคบมากการตีความที่พวกเขาให้ไว้คือในความคิดของฉันถูกต้อง แต่ข้อมูลไม่รองรับ: นั่นจะเป็นการแก้ไขเล็กน้อย ในทางตรงกันข้ามค่า p ที่สองที่ 0.22 นั้นค่อนข้างใกล้เคียงกับค่านัยสำคัญ (ไม่ว่ามันจะเป็นอะไร) ผู้เขียนตีความเหมือนกันว่า "ไม่ให้หลักฐานใด ๆ ของความแตกต่าง" ซึ่งสอดคล้องกับ "อย่าปฏิเสธ H_0" - การตีความประเภท เท่าที่ความเกี่ยวข้องของบทความฉันสามารถพูดน้อยมาก ฉันหวังว่าคุณจะอ่านวรรณกรรมเพื่อหาข้อสรุปที่น่าสนใจจากผลการศึกษา! เท่าที่วิเคราะห์

$H_{0}$$H_{0}$$H_{A}$$H_{A}$

อย่างไรก็ตามเราสามารถรู้ได้ว่ามีสมมติฐานว่างหลายประเภท :

• $H_{0}: \theta \ge \theta_{0}$$H_{0}: \theta \le \theta_{0}$

• $H_{0}: \theta = \theta_{0}$$H_{0}: \theta - \theta_{0} = 0$$H_{0}: \theta_{1} = \theta_{2}$$H_{0}: \theta_{1} - \theta_{2} = 0$$H^{+}_{0}$$k$$H_{0}^{+}: \theta_{i} = \theta_{j};$$i,j \in \{1, 2, \dots k\};$ $\text{ and }i\ne j$

• $H_{0}: |\theta - \theta_{0}|\ge \Delta$$H_{0}: |\theta_{1} - \theta_{2}|\ge \Delta$$\Delta$$H^{-}_{0}$$\pm\Delta$$|\Delta|$$k$$H_{0}^{-}: |\theta_{i} = \theta_{j}|\ge \Delta;$$i,j \in \{1, 2, \dots k\};$ $\text{ and }i\ne j$

[tost]$H_{0}^{+}$$H_{0}^{+}$นั่นเป็นเพราะไม่มีผลจริงหรือเพราะขนาดตัวอย่างของคุณเล็กเกินไปและการทดสอบของคุณใช้พลังงานน้อยเกินไป การทดสอบความเกี่ยวข้องจะแก้ไขปัญหาเหล่านี้โดยมุ่งเน้น

มีสองสามวิธีในการทำการทดสอบเพื่อความเท่าเทียมกัน (หรือไม่ว่าจะรวมกับการทดสอบเพื่อความแตกต่าง)

• การทดสอบด้านเดียวสองครั้ง (TOST) แปลสมมติฐานโมฆะนิยมโดยทั่วไปของผู้นิยมลัทธิปฏิเสธนิยมซึ่งแสดงอยู่ด้านบนเป็นสมมติฐานว่างสองด้านที่เฉพาะเจาะจงสองข้อ:
  • $H^{-}_{01}: \theta - \theta_{0} \ge \Delta$$H^{-}_{01}: \theta_{1} - \theta_{2} \ge \Delta$
  • $H^{-}_{02}: \theta - \theta_{0} \le -\Delta$$H^{-}_{01}: \theta_{1} - \theta_{2} \le -\Delta$
• การทดสอบที่มีประสิทธิภาพที่สุดเท่ากันสำหรับความเท่าเทียมซึ่งมีแนวโน้มที่จะมีความซับซ้อนทางคณิตศาสตร์มากกว่า TOST Wellek เป็นข้อมูลอ้างอิงที่ชัดเจนสำหรับสิ่งเหล่านี้
• วิธีการช่วงความมั่นใจฉันเชื่อว่าแรงบันดาลใจครั้งแรกโดย Schuirman และการกลั่นกรองโดยคนอื่น ๆ เช่น Tryon

การอ้างอิง Reagle, DP และ Vinod, HD (2003) อนุมานสำหรับทฤษฎี negativist ใช้ภูมิภาคปฏิเสธคำนวณตัวเลข สถิติการคำนวณและการวิเคราะห์ข้อมูล , 42 (3): 491–512

Schuirmann, DA (1987) การเปรียบเทียบของขั้นตอนการทดสอบทั้งสองด้านเดียวและวิธีการใช้พลังงานในการประเมินความสมดุลของการดูดซึมเฉลี่ย วารสารเภสัชจลนศาสตร์และชีวเภสัชศาสตร์ , 15 (6): 657–680

ไทรอัน, WW และลูอิส, C. (2008) วิธีการอนุมานช่วงความเชื่อมั่นของการสร้างความเท่าเทียมกันทางสถิติที่แก้ไขไทรยอน (2001) ลดปัจจัย วิธีการทางจิตวิทยา , 13 (3): 272–277

ไทรอัน, WW และลูอิส, C. (2009) การประเมินสัดส่วนอิสระสำหรับความแตกต่างทางสถิติสมมูลกำหนดและความแตกต่างเล็ก ๆ น้อย ๆ โดยใช้ช่วงความเชื่อมั่นเชิงอนุมาน วารสารสถิติการศึกษาและพฤติกรรม , 34 (2): 171–189

Wellek, S. (2010) การทดสอบทางสถิติสมมติฐานของความเท่าเทียมกันและไม่เหนือกว่า แชปแมนและฮอลล์ / ซีอาร์ซีกดรุ่นที่สอง

คุณอ้างอิงถึงการอนุมานแบบมาตรฐานที่สอนในหลักสูตรสถิติ:

1. $H_0,H_a$
2. $\alpha$
3. $\alpha$
4. $H_0$$H_a$$H_0$

นี่เป็นเรื่องปกติและถูกใช้ในทางปฏิบัติ ฉันจะลองเดาว่าขั้นตอนนี้อาจเป็นข้อบังคับในอุตสาหกรรมที่มีการควบคุมเช่นเภสัชภัณฑ์

อย่างไรก็ตามนี่ไม่ใช่วิธีการทางสถิติและการอนุมานที่ใช้ในการวิจัยและการปฏิบัติ ตัวอย่างเช่นดูที่บทความนี้ : "การสังเกตของอนุภาคใหม่ในการค้นหาแบบจำลองมาตรฐานฮิกส์โบซอนด้วยเครื่องตรวจจับ ATLAS ที่ LHC" บทความนี้เป็นครั้งแรกที่นำเสนอหลักฐานการมีอยู่ของฮิกส์โบซอนในการทดลอง ATLAS มันเป็นหนึ่งในเอกสารเหล่านั้นที่มีรายชื่อผู้แต่งตราบเท่าที่เนื้อหาจริง :)

• $H_0$$H_a$$H_0$
• $\alpha$$\sigma$
• $\alpha$
• พวกเขานำเสนอช่วงความมั่นใจที่ระดับความเชื่อมั่นปกติเช่น 95%

นี่คือวิธีสรุปข้อสรุป: "ผลลัพธ์เหล่านี้เป็นหลักฐานสรุปสำหรับการค้นพบอนุภาคใหม่ที่มีมวล 126.0 ± 0.4 (สถิติ) ± 0.4 (sys) GeV" คำว่า "สถิติ" หมายถึงสถิติและ "sys" ถึงความไม่แน่นอนอย่างเป็นระบบ

ดังนั้นอย่างที่คุณไม่เห็นทุกคนทำตามขั้นตอนสี่ขั้นตอนที่ฉันระบุไว้ในตอนต้นของคำตอบนี้ ที่นี่นักวิจัยแสดงค่า p โดยไม่มีการกำหนดเกณฑ์ล่วงหน้าล่วงหน้าซึ่งตรงกันข้ามกับสิ่งที่สอนในชั้นเรียนสถิติ ประการที่สองพวกเขาไม่ได้เต้นแบบ "ปฏิเสธ / ไม่สามารถปฏิเสธ" อย่างน้อยก็เป็นทางการ พวกเขาตัดไปที่การไล่ล่าและพูดว่า "นี่คือค่า p และนั่นคือเหตุผลที่เราบอกว่าเราพบอนุภาคใหม่ที่มีมวล 126 GeV"

โน๊ตสำคัญ

ผู้เขียนกระดาษฮิกส์ยังไม่ได้ประกาศฮิกส์โบซอน พวกเขายืนยันว่าพบอนุภาคใหม่และคุณสมบัติบางอย่างเช่นมวลมีความสอดคล้องกับ Higgs boson

ใช้เวลาสองสามปีในการรวบรวมหลักฐานเพิ่มเติมก่อนที่จะพิสูจน์ว่าอนุภาคนั้นเป็นฮิกส์โบซอน ดูโพสต์บล็อกนี้ด้วยการอภิปรายผลก่อน นักฟิสิกส์ทำการตรวจสอบคุณสมบัติต่าง ๆ เช่นการหมุนเป็นศูนย์ และในขณะที่หลักฐานถูกรวบรวมในบางจุดเซิร์นประกาศว่าอนุภาคนั้นคือฮิกส์โบซอน

ทำไมสิ่งนี้จึงสำคัญ เพราะมันเป็นไปไม่ได้ที่จะทำให้กระบวนการค้นพบทางวิทยาศาสตร์เป็นเรื่องยากสำหรับขั้นตอนการอนุมานเชิงสถิติที่เข้มงวด การอนุมานทางสถิติเป็นเพียงเครื่องมือเดียวที่ใช้

เมื่อเซิร์นมองหาอนุภาคนี้ความสนใจอยู่ที่การค้นพบครั้งแรก มันเป็นเป้าหมายสูงสุด นักฟิสิกส์มีความคิดที่จะดู เมื่อพวกเขาพบผู้สมัครพวกเขามุ่งเน้นไปที่การพิสูจน์ว่าเป็นผู้สมัคร ในที่สุดแล้วจำนวนทั้งสิ้นของหลักฐานไม่ใช่การทดลองเดี่ยวที่มีค่า p และความสำคัญทำให้ทุกคนเชื่อว่าเราพบอนุภาค รวมถึงที่นี่ทุกความรู้ก่อนและรูปแบบมาตรฐาน นี่ไม่ใช่แค่การอนุมานเชิงสถิติ แต่วิธีการทางวิทยาศาสตร์นั้นกว้างกว่านั้น

มีวิธีที่จะเข้าถึงสิ่งนี้โดยไม่พึ่งพาการคำนวณพลังงาน (ดู Wellek, 2010) โดยเฉพาะอย่างยิ่งคุณยังสามารถทดสอบว่าคุณปฏิเสธโมฆะว่าผลที่ได้คือการเบื้องต้นขนาดที่มีความหมาย

Daniël Lakens สนับสนุนในสถานการณ์นี้เพื่อทดสอบความเท่าเทียมกัน โดยเฉพาะอย่างยิ่ง Lakens ใช้ " TOST " (การทดสอบด้านเดียวสองครั้ง) สำหรับการเปรียบเทียบค่าเฉลี่ย แต่มีวิธีอื่นที่จะได้รับความคิดเดียวกัน

ใน TOST คุณทดสอบทบต้นเป็นโมฆะ: สมมติฐานว่างด้านเดียวที่ผลกระทบของคุณเป็นลบมากกว่าผลต่างเชิงลบที่เล็กที่สุดและโมฆะที่ผลกระทบของคุณเป็นบวกมากกว่าผลต่างเชิงบวกที่เล็กที่สุด หากคุณปฏิเสธทั้งคู่คุณสามารถอ้างได้ว่าไม่มีความแตกต่างที่มีความหมาย โปรดทราบว่าสิ่งนี้สามารถเกิดขึ้นได้แม้ว่าเอฟเฟกต์จะแตกต่างจากศูนย์อย่างมีนัยสำคัญ แต่ไม่ว่าในกรณีใดจะต้องมีการรับรองค่าว่าง

Lakens, D. (2017) การทดสอบความเท่าเทียม: ไพรเมอร์ในทางปฏิบัติสำหรับเสื้อทดสอบความสัมพันธ์และการวิเคราะห์อภิมาน วิทยาศาสตร์ทางจิตวิทยาและบุคลิกภาพทางสังคม , 8 (4), 355-362

Wellek, S. (2010) การทดสอบทางสถิติสมมติฐานของความเท่าเทียมกันและไม่เหนือกว่า แชปแมนและฮอลล์ / ซีอาร์ซีกดรุ่นที่สอง