ASA กล่าวถึงข้อ จำกัด ของ

เรามีแท็กหลายเธรดที่ติดแท็กเป็นค่า pที่เปิดเผยความเข้าใจผิดมากมายเกี่ยวกับพวกเขา สิบเดือนที่ผ่านมาเรามีหัวข้อเกี่ยวกับวารสารจิตวิทยาที่ "ต้องห้าม" -values$p$ตอนนี้สมาคมอเมริกันสถิติ (2016)กล่าวว่ามีการวิเคราะห์ของเราที่เรา "ไม่ควรจบลงด้วยการคำนวณที่ -value"$p$

สมาคมสถิติอเมริกัน (ASA) เชื่อว่าชุมชนวิทยาศาสตร์จะได้รับประโยชน์จากคำแถลงอย่างเป็นทางการที่อธิบายถึงหลักการที่ใช้กันอย่างแพร่หลายในการใช้และการตีความอย่างเหมาะสม$p$

คณะกรรมการระบุวิธีการอื่น ๆ ซึ่งอาจเป็นทางเลือกหรือข้อมูลเพิ่มเติมเกี่ยวกับค่า :$p$

ในมุมมองของการใช้ผิดวิธีที่แพร่หลายและความเข้าใจผิดเกี่ยวกับค่า , สถิติบางคนชอบที่จะเสริมหรือแม้กระทั่งแทนที่ค่า ด้วยวิธีการอื่น ๆ เหล่านี้รวมถึงวิธีการที่เน้นการประมาณค่าการทดสอบเช่นความมั่นใจความน่าเชื่อถือหรือช่วงการทำนาย วิธีการแบบเบย์ มาตรการทางเลือกของหลักฐานเช่นอัตราส่วนความน่าจะเป็นหรือปัจจัยเบย์ และแนวทางอื่น ๆ เช่นการสร้างแบบจำลองเชิงทฤษฎีการตัดสินใจและอัตราการค้นพบที่ผิด มาตรการและวิธีการทั้งหมดเหล่านี้ขึ้นอยู่กับสมมติฐานต่อไป แต่พวกเขาอาจระบุขนาดของผลกระทบโดยตรง (และความไม่แน่นอนที่เกี่ยวข้อง) หรือว่าสมมติฐานนั้นถูกต้องหรือไม่$p$$p$

ดังนั้นขอจินตนาการหลัง -values ความเป็นจริง ASA แสดงวิธีการบางอย่างที่สามารถใช้แทนค่าแต่ทำไมถึงดีกว่า ข้อใดที่สามารถทดแทนชีวิตจริงสำหรับนักวิจัยที่ใช้ค่าสำหรับทุกชีวิตของเขา? ฉันคิดว่าชนิดของคำถามนี้จะปรากฏในโพสต์ -values ความเป็นจริงดังนั้นบางทีเรามาพยายามที่จะเป็นขั้นตอนหนึ่งไปข้างหน้าของพวกเขา อะไรคือทางเลือกที่สมเหตุสมผลที่สามารถนำไปใช้นอกกรอบได้? ทำไมวิธีนี้ควรทำให้นักวิจัยหัวหน้าบรรณาธิการหรือผู้อ่านนำของคุณเข้าใจพีพี$p$$p$$p$$p$

เนื่องจากรายการบล็อกติดตามผลนี้แนะนำค่าจึงไม่สามารถเอาชนะได้ในความเรียบง่าย:$p$

p-value ต้องการเพียงแบบจำลองทางสถิติสำหรับพฤติกรรมของสถิติภายใต้สมมติฐานว่างเพื่อเก็บไว้ แม้ว่ารูปแบบของสมมติฐานทางเลือกจะใช้ในการเลือกสถิติ "ดี" (ซึ่งจะใช้สำหรับการสร้าง p-value) รูปแบบทางเลือกนี้ไม่จำเป็นต้องถูกต้องเพื่อให้ p-value ถูกต้องและ มีประโยชน์ (เช่น: ข้อผิดพลาดประเภทการควบคุม I ในระดับที่ต้องการในขณะที่ให้พลังงานในการตรวจจับผลกระทบจริง) ในทางตรงกันข้ามวิธีการทางสถิติอื่น ๆ (มหัศจรรย์และมีประโยชน์) เช่นอัตราส่วนความน่าจะเป็นการประมาณขนาดผลกระทบช่วงความเชื่อมั่นหรือวิธีเบย์ทุกคนต้องการตัวแบบที่สันนิษฐานว่าจะเก็บสถานการณ์ที่กว้างกว่าไม่ใช่แค่การทดสอบว่าง

พวกเขาหรืออาจจะไม่จริงและเราสามารถแทนที่ได้อย่างง่ายดาย?

ฉันรู้ว่ามันกว้าง แต่คำถามหลักนั้นง่าย: อะไรคือสิ่งที่ดีที่สุด (และทำไม) ทางเลือกในชีวิตจริงของค่าที่สามารถใช้แทนได้$p$

ASA (2016) งบ ASA บนนัยสำคัญทางสถิติและ -values $P$ นักสถิติชาวอเมริกัน (ในการกด)

ผมจะเน้นคำตอบนี้กับคำถามที่เฉพาะเจาะจงของสิ่งที่เป็นทางเลือกในการ -values$p$

มี21 บทความอภิปรายที่ตีพิมพ์พร้อมกับคำสั่ง ASA (เป็นวัสดุเสริม): โดย Naomi Altman, Douglas Altman, Daniel J. Benjamin, Yoav Benjamini, Jim Berger, Jim Berger, Don Berry, John Carlin, George Cobb, Andrew Gelman, Steve Goodman, แซนเดอร์กรีนแลนด์, จอห์นไอโอนิดิส, โจเซฟฮอโรวิทซ์, วาเลนจอห์นสัน, ไมเคิลลาวิน, ไมเคิลลิว, Rod Little, Deborah Mayo, มิเคเล่มิลลาร์, ชาร์ลส์พูล ฉันแสดงรายการทั้งหมดสำหรับการค้นหาในอนาคต) คนเหล่านี้อาจครอบคลุมความคิดเห็นที่มีอยู่ทั้งหมดเกี่ยวกับค่าและการอนุมานเชิงสถิติ$p$

ฉันตรวจสอบเอกสารทั้งหมด 21 เรื่องแล้ว

น่าเสียดายที่พวกเขาส่วนใหญ่ไม่ได้พูดถึงทางเลือกที่แท้จริงแม้ว่าคนส่วนใหญ่จะเกี่ยวกับข้อ จำกัด ความเข้าใจผิดและปัญหาอื่น ๆ อีกมากมายเกี่ยวกับค่า (สำหรับการป้องกันค่าดูค่า Benjamini, Mayo และ Senn) สิ่งนี้ชี้ให้เห็นว่าทางเลือกอื่นถ้าไม่ใช่นั้นหาง่ายและ / หรือเพื่อปกป้อง$p$$p$

ดังนั้นให้เราดูรายการ "แนวทางอื่น ๆ " ที่ระบุในคำสั่ง ASA (ดังที่ยกมาในคำถามของคุณ):

[วิธีอื่น ๆ ] รวมถึงวิธีการที่เน้นการประมาณค่าการทดสอบเช่นความมั่นใจความน่าเชื่อถือหรือช่วงการทำนาย วิธีการแบบเบย์ มาตรการทางเลือกของหลักฐานเช่นอัตราส่วนความน่าจะเป็นหรือปัจจัยเบย์ และแนวทางอื่น ๆ เช่นการสร้างแบบจำลองเชิงทฤษฎีการตัดสินใจและอัตราการค้นพบที่ผิด

1. ช่วงความเชื่อมั่น

   ช่วงความเชื่อมั่นเป็นเครื่องมือ frequentist ที่จะไปมือในมือกับ -values; การรายงานช่วงความเชื่อมั่น (หรือเทียบเท่าเช่นค่าเฉลี่ยข้อผิดพลาดมาตรฐานของค่าเฉลี่ย) พร้อมกับค่ามักเป็นความคิดที่ดี± $p$$\pm$$p$

   บางคน (ไม่อยู่ในกลุ่มคู่กรณี ASA) ที่ชี้ให้เห็นว่าช่วงความเชื่อมั่นควรเปลี่ยน -values หนึ่งในผู้สนับสนุนที่เปิดเผยมากที่สุดของวิธีนี้คือเจฟฟ์คัมมิงซึ่งเรียกมันว่าสถิติใหม่ (ชื่อที่ฉันพบว่าน่ากลัว) ดูเช่นบล็อกโพสต์นี้โดยอูล Schimmack สำหรับคำติชมรายละเอียด: ทบทวนคัมมิง (2014) สถิติใหม่: Reselling สถิติเก่าเป็นสถิติใหม่ ดูเพิ่มเติมเราไม่สามารถที่จะศึกษาขนาดผลในโพสต์บล็อกของห้องปฏิบัติการโดย Uri Simonsohn สำหรับจุดที่เกี่ยวข้อง$p$

   ดูหัวข้อนี้ (และคำตอบของฉันในนั้น) เกี่ยวกับข้อเสนอแนะที่คุ้นเคยโดย Norm Matloff ที่ฉันอ้างว่าเมื่อรายงาน CIs หนึ่งยังคงต้องการรายงานค่าด้วยเช่นกัน: อะไรคือตัวอย่างที่ดีและน่าเชื่อถือที่ p-values มีประโยชน์อย่างไร$p$

   บางคนอื่น ๆ (ไม่ใช่ในหมู่ ASA disputants), อย่างไรก็ตาม, ยืนยันว่าช่วงความเชื่อมั่น, เป็นเครื่องมือที่ใช้บ่อย, ถูกเข้าใจผิดว่าเป็น value และควรจะถูกกำจัดด้วย ดูเช่นMorey et al. ในปี 2015 การเข้าใจผิดของการวางความเชื่อมั่นในช่วงความเชื่อมั่นที่เชื่อมโยงโดย @Tim ที่นี่ในความคิดเห็น นี่คือการอภิปรายที่เก่าแก่มาก$p$

2. วิธีการแบบเบย์

   (ฉันไม่ชอบว่าคำสั่ง ASA กำหนดรายการอย่างไรช่วงเวลาที่น่าเชื่อถือและปัจจัย Bayes แสดงรายการแยกต่างหากจาก "วิธีการแบบเบย์" แต่เห็นได้ชัดว่าเป็นเครื่องมือแบบเบย์ฉันจึงนับพวกเขาด้วยกันที่นี่)

   • มีวรรณคดีขนาดใหญ่และมีความเห็นเกี่ยวกับการถกเถียงแบบเบย์กับการถกเถียงกันบ่อยๆ ดูตัวอย่างเช่นเมื่อเร็ว ๆ นี้สำหรับความคิดบางอย่าง: เมื่อใด (ถ้าเคย) เป็นวิธีการที่พบบ่อยดีกว่า Bayesian อย่างมาก? การวิเคราะห์แบบเบย์มีเหตุผลอย่างสมบูรณ์หากมีนักบวชที่มีข้อมูลดีและทุกคนยินดีที่จะคำนวณและรายงานหรือแทน จากp ( H 0 : θ = 0 | data ) p ( ข้อมูลอย่างน้อยสุดขีด| H 0$p(\theta|\text{data})$$p(H_0:\theta=0|\text{data})$$p(\text{data at least as extreme}|H_0)$- แต่อนิจจาผู้คนมักจะไม่มีนักบวชที่ดี ผู้ทดลองบันทึกหนู 20 ตัวทำอะไรในเงื่อนไขเดียวและหนู 20 ตัวทำสิ่งเดียวกันในเงื่อนไขอื่น การคาดการณ์คือประสิทธิภาพของหนูในอดีตจะเกินประสิทธิภาพของหนูหลัง แต่ไม่มีใครจะเต็มใจหรือสามารถระบุชัดเจนก่อนการแตกต่างประสิทธิภาพ (แต่ดูคำตอบของ @ FrankHarrell ที่ซึ่งเขาสนับสนุนโดยใช้ "นักบวชที่สงสัย")

   • Bayesians ที่ตายยากแนะนำให้ใช้วิธีการแบบเบย์แม้ว่าจะไม่มีผู้ให้ข้อมูลใด ๆ ก็ตาม ตัวอย่างหนึ่งที่ผ่านมาเป็นKrushke 2012 ประมาณคชกรรมใช้แทน -test$t$ย่อเจียมดีที่สุดเท่าที่ ความคิดคือการใช้แบบจำลอง Bayesian กับ Priors uninformative อ่อนแอเพื่อคำนวณหลังสำหรับผลของดอกเบี้ย (เช่น, เช่น, ความแตกต่างของกลุ่ม) ความแตกต่างในทางปฏิบัติกับการใช้เหตุผลบ่อย ๆ ดูเหมือนจะน้อยและเท่าที่ฉันสามารถเห็นวิธีการนี้ยังไม่เป็นที่นิยม ดู"uninformative ก่อน" คืออะไร เราสามารถมีข้อมูลที่ไม่มีข้อมูลได้จริงหรือไม่? สำหรับการอภิปรายในสิ่งที่ "uninformative" (คำตอบ: ไม่มีสิ่งนั้นดังนั้นการโต้เถียง)

   • อีกทางเลือกหนึ่งที่จะกลับไปที่แฮโรลด์เจฟฟรีย์ขึ้นอยู่กับการทดสอบแบบเบย์(ซึ่งต่างจากการประมาณแบบเบย์) และใช้ปัจจัยแบบเบย์ หนึ่งในผู้ที่มีคารมคมคายมากขึ้นคือ Eric-Jan Wagenmakers ซึ่งได้ตีพิมพ์บทความนี้จำนวนมากในช่วงไม่กี่ปีที่ผ่านมา คุณสมบัติสองประการของวิธีนี้คุ้มค่าที่จะเน้นที่นี่ ก่อนอื่นให้ดูที่Wetzels et al., 2012, การทดสอบสมมติฐานแบบเบส์เริ่มต้นสำหรับการออกแบบ ANOVAเพื่อแสดงให้เห็นว่าผลลัพธ์ของการทดสอบแบบเบย์ดังกล่าวนั้นแข็งแกร่งเพียงใดขึ้นอยู่กับทางเลือกเฉพาะของสมมติฐานทางเลือก$H_1$และการแจกแจงพารามิเตอร์ ("ก่อนหน้า") มันวางตัว ประการที่สองเมื่อเลือก "สมเหตุสมผล" ก่อนหน้านี้ (Wagenmakers โฆษณา Jeffreys 'ที่เรียกว่า "ค่าเริ่มต้น" นักบวช) ผลลัพธ์ของปัจจัย Bayes มักจะกลายเป็นค่อนข้างสอดคล้องกับค่ามาตรฐานดูตัวอย่างจากร่างนี้โดย Marsman & Wagenmakers :$p$

     

     ดังนั้นในขณะที่ Wagenmakers และคณะ ยืนยันว่า value นั้นมีข้อบกพร่องอย่างลึกล้ำและ Bayes factor เป็นวิธีที่จะไป แต่ก็ไม่น่าแปลกใจเลย ... (เพื่อความยุติธรรมจุดWetzels et al. 2011คือ value ใกล้กับ Bayes factor เท่านั้น บ่งบอกถึงหลักฐานที่อ่อนแอมากต่อโมฆะ แต่โปรดทราบว่าสิ่งนี้สามารถจัดการได้อย่างง่ายดายในกระบวนทัศน์ของผู้ใช้บ่อยโดยใช้เข้มงวดมากขึ้นซึ่งเป็นสิ่งที่ผู้คนจำนวนมากเรียกร้องอยู่แล้ว) p 0.05 $p$$p$$0.05$$\alpha$

     อีกหนึ่งเอกสารยอดนิยมของ Wagenmakers และคณะ ในการป้องกันปัจจัย Bayes คือ 2011 ทำไมนักจิตวิทยาต้องเปลี่ยนวิธีที่พวกเขาวิเคราะห์ข้อมูลของพวกเขา: กรณีของ psiซึ่งเขาระบุว่ากระดาษที่น่าอับอายของ Bem ในการทำนายอนาคตจะไม่ถึงข้อสรุปที่ผิดพลาดหากพวกเขาใช้ปัจจัยของ Bayes แทนเท่านั้น ของ -values ดูโพสต์บล็อกรอบคอบโดยอูล Schimmack สำหรับรายละเอียด (และน่าเชื่อถือ IMHO) เคาน์เตอร์อาร์กิวเมนต์: ทำไมนักจิตวิทยาไม่ควรเปลี่ยนวิธีการวิเคราะห์ข้อมูลของพวกเขา: ปีศาจอยู่ในการเริ่มต้นก่อน$p$

     ดูเพิ่มเติมการทดสอบแบบเบส์เริ่มต้นนั้นมีอคติต่อโพสต์บล็อกขนาดเล็กโดย Uri Simonsohn

   • เพื่อความสมบูรณ์ผมพูดถึงว่าWagenmakers 2007 วิธีการแก้ปัญหาการปฏิบัติเพื่อให้ปัญหาที่แพร่หลายของ -values$p$แนะนำให้ใช้ BIC เป็นประมาณปัจจัย Bayes เพื่อแทนที่ -values BIC ไม่ได้ขึ้นอยู่กับก่อนหน้านี้และแม้ว่าจะเป็นชื่อมันก็ไม่ได้เป็นแบบเบย์จริงๆ ฉันไม่แน่ใจว่าจะคิดอย่างไรเกี่ยวกับข้อเสนอนี้ ดูเหมือนว่าเมื่อไม่นานมานี้ Wagenmakers เป็นที่นิยมมากกว่าในการทดสอบแบบเบย์กับนักบวชชั้นสูงของ Jeffreys$p$

   
   สำหรับการอภิปรายเพิ่มเติมเกี่ยวกับการประมาณค่าแบบเบย์กับการทดสอบแบบเบย์ดูการประมาณค่าแบบเบย์หรือการทดสอบแบบเบย์ และลิงก์ในนั้น

3. ปัจจัยขั้นต่ำของ Bayes

   ในบรรดาข้อพิพาท ASA นี้ได้รับคำแนะนำอย่างชัดเจนจาก Benjamin & Berger และโดย Valen Johnson (เอกสารสองฉบับเท่านั้นที่เกี่ยวกับการเสนอทางเลือกที่เป็นรูปธรรม) คำแนะนำเฉพาะของพวกเขาแตกต่างกันเล็กน้อย แต่มีความคล้ายคลึงกันในจิตวิญญาณ

   • $\mu=0$$0.5$$\mu$$0.5$$0$$p(H_0)$$p$$p$$p$$-ep\log(p)$$p$$-e\log(p)$$10$$20$$p$ โดย Steven Goodman ด้วย

     ปรับปรุงในภายหลัง: ดูการ์ตูนที่ดีที่อธิบายแนวคิดเหล่านี้ในวิธีที่ง่าย

     $p$$p$

     

   • $p$$\sqrt{-4\pi\log(p)}$$5$$10$

   
   สำหรับคำวิจารณ์สั้น ๆ เกี่ยวกับกระดาษของ Johnson ดูคำตอบของ Andrew Gelman และ @ Xi'anใน PNAS สำหรับการโต้แย้งโต้แย้งกับ Berger & Sellke 1987 ให้ดูCasella & Berger 1987 (Berger ที่แตกต่างกัน!) ในบรรดาเอกสารการอภิปรายของ APA สตีเฟ่นเซนน์โต้แย้งอย่างชัดเจนต่อวิธีการใด ๆ เหล่านี้:

   $P$

   ดูการอ้างอิงในบทความของ Senn รวมถึงรายการที่บล็อกของ Mayo

4. คำสั่ง ASA แสดงรายการ "การสร้างแบบจำลองเชิงทฤษฎีการตัดสินใจและอัตราการค้นพบที่ผิดพลาด" เป็นอีกทางเลือกหนึ่ง ฉันไม่รู้ว่าพวกเขากำลังพูดถึงอะไรและฉันก็มีความสุขที่เห็นสิ่งนี้ตามที่ระบุไว้ในกระดาษอภิปรายโดยสตาร์ค:

   $p$$p$

$p$$p$$p$$p$$p$

หากต้องการอ้างอิงจากบทความสนทนาของ Andrew Gelman:

$p$$p$

และจาก Stephen Senn:

$P$

$p<0.05$$p$

[... ] ไม่ต้องมองหาเวทมนตร์ทางเลือกให้กับ NHST พิธีกรรมเชิงกลเชิงวัตถุอื่น ๆ เพื่อแทนที่มัน มันไม่มีอยู่จริง

นี่คือสองเซ็นต์ของฉัน

ฉันคิดว่าในบางจุดนักวิทยาศาสตร์หลายคนกล่าวว่า "ทฤษฎีบท" ดังต่อไปนี้:

$p\text{-value}<0.05\Leftrightarrow \text{my hypothesis is true}.$

และการปฏิบัติที่ไม่ดีส่วนใหญ่มาจากที่นี่

$p$

ฉันเคยทำงานกับคนที่ใช้สถิติโดยไม่เข้าใจจริงๆและนี่คือสิ่งที่ฉันเห็น:

1. $p<0.05$

2. $p<0.05$

3. $0.05$

ทั้งหมดนี้ทำโดยนักวิทยาศาสตร์ที่มีความรอบรู้และซื่อสัตย์ไม่มีความรู้สึกรุนแรงในการโกง ทำไม IMHO เพราะทฤษฎีบท 1

$p$$0.05$$p$$<0.05$$p$$<0.05$

$p$

$p$

$p$$>0.05$

4. $H_0: \mu_1 \ne \mu_2$$p$$H_0$$p=0.2$

$p$$p(\mu_1>\mu_2|x)$$p(\mu_1<\mu_2|x)$$\mu_1>\mu_2$$\mu_2>\mu_1$

อีกกรณีที่เกี่ยวข้องคือเมื่อผู้เชี่ยวชาญต้องการ:

5. $\mu_1>\mu_2>\mu_3$$\mu_1=\mu_2=\mu_3$$\mu_1>\mu_2>\mu_3$

การกล่าวถึงสมมุติฐานทางเลือกเป็นทางแก้ปัญหาเดียวในการแก้ปัญหานี้

ดังนั้นการใช้อัตราต่อรองหลังปัจจัยเบย์หรืออัตราส่วนความน่าจะเป็นร่วมกันด้วยความมั่นใจ / ช่วงเวลาที่น่าเชื่อถือดูเหมือนว่าจะลดปัญหาหลักที่เกี่ยวข้อง

$p$

$p$$p$

บทสรุปสองเซ็นต์ของฉัน

$p$

$P$

1. ซอฟต์แวร์เพิ่มเติมสามารถใช้ได้สำหรับวิธีการที่ใช้บ่อยกว่าวิธีแบบเบย์
2. ขณะนี้การวิเคราะห์แบบเบย์บางอย่างใช้เวลานานในการทำงาน
3. วิธีการแบบเบย์ต้องการการคิดและการลงทุนที่มากขึ้น ฉันไม่สนใจส่วนการคิด แต่เวลามักสั้นดังนั้นเราจึงใช้ทางลัด
4. bootstrap เป็นเทคนิคประจำวันที่มีความยืดหยุ่นสูงและมีประโยชน์ซึ่งเชื่อมต่อกับโลกของผู้ใช้บ่อยกว่า Bayesian

$P$$P$ ทำให้ต้องทำการปรับหลายระดับโดยพลการแม้กระทั่งการปรับเปลี่ยนลักษณะข้อมูลที่อาจส่งผลกระทบ แต่จริง ๆ แล้วไม่ได้

$P$

ยกเว้นแบบจำลองเชิงเส้นแบบเกาส์และการแจกแจงแบบ exponential เกือบทุกอย่างที่เราทำกับการอนุมานแบบบ่อยนั้นเป็นค่าประมาณ (ตัวอย่างที่ดีคือแบบจำลองลอจิสติกแบบไบนารีซึ่งทำให้เกิดปัญหา ด้วยการอนุมานแบบเบย์ทุกสิ่งจะถูกต้องภายในข้อผิดพลาดในการจำลอง (และคุณสามารถจำลองเพิ่มเติมเพื่อรับความน่าจะเป็นหลัง / ช่วงเวลาที่น่าเชื่อถือ)

ฉันได้เขียนบัญชีโดยละเอียดเกี่ยวกับความคิดและการวิวัฒนาการของฉันที่http://www.fharrell.com/2017/02/my-journey-from-frequentist-to-bayesian.html

ผู้ทำนายยอดเยี่ยมScott Armstrongจาก Wharton ตีพิมพ์บทความเมื่อเกือบ 10 ปีที่แล้วที่มีชื่อว่าSignificance Tests Harm Progress ความคืบหน้าในการพยากรณ์ในวารสารระหว่างประเทศเกี่ยวกับการพยากรณ์วารสารที่เขาร่วมก่อตั้ง แม้ว่านี่จะเป็นการคาดการณ์ แต่ก็สามารถสรุปได้ทั่วไปในการวิเคราะห์ข้อมูลหรือการตัดสินใจใด ๆ ในบทความเขาระบุว่า:

"การทดสอบนัยสำคัญทางสถิติเป็นอันตรายต่อความก้าวหน้าทางวิทยาศาสตร์ความพยายามในการค้นหาข้อยกเว้นสำหรับข้อสรุปนี้มีจนถึงปัจจุบันไม่มีใครเลย"

นี่คือการอ่านที่ยอดเยี่ยมสำหรับผู้ที่สนใจในมุมมองตรงกันข้ามของการทดสอบอย่างมีนัยสำคัญและค่า P

เหตุผลที่ฉันชอบบทความนี้เป็นเพราะ Armstrong ให้ทางเลือกในการทดสอบความสำคัญซึ่งรวบรัดและสามารถเข้าใจได้ง่ายโดยเฉพาะอย่างยิ่งสำหรับผู้ที่ไม่ใช่นักสถิติเช่นฉัน นี่เป็นความคิดเห็นที่ดีกว่าบทความ ASA ที่อ้างถึงในคำถาม:

ทั้งหมดนี้ฉันยังคงกอดและนับตั้งแต่หยุดใช้การทดสอบที่สำคัญหรือดูค่า P ยกเว้นเมื่อฉันทำการทดลองแบบสุ่มหรือการทดลองแบบกึ่งทดลอง ฉันต้องเพิ่มการทดลองแบบสุ่มมีน้อยมากในทางปฏิบัติยกเว้นในอุตสาหกรรมยา / วิทยาศาสตร์เพื่อชีวิตและในบางสาขาในวิศวกรรม

$p$

$p$. ฉันยังคงคิดว่านี่เป็นวิธีการที่เพียงพอซึ่งทำให้เกิดคำถามเกี่ยวกับการบังคับใช้ทางวิทยาศาสตร์ของการค้นพบในมือของผู้เชี่ยวชาญด้านเนื้อหาเหล่านั้น ตอนนี้ข้อผิดพลาดที่เราพบในแอปพลิเคชั่นที่ทันสมัยนั้นไม่ได้เป็นความผิดพลาดทางสถิติในฐานะวิทยาศาสตร์ ที่เล่นก็คือการตกปลาการคาดการณ์และการพูดเกินจริง ที่จริงถ้า (พูด) ผู้เชี่ยวชาญโรคหัวใจควรนอนและอ้างว่ายาที่ลดความดันโลหิตเฉลี่ย 0.1 มม. ปรอทเป็น "นัยสำคัญทางคลินิก" ไม่มีสถิติใดที่จะป้องกันเราจากความไม่ซื่อสัตย์ประเภทนั้น

เราจำเป็นต้องยุติการตัดสินใจเชิงอนุมานเชิงสถิติ เราควรพยายามคิดให้ดีเกินกว่าสมมติฐาน ช่องว่างที่เพิ่มขึ้นระหว่างยูทิลิตี้ทางคลินิกและการขับเคลื่อนการตรวจสอบสมมติฐานทำให้ความสมบูรณ์ของวิทยาศาสตร์ลดลง การศึกษา "ที่สำคัญ" นั้นมีการชี้นำอย่างมาก แต่ไม่ค่อยให้สัญญากับการค้นพบที่มีความหมายทางคลินิก

สิ่งนี้ชัดเจนถ้าเราตรวจสอบคุณสมบัติของข้อสรุปที่ขับเคลื่อนด้วยการอนุมาน:

• สมมติฐานว่างที่ระบุไว้มีการวางแผนไม่เห็นด้วยกับความรู้ในปัจจุบันและท้าทายเหตุผลหรือความคาดหวัง
• สมมติฐานอาจมีการเปลี่ยนแปลงไปจนถึงจุดที่ผู้เขียนพยายามทำให้ สถิติไม่ค่อยสอดคล้องกับการสนทนาที่ตามมาในบทความมากนักกับผู้เขียนที่อ้างถึงว่าตัวอย่างเช่นการศึกษาเชิงสังเกตการณ์ของพวกเขามีผลกระทบต่อนโยบายสาธารณะและการเผยแพร่ประชาสัมพันธ์
• สมมติฐานมีแนวโน้มที่จะไม่สมบูรณ์ในแง่ที่ว่าพวกเขาไม่ได้กำหนดจำนวนประชากรที่น่าสนใจอย่างเพียงพอและมีแนวโน้มที่จะนำไปสู่

สำหรับฉันแล้วทางเลือกนั้นมีวิธีการวิเคราะห์อย่างน้อยก็เป็นวิธีเชิงคุณภาพ ผลลัพธ์ทั้งหมดควรได้รับการตรวจอย่างเข้มงวดกับการค้นพบและความแตกต่าง "ที่คล้ายกัน" อื่น ๆ ที่อธิบายอย่างระมัดระวังโดยเฉพาะอย่างยิ่งโดยเฉพาะอย่างยิ่งเกณฑ์การยกเว้น / การแยกหน่วยหรือเครื่องชั่งที่ใช้สำหรับการเปิดเผย / ผลลัพธ์ )

เราต้องดำเนินการทดลองยืนยันอิสระ ผู้คนจำนวนมากถูกยั่วยุโดยการทดลองที่สำคัญเพียงครั้งเดียว แต่หากไม่มีการทำซ้ำเราไม่สามารถเชื่อมั่นได้ว่าการศึกษานั้นถูกต้องตามหลักจริยธรรม หลายคนสร้างอาชีพทางวิทยาศาสตร์จากหลักฐานที่ผิดพลาด

$p$$p$$p$

สองการอ้างอิงจากวรรณกรรมทางการแพทย์คือ (1) โดย Langman, MJS มีสิทธิ์ในการประมาณและช่วงความเชื่อมั่น และการ์ดเนอร์ MJ และ Altman, DG ได้รับช่วงความเชื่อมั่นมากกว่าค่า {P}: การประมาณค่ามากกว่าการทดสอบสมมติฐาน

ตัวเลือกของฉันคือการใช้ค่า p ต่อไป แต่เพียงเพิ่มความมั่นใจ / ช่วงเวลาที่เชื่อถือได้และอาจเป็นช่วงระยะการทำนายผลลัพธ์หลัก มีหนังสือที่ดีมากโดยดักลาสอัลท์แมน (สถิติที่มีความเชื่อมั่นไวลีย์) และด้วยวิธีเพิ่มประสิทธิภาพและวิธีการ MCMC คุณสามารถสร้างช่วงเวลาที่มีเหตุผลได้อย่างมีเหตุผล

$p$

• พัฒนาแบบจำลองที่ซับซ้อนยิ่งขึ้นซึ่งสามารถจำลองผลลัพธ์ในประชากรเป้าหมาย
• ระบุและวัดคุณลักษณะของประชากรเป้าหมายที่สามารถนำไปใช้ในการตัดสินใจการรักษาหรือนโยบาย
• ประมาณการโดยใช้วิธีการจำลองการสูญเสียที่คาดหวังในหน่วยดิบของปริมาณเป้าหมายเช่นปีชีวิต, ปีการปรับปรุงคุณภาพชีวิต, ดอลลาร์, ผลผลิตพืชผล ฯลฯ และเพื่อประเมินความไม่แน่นอนของการประมาณการนั้น

โดยทั้งหมดนี่ไม่ได้ขัดขวางการทดสอบความสำคัญของสมมติฐานปกติ แต่เป็นการเน้นย้ำว่าการค้นพบที่สำคัญทางสถิตินั้นเร็วมากขั้นตอนตัวกลางบนเส้นทางสู่การค้นพบที่แท้จริงและเราควรคาดหวังว่านักวิจัยจะทำอะไรได้มากกว่า