อัตราส่วนความน่าจะเป็นและการเปรียบเทียบตัวแบบเบย์ให้ทางเลือกที่ดีกว่าและเพียงพอสำหรับการทดสอบสมมติฐานว่างหรือไม่?


13

ในการตอบสนองต่อร่างกายที่เพิ่มขึ้นของนักสถิติและนักวิจัยที่วิพากษ์วิจารณ์ยูทิลิตี้ของการทดสอบสมมติฐานว่าง (NHT) สำหรับวิทยาศาสตร์เป็นความพยายามสะสมสมาคมจิตวิทยาอเมริกันกองเรือรบในการอนุมานทางสถิติหลีกเลี่ยงการห้ามทันที NHT แต่แทนที่จะแนะนำว่านักวิจัย รายงานขนาดเอฟเฟกต์เพิ่มเติมจากค่า p ที่ได้จาก NHT

อย่างไรก็ตามขนาดของเอฟเฟกต์นั้นไม่สามารถสะสมได้ง่ายในการศึกษา วิธีการวิเคราะห์ Meta สามารถสะสมการกระจายขนาดผล แต่โดยทั่วไปขนาดคำนวณเป็นอัตราส่วนระหว่างขนาดผลดิบและ "เสียง" ไม่ได้อธิบายในข้อมูลของการทดลองที่กำหนดหมายความว่าการกระจายขนาดของผลกระทบไม่เพียง ความแปรปรวนในขนาดที่แท้จริงของผลกระทบในการศึกษา แต่ยังมีความแปรปรวนในการแสดงของเสียงในการศึกษา

ในทางตรงกันข้ามการวัดทางเลือกของความแข็งแรงของเอฟเฟกต์อัตราส่วนความน่าจะเป็นช่วยให้ตีความได้ง่ายทั้งบนพื้นฐานการศึกษาโดยการศึกษาและสามารถรวบรวมได้ง่ายในการศึกษาเพื่อการวิเคราะห์อภิมาน ในแต่ละการศึกษาโอกาสที่จะแสดงน้ำหนักของหลักฐานสำหรับแบบจำลองที่มีผลกระทบที่กำหนดเมื่อเทียบกับแบบจำลองที่ไม่ได้มีผลกระทบและโดยทั่วไปสามารถรายงานเป็นตัวอย่างเช่น "การคำนวณอัตราส่วนความน่าจะเป็นสำหรับผลของ X เผยหลักฐานเพิ่มเติมอีก 8 เท่าสำหรับเอฟเฟกต์มากกว่าโมฆะที่เกี่ยวข้อง " ยิ่งไปกว่านั้นอัตราส่วนความน่าจะเป็นยังอนุญาตให้แสดงถึงความแข็งแกร่งของการค้นพบโมฆะได้อย่างง่าย ๆ ในขณะที่อัตราส่วนความน่าจะเป็นต่ำกว่า 1 แสดงสถานการณ์ที่โมฆะได้รับการสนับสนุนและรับส่วนกลับของค่านี้แทนน้ำหนักของหลักฐาน โดยเฉพาะอย่างยิ่ง อัตราส่วนความน่าจะเป็นทางคณิตศาสตร์เป็นอัตราส่วนของความแปรปรวนที่ไม่ได้อธิบายของทั้งสองรุ่นซึ่งแตกต่างกันเฉพาะในความแปรปรวนที่อธิบายโดยผลกระทบและจึงไม่ได้เป็นแนวคิดขนาดใหญ่ออกจากขนาดผล ในอีกทางหนึ่งการคำนวณอัตราส่วนความน่าจะเป็น meta-analytic ซึ่งแสดงถึงน้ำหนักของหลักฐานสำหรับผลในการศึกษาเป็นเพียงเรื่องของการใช้ผลิตภัณฑ์ของอัตราส่วนความน่าจะเป็นในการศึกษา

ดังนั้นฉันยืนยันว่าสำหรับวิทยาศาสตร์ที่กำลังมองหาเพื่อสร้างระดับของหลักฐานขั้นต้นในความโปรดปรานของผลกระทบ / แบบจำลองอัตราส่วนความน่าจะเป็นเป็นวิธีที่จะไป

มีกรณีที่เหมาะสมยิ่งขึ้นซึ่งโมเดลสามารถสร้างความแตกต่างได้เฉพาะในขนาดเฉพาะของเอฟเฟกต์ซึ่งในกรณีนี้การแสดงช่วงเวลาที่เราเชื่อว่าข้อมูลสอดคล้องกับค่าพารามิเตอร์เอฟเฟกต์อาจต้องการ อันที่จริงคณะทำงาน APA ยังแนะนำให้มีการรายงานช่วงเวลาความเชื่อมั่นซึ่งสามารถนำมาใช้ในการนี้ แต่ฉันสงสัยว่านี่เป็นวิธีการที่ไม่ดี

ช่วงความเชื่อมั่นมักตีความผิดอย่างน่าเศร้า ( โดยนักเรียนและนักวิจัยเหมือนกัน ) ฉันยังกลัวว่าความสามารถของพวกเขาสำหรับใช้ใน NHT (โดยการประเมินการรวมศูนย์ภายใน CI) จะทำหน้าที่เฉพาะเพื่อชะลอการสูญพันธุ์ของ NHT เป็นวิธีปฏิบัติที่อนุมานต่อไป

แต่เมื่อทฤษฎีมีความแตกต่างกันเพียงขนาดของเอฟเฟกต์ฉันขอแนะนำว่าวิธีการแบบเบย์จะเหมาะสมกว่าโดยที่การกระจายก่อนหน้าของแต่ละเอฟเฟกต์จะถูกกำหนดโดยแต่ละโมเดลแยกกัน

วิธีการนี้แทนที่ค่า p ขนาดผลกระทบและช่วงความเชื่อมั่นด้วยอัตราส่วนความน่าจะเป็นและหากจำเป็นการเปรียบเทียบแบบจำลองแบบเบย์ดูเหมือนจะเพียงพอหรือไม่ มันพลาดคุณลักษณะที่จำเป็นบางอย่างที่ทางเลือกที่เป็นอันตรายที่นี่ให้หรือไม่?


อาจเป็นคำถามที่มุ่งเน้นมากขึ้น? บางทีวิธีการเชิงโอกาสในการมุ่งเน้นไปที่ปัญหาการอนุมานที่เฉพาะเจาะจง?
conjugateprior

2
แต่ในขณะที่เราอยู่ที่นี่: ในการอธิบาย: คุณได้รวมการวัดขนาดของเอฟเฟกต์ซึ่งมักจะระบุด้วยพารามิเตอร์สำหรับการวัดหลักฐานเชิงเปรียบเทียบสำหรับแบบจำลองที่สมบูรณ์หรือไม่ LRs ดูเหมือนผู้สมัครสำหรับหลังเท่านั้น นอกจากนี้หากคุณต้องการให้ฟังก์ชันความน่าจะเป็นอยู่คนเดียวหรือใช้ร่วมกันเพื่อบอกคุณทุกอย่างว่าข้อมูลกำลังพยายามบอกคุณเกี่ยวกับแบบจำลองแสดงว่าคุณเป็นแบบเบย์ เพราะนั่นคือหลักการความน่าจะเป็น (เข้ามาข้างใน :-) ที่น่ารักของน้ำ
conjugateprior

ชื่อเรื่องและย่อหน้าสรุปของคุณดูเหมือนจะไม่เห็นด้วยว่าคุณกำลังแนะนำให้ใช้ช่วงความมั่นใจหรือแทนที่พวกเขา
onestop

@onestop: แน่นอนฉันเพิ่งรู้ว่าฉันลืมเปลี่ยนชื่อ; ฉันเปลี่ยนใจเกี่ยวกับช่วงความมั่นใจขณะเขียนคำถาม ฉันได้แก้ไขชื่อตอนนี้ ขออภัยในความสับสน
Mike Lawrence

@Conjugate ก่อนหน้า: เห็นด้วยกับประโยคสองประโยคแรกของคุณโดยสมบูรณ์ แต่คุณสามารถยอมรับหลักการความน่าจะเป็นได้โดยไม่ต้องเป็นชาว Bayesian หากคุณไม่ชอบแนวคิดของนักบวชและการอนุมานฐานความเป็นไปได้เพียงอย่างเดียว - ดูหนังสือโดย Edwards books.google.co.th/books?id=2a_XZ-gvct4Cและ Royall books.google .com แม้ว่าจะมีใครบางคน (และฉันหวังว่าฉันจะจำได้ว่าใครและที่ไหน) เมื่อเปรียบกับการทำลายไข่ แต่ไม่ได้กินไข่เจียว
onestop

คำตอบ:


3

ข้อได้เปรียบหลักของวิธีการแบบเบย์อย่างน้อยสำหรับฉันในฐานะนักวิจัยด้านจิตวิทยาคือ:

1) ให้คุณสะสมหลักฐานเพื่อสนับสนุนโมฆะ

2) หลีกเลี่ยงปัญหาเชิงทฤษฎีและปฏิบัติของการทดสอบตามลำดับ

3) ไม่เสี่ยงที่จะปฏิเสธค่า null เพียงเพราะมีขนาดใหญ่ N (ดูจุดก่อนหน้า)

4) เหมาะกว่าเมื่อทำงานกับเอฟเฟกต์เล็ก ๆ (ที่มีเอฟเฟ็กต์ขนาดใหญ่ทั้งวิธีใช้บ่อยและวิธีเบย์แบบมีแนวโน้มที่จะเห็นพ้องต้องกันตลอดเวลา)

5) อนุญาตให้คนหนึ่งทำแบบจำลองลำดับชั้นในทางที่เป็นไปได้ ตัวอย่างเช่นการแนะนำไอเท็มและเอฟเฟกต์ของผู้เข้าร่วมในบางคลาสโมเดลเช่นโมเดล Multinomial Processing Tree จะต้องทำในกรอบ Bayesian มิฉะนั้นเวลาในการคำนวณจะนานมาก

6) ทำให้คุณมั่นใจในช่วง "มั่นใจ"

7) คุณต้องการ 3 สิ่ง: ความน่าจะเป็นนักบวชและความน่าจะเป็นของข้อมูล ครั้งแรกที่คุณได้รับจากข้อมูลของคุณที่สองที่คุณทำขึ้นและที่สามที่คุณไม่จำเป็นต้องได้สัดส่วน ตกลงบางทีฉันอาจพูดเกินจริงไปหน่อย ;-)

โดยรวมแล้วใคร ๆ ก็สามารถกลับคำถามของคุณได้: ทั้งหมดนี้หมายความว่าสถิตินักเล่นกีต้าร์คลาสสิคไม่เพียงพอหรือไม่? ฉันคิดว่าการพูดว่า "ไม่" เป็นคำตัดสินที่รุนแรงเกินไป ปัญหาส่วนใหญ่สามารถหลีกเลี่ยงได้หากมีค่าเกินกว่าค่า p และดูสิ่งต่างๆเช่นขนาดของเอฟเฟกต์ความเป็นไปได้ของเอฟเฟกต์ของไอเท็มและการทำซ้ำผลการวิจัยอย่างสม่ำเสมอ

แต่ไม่ใช่ทุกอย่างที่ง่ายกับเบย์ ใช้สำหรับการเลือกรุ่นอินสแตนซ์ที่มีโมเดลที่ไม่ซ้อนกัน ในกรณีเหล่านี้นักบวชมีความสำคัญอย่างยิ่งเนื่องจากพวกมันมีผลต่อผลลัพธ์อย่างมากและบางครั้งคุณไม่มีความรู้เกี่ยวกับโมเดลส่วนใหญ่ที่คุณต้องการทำงานด้วยเพื่อที่จะได้นักบวชที่ถูกต้อง นอกจากนี้ยังใช้เวลานาน reaaaally ....

ฉันทิ้งการอ้างอิงสองฉบับสำหรับใครก็ตามที่อาจสนใจดำน้ำใน Bayes

"หลักสูตรในการสร้างแบบจำลองกราฟิก Bayesian สำหรับวิทยาศาสตร์เกี่ยวกับความรู้ความเข้าใจ"โดย Lee และ Wagenmakers

"การสร้างแบบจำลองแบบเบย์โดยใช้ WinBUGS"โดย Ntzoufras

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.