สถิติแบบเบย์อย่างแท้จริงเป็นการปรับปรุงทางสถิติแบบดั้งเดิม (บ่อยครั้ง) สำหรับการวิจัยเชิงพฤติกรรมหรือไม่?

ในขณะที่เข้าร่วมการประชุมมีการผลักดันเล็กน้อยจากผู้สนับสนุนของสถิติแบบเบย์สำหรับการประเมินผลการทดลอง มันได้รับการโอ้อวดว่ามีทั้งความละเอียดอ่อนที่เหมาะสมและเลือกที่มีต่อการค้นพบของแท้ (บวกเท็จน้อยกว่า) กว่าสถิติบ่อยครั้ง

ฉันสำรวจหัวข้อบ้างแล้วและฉันก็ยังไม่มั่นใจในประโยชน์ที่ได้รับจากการใช้สถิติแบบเบย์ การวิเคราะห์แบบเบย์ถูกใช้เพื่อหักล้างการวิจัยของดาริลเบมที่สนับสนุนการคิดล่วงหน้าอย่างไรก็ตามฉันยังคงสงสัยอย่างรอบคอบเกี่ยวกับวิธีการวิเคราะห์แบบเบย์อาจมีประโยชน์แม้กระทั่งงานวิจัยของฉันเอง

ดังนั้นฉันอยากรู้เกี่ยวกับสิ่งต่อไปนี้:

พลังในการวิเคราะห์แบบเบย์กับการวิเคราะห์ที่ใช้บ่อย
ข้อผิดพลาดความไวต่อการพิมพ์ 1 ในการวิเคราะห์แต่ละประเภท
การแลกเปลี่ยนในความซับซ้อนของการวิเคราะห์ (Bayesian ดูซับซ้อนกว่า) กับผลประโยชน์ที่ได้รับ การวิเคราะห์ทางสถิติแบบดั้งเดิมนั้นตรงไปตรงมาพร้อมแนวทางที่เป็นที่ยอมรับสำหรับข้อสรุปการวาด ความเรียบง่ายอาจถูกมองว่าเป็นประโยชน์ คุ้มค่าไหมที่จะยอมแพ้?

ขอบคุณสำหรับความเข้าใจใด ๆ !

bayesian power frequentist

— OneStop
แหล่งที่มา

สถิติแบบเบย์เป็นสถิติดั้งเดิมคุณสามารถยกตัวอย่างที่ชัดเจนสำหรับสิ่งที่คุณหมายถึงเป็นสถิติดั้งเดิมได้หรือไม่

@OphirYoktan: เขากำลังพูดถึงความน่าจะเป็นความถี่เทียบกับความน่าจะเป็นแบบเบย์ มันถูกกล่าวถึงแม้ในชื่อคำถาม

ฉันคิดว่าคำถามนี้ควรจะถูกย้ายไปที่นี่: stats.stackexchange.com

— Mark Lapierre

ฉันถามคำถามเกี่ยวกับเมตาว่าควรเป็นหัวข้อหรือไม่

ฉันคิดว่าคำถามนี้อาจมีคำตอบที่ "ดี" หรือ "ถูกต้อง" เช่นหากมีคนบอกว่า "สำหรับการทดสอบบ่อยครั้งทุกครั้งที่มีข้อผิดพลาดประเภท 1และข้อผิดพลาดประเภท 2จะมีการทดสอบแบบเบส์พร้อมข้อผิดพลาดประเภท 1และข้อผิดพลาดประเภท 2 " นี่เป็นคำตอบที่ดี . หรือบางอย่างเช่น "การทดสอบเป็นประจำทุกครั้งเทียบเท่ากับการทดสอบแบบเบย์โดยไม่มีความรู้มาก่อน" เช่นนี้ไม่จำเป็นต้องเป็นสงครามทางศาสนาระหว่างผู้ใช้บ่อยและชาวเบย์ ฉันโต้เถียงเพียงเพราะฉันไม่เข้าใจว่าคำตอบเกี่ยวข้องกับคำถามเฉพาะใน OP อย่างไร

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

คำตอบ:

การตอบสนองอย่างรวดเร็วต่อเนื้อหาหัวข้อย่อย:

1) ข้อผิดพลาด Power / Type 1 ในการวิเคราะห์แบบเบย์กับการวิเคราะห์ที่ใช้บ่อย

การถามเกี่ยวกับ Type 1 และกำลังงาน (เช่นหนึ่งลบความน่าจะเป็นของข้อผิดพลาด Type 2) หมายความว่าคุณสามารถใส่ปัญหาการอนุมานลงในกรอบการสุ่มตัวอย่างซ้ำ คุณสามารถ? หากคุณทำไม่ได้ก็ไม่มีทางเลือกมากนัก แต่ต้องย้ายออกจากเครื่องมืออนุมานที่ใช้บ่อย ถ้าคุณทำได้และถ้าพฤติกรรมของตัวประมาณของคุณกับกลุ่มตัวอย่างจำนวนมากนั้นมีความเกี่ยวข้องกันและถ้าคุณไม่สนใจทำงบความน่าจะเป็นเกี่ยวกับเหตุการณ์บางอย่างโดยเฉพาะฉันก็ไม่มีเหตุผลที่จะย้าย

การโต้เถียงที่นี่ไม่ใช่ว่าสถานการณ์ดังกล่าวจะไม่เกิดขึ้น - แน่นอนว่าพวกเขาทำ - แต่พวกเขามักจะไม่เกิดขึ้นในสาขาที่ใช้วิธีการ

2) การแลกเปลี่ยนในความซับซ้อนของการวิเคราะห์ (Bayesian ดูซับซ้อนกว่า) กับผลประโยชน์ที่ได้รับ

มันเป็นสิ่งสำคัญที่จะถามว่าความซับซ้อนไปที่ไหน ในขั้นตอนการดำเนินการบ่อยครั้งอาจง่ายมากเช่นลดผลรวมของกำลังสองน้อยลง แต่หลักการอาจซับซ้อนโดยพลการโดยทั่วไปจะหมุนไปรอบ ๆ เพื่อเลือกตัวประมาณวิธีหาการทดสอบที่ถูกต้องสิ่งที่ต้องคิดเมื่อ พวกเขาไม่เห็นด้วย สำหรับตัวอย่าง ดูการสนทนาที่ยังมีชีวิตชีวาหยิบขึ้นมาในฟอรัมนี้ด้วยช่วงความมั่นใจที่แตกต่างกันตามสัดส่วน!

ในขั้นตอนของเบย์การดำเนินการอาจซับซ้อนโดยพลการแม้ในรูปแบบที่ดูเหมือนว่าพวกเขาควรจะเรียบง่ายมักจะเป็นเพราะอินทิกรัยาก แต่หลักการนั้นง่ายมาก มันค่อนข้างจะขึ้นอยู่กับว่าคุณต้องการความยุ่งเหยิงแบบไหน

3) การวิเคราะห์ทางสถิติแบบดั้งเดิมนั้นตรงไปตรงมาพร้อมแนวทางที่เป็นที่ยอมรับสำหรับการสรุป

โดยส่วนตัวแล้วฉันจำไม่ได้อีกต่อไป แต่แน่นอนว่านักเรียนของฉันไม่เคยพบสิ่งที่ตรงไปตรงมาส่วนใหญ่เนื่องมาจากการแพร่กระจายของหลักการที่อธิบายไว้ข้างต้น แต่คำถามนั้นไม่ได้เป็นจริงว่าขั้นตอนนั้นตรงไปตรงมาหรือไม่ แต่อยู่ใกล้กับความถูกต้องหรือไม่เนื่องจากโครงสร้างของปัญหา

ในที่สุดฉันก็ไม่เห็นด้วยอย่างยิ่งว่ามี "แนวทางที่เป็นที่ยอมรับสำหรับการสรุปข้อสรุป" ในกระบวนทัศน์ทั้งสอง และฉันคิดว่านั่นเป็นสิ่งที่ดี แน่นอนว่า "find p <.05" เป็นแนวทางที่ชัดเจน แต่สำหรับรุ่นใดมีการแก้ไขอะไร ฯลฯ และฉันต้องทำอย่างไรเมื่อการทดสอบไม่เห็นด้วย? จำเป็นต้องมีการตัดสินทางวิทยาศาสตร์หรือวิศวกรรมที่นี่เช่นที่อื่น

— conjugateprior
แหล่งที่มา

ฉันไม่แน่ใจว่าการถามเกี่ยวกับข้อผิดพลาดประเภท 1 / ประเภท 2 หมายถึงอะไรเกี่ยวกับกรอบการสุ่มตัวอย่างซ้ำ ๆ ดูเหมือนว่าแม้ว่าสมมติฐานว่างเปล่าของฉันจะไม่สามารถสุ่มตัวอย่างซ้ำ ๆ ได้มันก็ยังมีความหมายที่จะถามเกี่ยวกับความน่าจะเป็นของข้อผิดพลาดประเภท 1 แน่นอนว่าความน่าจะเป็นในกรณีนี้ไม่ได้อยู่เหนือสมมติฐานที่เป็นไปได้ทั้งหมด แต่จะครอบคลุมตัวอย่างที่เป็นไปได้ทั้งหมดจากสมมติฐานเดียวของฉัน

— SheldonCooper

ฉันดูเหมือนว่าอาร์กิวเมนต์ทั่วไปคือ: แม้ว่าการทำข้อผิดพลาดประเภท 1 (หรือ 2) สามารถกำหนดได้สำหรับการอนุมาน 'one shot' (Type 1 vs 2 เป็นเพียงส่วนหนึ่งของ typology ของความผิดพลาดที่ฉันสามารถทำได้) เว้นแต่ฉัน การทำผิดพลาดนี้จะถูกฝังอยู่ในการทดลองซ้ำแล้วซ้ำอีกประเภทของข้อผิดพลาดอาจมีความน่าจะเป็นที่เกิดขึ้นบ่อย

— conjugateprior

สิ่งที่ฉันพูดคือการสร้างข้อผิดพลาดประเภท 1 (หรือ 2) มักจะถูกฝังอยู่ในการทดลองซ้ำ ๆ เสมอ การทดลองแต่ละครั้งเป็นการสุ่มตัวอย่างชุดของการสังเกตจากสมมติฐานว่าง ดังนั้นแม้ว่ามันจะเป็นเรื่องยากที่จะจินตนาการถึงการสุ่มตัวอย่างสมมติฐานที่แตกต่างกันการทดลองซ้ำยังคงอยู่ที่นั่นเพราะมันเป็นเรื่องง่ายที่จะจินตนาการการสุ่มตัวอย่างชุดการสังเกตที่แตกต่างจากสมมติฐานเดียวกัน

— SheldonCooper

ไขปัญหาให้ฉันอย่างนี้: ใครจะเลือก "สุ่มได้อย่างไร" เช่นสมมติว่าคุณมีโกศบางคนกำลังสุ่มตัวอย่าง "ที่สุ่ม" จากโกศ สมมติว่ามี "ผู้สังเกตการณ์อัจฉริยะ" ด้วยและพวกเขาก็รู้เนื้อหาที่แน่นอนของโกศ การสุ่มตัวอย่างยังคง "สุ่ม" แม้ว่า "ผู้สังเกตการณ์อัจฉริยะ" สามารถคาดการณ์ได้อย่างแน่นอนว่าจะมีการวาดอะไรออกมาบ้าง มีอะไรเกี่ยวกับโกศเปลี่ยนไปหากพวกเขาไม่อยู่อีกต่อไป?

— ความน่าจะเป็นทางการ

ปัญหาที่ฉันมีกับธรรมชาติ "ซ้ำ ๆ " ของผู้ใช้บ่อยคือเพื่อให้ทำงานได้สภาพต้องเหมือนเดิม แต่ถ้าเงื่อนไขยังคงเหมือนเดิมคุณควรรวมกลุ่มข้อมูลของคุณเข้าด้วยกันและได้รับการประเมินที่ดีขึ้น ผู้ใช้บ่อยจะไม่สนใจข้อมูลที่ผ่านมาอย่างแม่นยำภายใต้เงื่อนไขเมื่อมีเหตุผลที่จะต้องคำนึงถึง

— ความน่าจะเป็นทางการ

สถิติแบบเบย์สามารถได้มาจากหลักการเชิงตรรกะบางประการ ลองค้นหา "ความน่าจะเป็นแบบขยายตรรกะ" และคุณจะพบการวิเคราะห์เชิงลึกของพื้นฐาน แต่โดยทั่วไปสถิติแบบเบย์วางอยู่บนพื้นฐานของ "desiderata" หรือหลักการเชิงบรรทัดฐานสามประการ:

ความน่าเชื่อถือของข้อเสนอจะถูกแสดงด้วยจำนวนจริงเดียว
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
plausability ของข้อเสนอคือการได้รับการคำนวณอย่างต่อเนื่อง นี่หมายถึงก) หากความน่าเชื่อถือสามารถให้เหตุผลได้มากกว่า 1 วิธีคำตอบทั้งหมดต้องเท่ากัน b) ในสองปัญหาที่เรานำเสนอด้วยข้อมูลเดียวกันเราต้องกำหนดความน่าเชื่อถือแบบเดียวกัน; และ c) เราต้องคำนึงถึงข้อมูลทั้งหมดที่มีอยู่ เราจะต้องไม่เพิ่มข้อมูลที่ไม่มีและเราจะต้องไม่เพิกเฉยข้อมูลที่เรามี

ทั้งสาม desiderata (พร้อมกับกฎของตรรกะและทฤษฎีเซต) กำหนดผลรวมและกฎผลิตภัณฑ์ของทฤษฎีความน่าจะเป็นที่ไม่ซ้ำกัน ดังนั้นหากคุณต้องการให้เหตุผลตามสามสิ่งที่กล่าวมาข้างต้นพวกเขาต้องยอมรับแนวทางแบบเบย์ คุณไม่จำเป็นต้องยอมรับ "ปรัชญาแบบเบย์" แต่คุณต้องนำผลลัพธ์ตัวเลขมาใช้ สามบทแรกของหนังสือเล่มนี้อธิบายสิ่งเหล่านี้ในรายละเอียดมากขึ้นและแสดงหลักฐาน

และสุดท้าย แต่ไม่ท้ายสุด "เครื่องจักรเบย์" เป็นเครื่องมือประมวลผลข้อมูลที่ทรงพลังที่สุดที่คุณมี นี่เป็นเพราะส่วนใหญ่ desiderata 3c) ใช้ข้อมูลทั้งหมดที่คุณมี (นี่ยังอธิบายว่าทำไม Bayes จึงซับซ้อนกว่าไม่ใช่ Bayes) อาจเป็นการยากที่จะตัดสินใจว่า "สิ่งที่เกี่ยวข้อง" โดยใช้สัญชาตญาณ ทฤษฎีบทของ Bayes ทำสิ่งนี้ให้คุณ (และมันทำได้โดยไม่ต้องเพิ่มสมมติฐานโดยพลการเช่นกันเนื่องจาก 3c)

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

ตอนนี้หากการคำนวณกลายเป็น "ยากเกินไป" คุณต้องประมาณตัวเลขหรือละเว้นข้อมูลบางอย่าง

สำหรับตัวอย่างจริงด้วยตัวเลขที่ได้ผลให้ดูคำตอบของคำถามนี้

— probabilityislogic
แหล่งที่มา

ฉันไม่แน่ใจว่าวิธีนี้ตอบคำถาม ผู้ที่พบบ่อยแน่นอนไม่เห็นด้วยกับ desideratum 1 จากรายการนี้ดังนั้นการโต้เถียงที่เหลือจึงไม่มีผลกับพวกเขา นอกจากนี้ยังไม่ตอบคำถามเฉพาะใด ๆ ใน OP เช่น "คือการวิเคราะห์แบบเบย์ที่มีประสิทธิภาพมากกว่าหรือมีข้อผิดพลาดน้อยกว่าการวิเคราะห์แบบบ่อย"

— SheldonCooper

@sheldoncooper - หากผู้สมัครไม่เห็นด้วยกับ desideratum 1 แล้วพวกเขาสามารถสร้างช่วงความมั่นใจ 95% บนพื้นฐานใดได้บ้าง พวกเขาจะต้องมีหมายเลขเพิ่มเติม

— ความน่าจะเป็นทางการที่

@sheldoncooper - และต่อไปการสุ่มตัวอย่างความน่าจะเป็นจะต้องถูกกำหนดใหม่เพราะมันมีเพียง 1 หมายเลขเท่านั้น ผู้ถกเถียงไม่สามารถปฏิเสธ desideratum 1 โดยไม่ปฏิเสธทฤษฎีของพวกเขาเอง

— ความน่าจะเป็นทาง

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

"พวกเขาไม่สามารถปฏิเสธ desideratum 1 โดยไม่ปฏิเสธทฤษฎีของพวกเขาเอง" - คุณหมายถึงอะไร? บ่อยครั้งที่ความคิดของ "ความน่าเชื่อถือ" ไม่มี พวกเขามีความคิดเกี่ยวกับ "ความถี่ของการเกิดขึ้นในการทดลองซ้ำ" ความถี่นี้เป็นไปตามเงื่อนไขที่คล้ายกับสามเดเดอราตาของคุณและทำให้เกิดขึ้นตามกฎที่คล้ายกัน ดังนั้นสำหรับสิ่งใดก็ตามที่กำหนดความคิดความถี่ไว้คุณสามารถใช้กฎความน่าจะเป็นได้โดยไม่มีปัญหาใด ๆ

— SheldonCooper

ฉันไม่คุ้นเคยกับสถิติ Bayesian ด้วยตนเอง แต่ฉันรู้ว่า Skeptics Guide to the Universe Episode 294 มีและสัมภาษณ์กับ Eric-Jan Wagenmakers ที่พวกเขาพูดคุยเกี่ยวกับสถิติ Bayesian นี่คือลิงค์ไปสู่พอดคาสต์: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294