ตัวอย่างของวิธีการแบบเบย์และวิธีการตอบคำถามบ่อยครั้ง

54

หมายเหตุ: ผมรู้สึกตระหนักถึงปรัชญาความแตกต่างระหว่างสถิติคชกรรมและ frequentist

ตัวอย่างเช่น "ความน่าจะเป็นที่เหรียญบนโต๊ะเป็นหัว" ไม่สมเหตุสมผลในสถิติบ่อยครั้งเนื่องจากมันมีหัวหรือก้อยแล้ว - ไม่มีความน่าจะเป็นเกี่ยวกับมัน ดังนั้นคำถามที่ไม่มีคำตอบในแง่บ่อย

แต่ความแตกต่างเป็นพิเศษไม่ได้ชนิดของความแตกต่างที่ฉันขอเกี่ยวกับ

แต่ฉันอยากรู้ว่าการคาดการณ์ของพวกเขาสำหรับคำถามที่มีรูปแบบที่ดีนั้นแตกต่างกันอย่างไรในโลกแห่งความเป็นจริงโดยไม่รวมความแตกต่างทางทฤษฎี / ปรัชญาเช่นตัวอย่างที่ฉันกล่าวถึงข้างต้น

ดังนั้นในคำอื่น ๆ :

ตัวอย่างของคำถามคืออะไรตอบได้ทั้งสถิติประจำและสถิติแบบเบย์ซึ่งคำตอบต่างจากทั้งสอง

(เช่นบางทีหนึ่งในนั้นตอบ "1/2" สำหรับคำถามเฉพาะและอีกคำตอบ "2/3")

มีความแตกต่างเช่นนี้หรือไม่?

ถ้าเป็นเช่นนั้นมีตัวอย่างอะไรบ้าง?
ถ้าไม่เช่นนั้นจริง ๆ แล้วมันจะสร้างความแตกต่างได้อย่างไรเมื่อฉันใช้สถิติแบบเบย์หรือสถิติที่พบบ่อยเมื่อแก้ไขปัญหาเฉพาะ
ทำไมฉันจะหลีกเลี่ยงสิ่งหนึ่งเพื่อประโยชน์ของผู้อื่น?

bayesian frequentist

— Mehrdad
แหล่งที่มา

8

John Kruschke เพิ่งสร้างวิดีโอสองเรื่องที่เขาเปรียบเทียบวิธีแบบเบย์และวิธีทางสถิติมาตรฐาน เขามีตัวอย่างมากมายที่วิธีการแบบเบย์ปฏิเสธ แต่วิธีมาตรฐานไม่ได้ อาจจะไม่ตรงกับสิ่งที่คุณกำลังมองหา แต่แล้ว ... youtu.be/YyohWpjl6KUและyoutu.be/IhlSD-lIQ_Y

— Rasmus Bååth

4

การแจกแจงทวินามให้อีกตัวอย่างหนึ่งที่การอนุมานบ่อย (ตามความน่าจะเป็น) และการอนุมานแบบเบย์ในบางกรณี ความเป็นไปได้ของโปรไฟล์ของพารามิเตอร์ไม่สลายเป็นเนื่องจาก ( ดู ) สำหรับตัวอย่างบางตัวอย่าง นี่ก็หมายความว่าบางช่วงความมั่นใจโอกาสมีความยาวไม่ จำกัด ในอีกด้านหนึ่งการกระจายหลังส่วนล่างของมักจะสลายตัวเป็นเมื่อเนื่องจากมันสามารถบูรณาการได้

N

$N$

0

$0$

N \to \infty

$N\rightarrow \infty$

N

$N$

0

$0$

N \to \infty

$N\rightarrow\infty$

@Procrastinator: ขอบคุณฉันกำลังดูสไลด์ที่กล่าวถึงในขณะนี้ ดูเหมือนว่าจะรุนแรงกว่าพื้นหลังทางคณิตศาสตร์ของฉันเล็กน้อย แต่หวังว่าฉันจะเอาอะไรออกไป :)

— Mehrdad

2

คุณอาจต้องการดูตัวอย่างของสโตน ฉันอธิบายมันในบล็อกของฉันที่นี่: normaldeviate.wordpress.com/2012/12/08/…

— Larry Wasserman

1

@mbq: แค่สงสัยว่าทำไมนี่ถึงทำให้ชุมชนเป็นวิกิ

— Mehrdad

9

ตัวอย่างนี้จะนำมาจากที่นี่ (ฉันคิดว่าฉันได้รับลิงค์นี้จาก SO แต่ไม่สามารถหาได้อีก)

เหรียญถูกโยนครั้งขึ้นมาหัวครั้ง หากต้องโยนอีกสองครั้งคุณจะเดิมพันสองหัวหรือไม่? สมมติว่าคุณไม่ได้เห็นผลลัพธ์ของการโยนครั้งแรกก่อนการโยนครั้งที่สอง (และยังมีเงื่อนไขอย่างเป็นอิสระใน ) เพื่อให้คุณไม่สามารถอัปเดตความคิดเห็นของคุณในในระหว่างการโยนทั้งสองครั้ง $n=14$ $k=10$ $\theta$ $\theta$

ตามความเป็นอิสระ จากนั้นการแจกแจงการทำนายที่กำหนดให้ -prior กลายเป็น

f (y_{f, 1} = heads, y_{f, 2} = heads | θ) = f (y_{f, 1} = heads) f (y_{f, 2} = heads | θ) = θ^{2} .

$f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)=f(y_{f,1}=\text{heads})f(y_{f,2}=\text{heads}|\theta)=\theta^2.$

Beta (α_{0}, β_{0})

$\text{Beta}(\alpha_0,\beta_0)$

\begin{array}{rcl} f (y_{f, 1} = heads, y_{f, 2} = heads | y) & = & \int f (y_{f, 1} = heads, y_{f, 2} = heads | θ) π (θ | y) d θ \\ = & \frac{Γ (α_{0} + β_{0} + n)}{Γ (α_{0} + k) Γ (β_{0} + n - k)} \int θ^{2} θ^{α_{0} + k - 1} {(1 - θ)}^{β_{0} + n - k - 1} d θ \\ = & \frac{Γ (α_{0} + β_{0} + n)}{Γ (α_{0} + k) Γ (β_{0} + n - k)} \frac{Γ (α_{0} + k + 2) Γ (β_{0} + n - k)}{Γ (α_{0} + β_{0} + n + 2)} \\ = & \frac{(α_{0} + k) \cdot (α_{0} + k + 1)}{(α_{0} + β_{0} + n) \cdot (α_{0} + β_{0} + n + 1)} \end{array}

$\begin{eqnarray*} f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|y)&=&\int f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)\pi(\theta|y)d\theta\notag\\ &=&\frac{\Gamma\left(\alpha _{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\int \theta^2\theta ^{\alpha _{0}+k-1}\left( 1-\theta \right) ^{\beta _{0}+n-k-1}d\theta\notag\\ &=&\frac{\Gamma\left(\alpha_{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\frac{\Gamma\left(\alpha_{0}+k+2\right)\Gamma\left(\beta_{0}+n-k\right)}{\Gamma\left(\alpha_{0}+\beta_{0}+n+2\right)}\notag\\ &=&\frac{(\alpha_{0}+k)\cdot(\alpha_{0}+k+1)}{(\alpha_{0}+\beta_{0}+n)\cdot(\alpha_{0}+\beta_{0}+n+1)} \end{eqnarray*}$ สำหรับเครื่องแบบก่อนหน้า ( a

Beta (1, 1)

$\text{Beta}(1, 1)$ - ก่อนหน้า) สิ่งนี้ให้ประมาณ. 485 ดังนั้นคุณอาจจะไม่เดิมพัน จาก MLE 10/14 คุณจะคำนวณความน่าจะเป็นของสองหัวเช่นว่าการเดิมพันจะสมเหตุสมผล

(10 / 14)^{2} \approx .51

$(10/14)^2\approx.51$

— Christoph Hanck
แหล่งที่มา

+1 คำตอบที่ฉันต้องการอย่างแน่นอน

— Mehrdad

5

ที่จริงแล้วมีการอัพเดทโพสต์ที่อ้างอิงในคำตอบ ... แม้ว่าเขาจะออกจากโพสต์ "แทนที่จะใช้เครื่องแบบกระจายก่อนหน้านี้เราสามารถเป็นผู้ไม่เชื่อเรื่องพระเจ้ามากขึ้นในกรณีนี้เราสามารถใช้เบต้า ( 0,0) การแจกแจงก่อนหน้าการแจกแจงแบบนี้สอดคล้องกับกรณีที่การแจกแจงเฉลี่ยใด ๆ มีโอกาสเท่ากันในกรณีนี้ทั้งสองวิธี Bayesian และผู้ใช้บ่อย ๆ ให้ผลลัพธ์แบบเดียวกัน " !!! ดังนั้นเรายังต้องการตัวอย่างเพื่อตอบคำถามนี้! ดังนั้น +1 กับคำตอบด้านล่างเป็นคำตอบที่แท้จริงสำหรับคำถามนี้

— user1745038

10

ดูคำถามของฉันที่นี่ซึ่งกล่าวถึงบทความโดย Edwin Jaynes ที่ให้ตัวอย่างของช่วงความเชื่อมั่นที่สร้างขึ้นอย่างถูกต้องบ่อยครั้งที่มีข้อมูลเพียงพอในตัวอย่างที่จะรู้ว่าค่าที่แท้จริงของสถิติอยู่ที่ไหนในช่วงความมั่นใจ ( และดังนั้นช่วงความมั่นใจจึงแตกต่างจากช่วงเวลาที่น่าเชื่อถือแบบเบย์)

อย่างไรก็ตามเหตุผลนี้คือความแตกต่างในคำจำกัดความของช่วงความเชื่อมั่นและช่วงเวลาที่น่าเชื่อถือซึ่งในทางกลับกันเป็นผลโดยตรงจากความแตกต่างในคำจำกัดความความน่าจะเป็นประจำและแบบเบย์ หากคุณขอให้ชาวเบย์สร้างช่วงความเชื่อมั่นแบบเบย์ (แทนที่จะเป็นที่น่าเชื่อถือ) ฉันก็สงสัยว่ามันจะมีช่วงเวลาก่อนหน้าเสมอซึ่งช่วงเวลาจะเท่าเดิมดังนั้นความแตกต่างจะลดลงไปก่อน

ไม่ว่าวิธีการแบบประจำหรือแบบเบย์นั้นเหมาะสมหรือไม่นั้นขึ้นอยู่กับคำถามที่คุณต้องการโพสต์และในตอนท้ายของวันมันเป็นความแตกต่างในปรัชญาที่ตัดสินใจตอบคำตอบ

มันอาจจะเป็นที่ถกเถียงกันอยู่ว่าในระยะยาวเป็นเหตุผลที่เหมาะสมในการกำหนดความสัมพันธ์ของความน่าเชื่อถือของข้อเสนอซึ่งในกรณีนี้บ่อย ๆ เป็นเรื่องแปลก ๆ เล็กน้อยสถิติอัตนัย Bayesianism - คำถามใด ๆ ที่สามารถตอบคำถามบ่อย ๆ เบย์เซียนผู้ถกเถียงสามารถตอบด้วยวิธีเดียวกันหรือในทางอื่นก็ควรเลือกนักบวชที่แตกต่างกัน ; o)

— Dikran Marsupial
แหล่งที่มา

4

การใช้ "อัตนัย Bayesian" เป็นบิตของการก่อวินาศกรรมด้วยตนเอง ( ดู ) การสร้างแบบจำลองโดยทั่วไปเต็มไปด้วยอัตชีวประวัติทางเลือกของการแจกแจงสำหรับการสร้างแบบจำลองตัวอย่างก็เป็นแบบอัตนัยเช่นกัน แม้แต่ทางเลือกที่ดีของการทดสอบแบบพอดีเพื่อตรวจสอบว่าแบบจำลองบางแบบมีเหตุผลหรือไม่

2

ฉันไม่เห็นด้วยกับสิ่งนั้นหากมีคนคิดว่า "อัตนัย" เป็นการให้ความเท็จนั่นเป็นข้อผิดพลาดของพวกเขา บางครั้งเมื่อเราหมายถึงความเป็นไปได้เราหมายถึงความเชื่อส่วนตัวแบบส่วนตัว - ฉันไม่เห็นเหตุผลที่จะไม่เรียกมันว่าถ้านั่นคือสิ่งที่มีความหมายจริง (เลือกที่จะรับเฉพาะความถี่ในระยะยาวเท่านั้น

— Dikran Marsupial

1

+1 ขอบคุณสำหรับลิงค์มันแจ่มมาก และสำหรับบันทึกความแตกต่างระหว่างความเชื่อมั่นและช่วงเวลาที่น่าเชื่อถือเช่นกัน

— Mehrdad

8

ฉันเชื่อว่าบทความนี้ให้ความรู้สึกที่เป็นประโยชน์มากขึ้นเกี่ยวกับการแลกเปลี่ยนในการใช้งานจริงระหว่างทั้งสอง ส่วนหนึ่งอาจเป็นเพราะฉันชอบช่วงเวลามากกว่าการทดสอบ

Gustafson, P. และ Greenland, S. (2009) ประมาณค่าแบบช่วงสำหรับยุ่งสังเกตข้อมูล วิทยาศาสตร์สถิติ 24: 328–342

ในเรื่องเกี่ยวกับช่วงเวลามันอาจคุ้มค่าที่จะระลึกไว้เสมอว่าช่วงความเชื่อมั่นบ่อยครั้งนั้นต้องการ / ครอบคลุมความต้องการสม่ำเสมอ (หรืออย่างน้อยที่สุดก็ดีกว่า x% สำหรับแต่ละค่าพารามิเตอร์ที่ไม่มีความน่าจะเป็นศูนย์) และหากไม่มี มี - พวกเขาไม่มั่นใจช่วงเวลาจริง ๆ (บางคนจะไปไกลกว่านี้และบอกว่าพวกเขายังต้องแยกย่อยชุดย่อยที่เกี่ยวข้องที่เปลี่ยนแปลงการครอบคลุม)

การรายงานแบบเบย์มักจะถูกกำหนดโดยการผ่อนปรนให้เป็น "การครอบคลุมโดยเฉลี่ย" เนื่องจากการสันนิษฐานก่อนถูกต้องว่าถูกต้อง Gustafson และกรีนแลนด์ (2009) เรียกนักบวชผู้มีอำนาจทุกคนเหล่านี้และพิจารณาคนที่ใช้ผิดได้เพื่อให้การประเมินดีขึ้น

— phaneron
แหล่งที่มา

1

+1 ฉันไม่เคยรู้เกี่ยวกับข้อ จำกัด ที่แตกต่างนี้ขอบคุณที่ชี้ให้เห็น

— Mehrdad

3

ถ้ามีใครซักคนถามคำถามที่มีทั้งคำตอบแบบประจำและแบบเบย์ผมคิดว่าคนอื่นจะสามารถระบุความกำกวมในคำถามได้

กล่าวอีกนัยหนึ่งถ้าคุณต้องการคำตอบบ่อยให้ใช้วิธีการบ่อย หากคุณต้องการคำตอบแบบเบย์ให้ใช้วิธีการแบบเบย์ หากคุณไม่รู้ว่าต้องการสิ่งใดคุณอาจไม่ได้กำหนดคำถามอย่างชัดเจน

อย่างไรก็ตามในโลกแห่งความเป็นจริงมักจะมีหลายวิธีในการกำหนดปัญหาหรือถามคำถาม บางครั้งไม่ชัดเจนว่าวิธีใดดีกว่า นี่เป็นเรื่องธรรมดาโดยเฉพาะอย่างยิ่งเมื่อลูกค้าของคนไร้เดียงสาทางสถิติ บางครั้งคำถามหนึ่งตอบยากกว่าอีกคำถามหนึ่ง ในกรณีเหล่านี้เรามักจะไปด้วยวิธีที่ง่ายที่สุดในขณะที่พยายามทำให้แน่ใจว่าลูกค้าของเขาเห็นด้วยกับคำถามที่เขาถามหรือปัญหาที่เขาแก้ไข

— เอมิลฟรีดแมน
แหล่งที่มา

3

ฉันขอแนะนำให้ดูที่แบบฝึกหัด 3.15 ของทฤษฎีข้อมูลข้อมูลตำราเรียนการอนุมานและการเรียนรู้โดย MacKay

เมื่อหมุนตัวบนขอบ 250 ครั้งเหรียญหนึ่งยูโรของเบลเยี่ยมจะขึ้นหัว 140 ครั้งและก้อย 110“ มันดูน่าสงสัยสำหรับฉันมาก” Barry Blight ผู้บรรยายสถิติที่ London School of Economics กล่าว `หากเหรียญไม่มีอคติโอกาสที่จะได้รับผลที่ออกมาสุดขีดนั้นจะน้อยกว่า 7% ' แต่ข้อมูลเหล่านี้ให้หลักฐานว่าเหรียญมีอคติมากกว่ายุติธรรมหรือไม่?

ตัวอย่างมีรายละเอียดในหน้า 63-64 ของหนังสือเรียน สรุปได้ว่าค่าคือแต่วิธี Bayesian นั้นให้การสนับสนุนในระดับต่าง ๆ สำหรับสมมติฐานทั้งสองขึ้นอยู่กับระดับก่อนหน้านี้ ช่วงนี้จากคำตอบที่แนะนำโดยไม่มีหลักฐานว่าเหรียญมีอคติ (เมื่อมีการใช้แฟลตก่อน) ถึงคำตอบไม่เกินเทียบกับสมมติฐานว่างของความเป็นกลางในกรณีที่มีการใช้ความดุ้งดิ้งมากมาก่อน $p$ $0.07$ $6:1$

— Flounderer
แหล่งที่มา