ทำไมการกระจายด้านหลังในการอนุมานแบบเบย์มักจะดื้อดึง?

ฉันมีปัญหาในการทำความเข้าใจว่าเหตุใดการอนุมานแบบเบย์นำไปสู่ปัญหาที่ยากลำบาก ปัญหามักได้รับการอธิบายเช่นนี้:

สิ่งที่ฉันไม่เข้าใจคือสาเหตุที่อินทิกรัลนี้ต้องถูกประเมินในตอนแรกดูเหมือนว่าสำหรับฉันที่ผลลัพธ์ของอินทิกรัลนั้นเป็นแค่ค่าคงที่การทำให้เป็นมาตรฐาน (ตามที่ชุดข้อมูล D มอบให้) เหตุใดจึงไม่สามารถคำนวณการกระจายหลังเป็นตัวเศษทางด้านขวาแล้วอนุมานค่าคงที่การทำให้เป็นมาตรฐานนี้โดยกำหนดให้อินทิกรัลเหนือการแจกแจงหลังต้องเป็น 1?

ฉันกำลังคิดถึงอะไร

ขอบคุณ!

bayesian inference

— อาร์นี่
แหล่งที่มา

ผู้ที่อาจกังวล: คำถามนี้อยู่ในหัวข้ออย่างเต็มที่เนื่องจากเป็นเรื่องเกี่ยวกับสถิติ

— Sycorax พูดว่า Reinstate Monica

ข้อความที่ตัดตอนมาเขียนไม่ดี โปรดทราบว่าคือไม่ได้การกระจายหลัง; มันเป็นความน่าจะเป็นที่ไม่มีเงื่อนไขของข้อมูล (เช่นโดยไม่คำนึงถึงที) เนื่องจากจะเหมือนกันสำหรับทุกรุ่นที่พิจารณาสำหรับชุดข้อมูลเดียวกันจึงไม่จำเป็นต้องคำนวณ หากคุณไม่ทำคุณต้องเปลี่ยนเครื่องหมายเท่ากับ 'สัดส่วน' ( )

P (D)

$P(\mathcal D)$

P (D)

$P(\mathcal D)$

\propto

$\propto$

— gung - Reinstate Monica

คุณสามารถให้การอ้างอิงของสไลด์นั้นเมื่อฉันคิดว่ามันถูกเขียนโดยคนอื่นได้หรือไม่?

— ซีอาน

ข้อกำหนดในการคำนวณจะเกิดขึ้นเฉพาะเมื่อเปรียบเทียบแบบจำลอง (บางครั้งเรียกว่าหลักฐาน ) เมื่อพิจารณาถึงรูปแบบเดียวตัวเศษ "พอเพียง" เพื่อกำหนดหลัง อย่างไรก็ตามหากคุณต้องการคำนวณตัวประมาณค่าเช่นความคาดหวังหลังหรือปริมาณคุณจะพบว่าคุณต้องการตัวหารอย่างรวดเร็ว

p (D)

$p(\mathcal{D})$

— ซีอาน

ขณะนี้เรากำลังประชุมเชิงปฏิบัติการเรื่องค่าคงที่normalizingซึ่งคุณอาจพบรายการที่น่าสนใจสำหรับตอบคำถามนี้

— ซีอาน

คำตอบ:

เหตุใดจึงไม่สามารถคำนวณการกระจายหลังเป็นตัวเศษทางด้านขวาแล้วอนุมานค่าคงที่การทำให้เป็นมาตรฐานนี้โดยกำหนดให้อินทิกรัลเหนือการแจกแจงหลังต้องเป็น 1?

นี่คือสิ่งที่กำลังทำ การกระจายหลังคือ

P (θ | D) = \frac{พี (D | θ) P (θ)}{P (D)} .

$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}.$

เศษอยู่ทางด้านขวามือเป็นtheta) นี่คือฟังก์ชันเหนือและเพื่อเป็นการกระจายความน่าจะเป็นมันต้องรวมกับ 1 ดังนั้นเราต้องหาค่าคงที่เช่นนั้น $P(D|\theta)P(\theta)$ $\theta$ $c$

\begin{aligned} \int_{θ} c P (D | θ) P (θ) d θ = 1 \\ \Rightarrow & \int_{θ} c P (D, θ) d θ = 1 \\ \Rightarrow & c P (D) = 1 \\ \Rightarrow & c = \frac{1}{P (D)} . \end{aligned}

$\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}$

ดังนั้นค่าคงที่ normalizing คือซึ่งมักจะรักษาไม่ได้หรือซับซ้อนเกินไป $P(D)$

— Greenparker
แหล่งที่มา

วิธีการที่จะคิดเกี่ยวกับมันก็คือ: ที่ดีที่สุดคือ? คุณต้องดูพวกเขาทั้งหมด!

θ

$\theta$

— information_interchange

ฉันมีคำถามเดียวกัน โพสต์ที่ยอดเยี่ยมนี้อธิบายได้ดีจริงๆ

โดยสังเขป. มันเป็นเรื่องยากเพราะตัวหารต้องประเมินความน่าจะเป็นสำหรับค่าที่เป็นไปได้ทั้งหมดของ 𝜃; ในกรณีที่น่าสนใจที่สุดทั้งหมดเป็นจำนวนมาก ในขณะที่ตัวเศษใช้สำหรับการรับรู้ single เพียงครั้งเดียว

ดูสมการ 4-8 ในการโพสต์ ภาพหน้าจอของลิงค์:

— Arraval
แหล่งที่มา