ในการอนุมานแบบเบย์เหตุใดคำศัพท์บางคำจึงลดลงจากการคาดการณ์หลัง

12

ในการวิเคราะห์แบบผันคำกริยาแบบเบส์ของเควินเมอร์ฟี่ย์เรื่องการกระจายแบบเกาส์เซียนเขาเขียนว่า

p (x ∣ D) = \int p (x ∣ θ) p (θ ∣ D) d θ

$p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta$

โดยที่เป็นข้อมูลที่โมเดลมีความเหมาะสมและเป็นข้อมูลที่มองไม่เห็น สิ่งที่ฉันไม่เข้าใจคือสาเหตุที่การพึ่งพาหายไปในเทอมแรกในอินทิกรัล การใช้กฎพื้นฐานความน่าจะเป็นฉันจะคาดหวัง: $D$ $x$ $D$

\begin{aligned} p (a) & = \int p (a ∣ c) p (c) d c \\ p (a ∣ b) & = \int p (a ∣ c, b) p (c ∣ b) d c \\ ↓ \\ p (x ∣ D) & = \int \overset{⋆}{\overset{⏞}{p (x ∣ θ, D)}} p (θ ∣ D) d θ \end{aligned}

$\begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid \theta, D)}^{\star} p(\theta \mid D) d \theta \end{align}$

คำถาม:ทำไมการพึ่งพาในเทอมหายไป? $D$ $\star$

สำหรับสิ่งที่คุ้มค่าฉันได้เห็นสูตรแบบนี้ (วางตัวแปรในเงื่อนไข) ที่อื่น ตัวอย่างเช่นในการตรวจจับการเปลี่ยนแปลงของBayesian Online Changepoint Detectionของ Ryan Adam เขาเขียนการคาดการณ์หลังเป็น

p (x_{t + 1} ∣ r_{t}) = \int p (x_{t + 1} ∣ θ) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid r_t) = \int p(x_{t+1} \mid \theta) p(\theta \mid r_{t}, x_{t}) d \theta$

อีกครั้งตั้งแต่ฉันจะคาดหวัง $D = \{x_t, r_t\}$

p (x_{t + 1} ∣ x_{t}, r_{t}) = \int p (x_{t + 1} ∣ θ, x_{t}, r_{t}) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid x_t, r_t) = \int p(x_{t+1} \mid \theta, x_t, r_t) p(\theta \mid r_{t}, x_{t}) d \theta$

— GWG
แหล่งที่มา

13

นี้จะขึ้นอยู่บนสมมติฐานที่ว่าเป็นอิสระจากเงื่อนไขให้\นี้เป็นสมมติฐานที่เหมาะสมในหลายกรณีเพราะมันบอกว่าเป็นว่าการฝึกอบรมและการทดสอบข้อมูล (และตามลำดับ) จะถูกสร้างเป็นอิสระจากชุดเดียวกันของพารามิเตอร์ที่ไม่รู้จัก\ด้วยข้อสันนิษฐานที่เป็นอิสระนี้และดังนั้นลดลงจากรูปแบบทั่วไปที่คุณคาดหวัง $x$ $D$ $\theta$ $D$ $x$ $\theta$ $p(x|\theta,D)=p(x|\theta)$ $D$

ในตัวอย่างที่สองของคุณดูเหมือนว่ามีการใช้การสมมติความเป็นอิสระที่คล้ายคลึงกัน แต่ขณะนี้ (ชัดเจน) ข้ามเวลา สมมติฐานเหล่านี้อาจมีการระบุไว้อย่างชัดเจนในที่อื่น ๆ ในข้อความหรือพวกเขาอาจมีความชัดเจนโดยชัดแจ้งกับผู้ที่คุ้นเคยกับบริบทของปัญหา (แม้ว่านั่นไม่จำเป็นต้องหมายความว่าในตัวอย่างเฉพาะของคุณ - ซึ่งฉันไม่คุ้นเคย - ผู้เขียนมีสิทธิ์ที่จะรับความคุ้นเคยนี้)

— Ruben van Bergen
แหล่งที่มา

9

มันเป็นเพราะจะถือว่าเป็นอิสระจากให้\ในคำอื่น ๆ ข้อมูลทั้งหมดจะถือว่า IID จากการแจกแจงแบบปกติที่มีพารามิเตอร์\เมื่อเป็นที่เข้าบัญชีโดยใช้ข้อมูลจากไม่มีข้อมูลเพิ่มเติมว่าจะช่วยให้เราเกี่ยวกับจุดข้อมูลใหม่xดังนั้นtheta) $x$ $D$ $\theta$ $\theta$ $\theta$ $D$ $D$ $x$ $p(x|\theta, D) = p(x|\theta)$

— JP Trawinski
แหล่งที่มา