การปรับปรุงแบบเบย์ด้วยข้อมูลใหม่

เราจะคำนวณหาด้านหลังด้วย N ~ (a, b) ก่อนหลังจากสังเกตจุดข้อมูลได้อย่างไร ฉันคิดว่าเราต้องคำนวณค่าเฉลี่ยตัวอย่างและความแปรปรวนของจุดข้อมูลและทำการคำนวณบางอย่างที่รวมหลังกับก่อนหน้านี้ แต่ฉันไม่แน่ใจว่าสูตรการรวมกันเป็นอย่างไร

แนวคิดพื้นฐานของการอัปเดตแบบเบย์คือให้ข้อมูลบางส่วน$X$และพารามิเตอร์ที่น่าสนใจก่อนหน้า$\theta$ซึ่งความสัมพันธ์ระหว่างข้อมูลและพารามิเตอร์ถูกอธิบายโดยใช้ฟังก์ชันความน่าจะเป็นคุณใช้ทฤษฎีบทของเบส์เพื่อรับส่วนหลัง

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

ซึ่งสามารถทำได้ตามลำดับซึ่งหลังจากที่ได้เห็นจุดข้อมูลแรก$x_1$ ก่อน $\theta$กลายเป็นการปรับปรุงเพื่อให้หลัง $\theta'$ , ต่อไปที่คุณสามารถใช้จุดข้อมูลสอง$x_2$และการใช้งานหลังได้รับก่อนที่จะ$\theta'$เป็นของคุณก่อนที่จะอัปเดตอีกครั้ง ฯลฯ

ให้ฉันยกตัวอย่างให้คุณ ลองนึกภาพว่าคุณต้องการประมาณค่าเฉลี่ย$\mu$ของการแจกแจงแบบปกติและคุณรู้จัก$\sigma^2$ในกรณีเช่นนี้เราสามารถใช้โมเดลปกติธรรมดาได้ เราถือว่าปกติก่อนหน้านี้สำหรับ$\mu$ด้วยพารามิเตอร์หลายมิติ$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

ตั้งแต่การกระจายปกติเป็นคอนจูเกตก่อนสำหรับของการกระจายปกติเราได้ปิดรูปแบบการแก้ปัญหาในการปรับปรุงก่อน$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

แต่น่าเสียดายที่ง่ายเช่นปิดรูปแบบการแก้ปัญหาที่ไม่สามารถใช้ได้สำหรับปัญหาที่มีความซับซ้อนมากขึ้นและคุณจะต้องพึ่งพาขั้นตอนวิธีการเพิ่มประสิทธิภาพ (สำหรับการประมาณการจุดใช้สูงสุด posterioriวิธี) หรือการจำลอง MCMC

ด้านล่างคุณสามารถดูตัวอย่างข้อมูล:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

หากคุณพล็อตผลลัพธ์คุณจะเห็นว่าคนหลังเข้าหาค่าประมาณ (มันเป็นค่าจริงถูกทำเครื่องหมายด้วยเส้นสีแดง) เมื่อมีการสะสมข้อมูลใหม่

สำหรับการเรียนรู้เพิ่มเติมคุณสามารถตรวจสอบสไลด์เหล่านั้นและการวิเคราะห์ Conjugate Bayesian ของกระดาษกระจาย Gaussianโดย Kevin P. Murphy ตรวจสอบสิ่งใดนักปราชญ์เบย์กลายเป็นไม่เกี่ยวข้องกับขนาดตัวอย่างขนาดใหญ่? นอกจากนี้คุณยังสามารถตรวจสอบบันทึกย่อเหล่านั้นและรายการบล็อกนี้เพื่อดูการแนะนำแบบทีละขั้นตอนเพื่อการอนุมานแบบเบย์

หากคุณมีก่อนหน้าและฟังก์ชันความน่าจะเป็นP ( x ∣ θ )คุณสามารถคำนวณหลังด้วย:$P(\theta)$$P(x \mid \theta)$

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

เนื่องจากเป็นเพียงค่าคงที่การทำให้เป็นมาตรฐานเพื่อให้ผลรวมน่าจะเป็นหนึ่งคุณจึงสามารถเขียน:$P(x)$

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

เมื่อหมายถึง "เป็นสัดส่วนกับ"$\sim$

กรณีของนักบวช conjugate (ที่คุณมักจะได้รับสูตรฟอร์มปิดดี)

บทความ Wikipedia นี้เกี่ยวกับ conjugate priorsอาจเป็นข้อมูล ให้เป็นเวกเตอร์ของพารามิเตอร์ของคุณ ให้P ( θ )เป็นพารามิเตอร์ก่อนหน้า ให้P ( x ∣ θ $\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$เป็นฟังก์ชันความน่าจะเป็น, ความน่าจะเป็นของข้อมูลที่กำหนดพารามิเตอร์ ก่อนหน้านี้เป็นคอนจูเกตก่อนหน้าสำหรับฟังก์ชันความน่าจะเป็นหากก่อนหน้าและPหลัง( θ ∣ x )อยู่ในตระกูลเดียวกัน (เช่น Gaussian ทั้งสอง)$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

ตารางการแจกแจงแบบคอนจูเกตอาจช่วยสร้างสัญชาตญาณบางอย่าง (และให้ตัวอย่างที่เป็นประโยชน์ในการทำงานด้วยตนเอง)

นี่เป็นปัญหาการคำนวณส่วนกลางสำหรับการวิเคราะห์ข้อมูลแบบเบย์ มันขึ้นอยู่กับข้อมูลและการแจกแจงที่เกี่ยวข้อง สำหรับกรณีง่ายๆที่ทุกอย่างสามารถแสดงในรูปแบบปิด (เช่นกับนักบวชคอนจูเกต) คุณสามารถใช้ทฤษฎีบทของเบย์ได้โดยตรง ตระกูลที่ได้รับความนิยมมากที่สุดของเทคนิคสำหรับกรณีที่ซับซ้อนมากขึ้นคือมาร์คอฟโซ่มอนติคาร์โล สำหรับรายละเอียดโปรดดูหนังสือตำราเบื้องต้นเกี่ยวกับการวิเคราะห์ข้อมูลแบบเบย์