การอัปเดตตัวประกอบ Bayes

ปัจจัย Bayes ถูกกำหนดไว้ในคชกรรมทดสอบสมมติฐานและการเลือกรูปแบบเบส์โดยอัตราส่วนของสองโอกาสเกิดขอบ: รับตัวอย่าง IIDและความหนาแน่นของการสุ่มตัวอย่างที่เกี่ยวข้องและพร้อมกับนักบวชที่สอดคล้องกันและตัวประกอบ Bayes สำหรับการเปรียบเทียบทั้งสองรุ่นคือ หนังสือฉันกำลังตรวจสอบในปัจจุบันมีคำสั่งแปลกที่ดังกล่าวข้างต้นปัจจัย Bayes $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ คือ "เกิดจากการคูณแต่ละตัว [ตัวประกอบ Bayes] ด้วยกัน" (p.118) สิ่งนี้ถูกต้องอย่างเป็นทางการหากมีใครใช้การสลายตัว แต่ฉันไม่เห็นความได้เปรียบในการย่อยสลายในขณะที่การปรับปรุงโดยต้องการความพยายามในการคำนวณแบบเดียวกับการคำนวณดั้งเดิมของ

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ นอกตัวอย่างของเล่นประดิษฐ์

คำถาม:มีวิธีทั่วไปและมีประสิทธิภาพในการอัปเดตตัวประกอบ Bayes จากเป็น ที่ไม่ต้องการคำนวณระยะขอบทั้งหมดและ ? $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ $m_1(x_1,\ldots,x_n)$ $m_2(x_1,\ldots,x_n)$

สัญชาตญาณของฉันคือนอกเหนือจากตัวกรองอนุภาคซึ่งดำเนินการตามการประเมินปัจจัย Bayesการสังเกตครั้งละหนึ่งครั้งไม่มีวิธีธรรมชาติในการตอบคำถามนี้ . $\mathfrak{B}_{12}(x_1,\ldots,x_n)$

— ซีอาน
แหล่งที่มา

ฉันไม่เห็นชัดเจนว่าการใช้ถ้อยคำหมายถึงการแยกตัวประกอบแบบต่อเนื่องที่จำเป็น ในช่วงที่จบการศึกษาอาจารย์กล่าวว่าผลิตภัณฑ์มีความหมายว่าเราสามารถใช้การประมาณแบบเชิงสัญลักษณ์สำหรับการวิเคราะห์แบบเบย์ แต่สิ่งนี้ไม่น่าแปลกใจเลย บางทีหนังสือเล่มนี้อาจบอกใบ้ถึงเรื่องนั้น?

— หน้าผา AB

@CliffAB: ใช่คุณสามารถเขียนความเป็นไปได้ใหม่โดยเฉลี่ยของแต่ละคำโดยแปรเปลี่ยนเป็นระยะทาง Kullback-Leibler จากการแจกแจงที่แท้จริง แต่ฉันไม่คิดว่านี่เป็นกรณีแม้ว่าหนังสือจะไม่ชัดเจนพอที่จะเปิดตัวเลือกทั้งหมด

— ซีอาน

ฉันเชื่อว่ามีการพิมพ์ผิดในสมการที่สอง: มันควรเป็นในปัจจัยที่สองในบรรทัดที่สองหรือไม่?

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— jochen

สันนิษฐานว่าวัตถุประสงค์ของสมการแบบเรียกซ้ำสำหรับปัจจัย Bayes คือเมื่อคุณทำการคำนวณตัวประกอบ Bayes สำหรับจุดข้อมูลและคุณต้องการให้สามารถอัปเดตสิ่งนี้ด้วยจุดข้อมูลเพิ่มเติมหนึ่งจุด ดูเหมือนว่าเป็นไปได้ที่จะทำเช่นนี้โดยไม่ต้องคำนวณระยะขอบของเวกเตอร์ข้อมูลก่อนหน้าตราบใดที่รูปแบบของฟังก์ชันหลังเป็นที่รู้จัก สมมติว่าเรารู้ว่ารูปแบบของฟังก์ชั่นนี้ (และสมมติว่าข้อมูล IID ดังเช่นในคำถามของคุณ) ความหนาแน่นของการทำนายสามารถเขียนเป็น: $n$ $\pi_n$

\begin{aligned} m (x_{n + 1} | x_{1}, . . ., x_{n}) & = \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

ดังนั้นคุณมี:

\begin{aligned} m (x_{1}, . . ., x_{n + 1}) & = m (x_{1}, . . ., x_{n}) \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

เปรียบเทียบคลาสของโมเดลสองคลาสผ่านตัวประกอบ Bayes จากนั้นเราจะได้สมการแบบเรียกซ้ำ:

\begin{aligned} B_{12} (x_{1}, . . ., x_{n + 1}) & = B_{12} (x_{1}, . . ., x_{n}) \cdot \frac{\int_{Θ_{1}} f (x_{n + 1} | θ) π_{1, n} (d θ | x_{1}, . . ., x_{n})}{\int_{Θ_{2}} f (x_{n + 1} | θ) π_{2, n} (d θ | x_{1}, . . ., x_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

สิ่งนี้ยังเกี่ยวข้องกับการรวมในช่วงพารามิเตอร์ดังนั้นฉันเห็นด้วยกับมุมมองของคุณว่าไม่มีข้อได้เปรียบในการคำนวณใด ๆ เพียงแค่คำนวณค่าตัวประกอบ Bayes ผ่านสูตรเริ่มต้นที่คุณให้ อย่างไรก็ตามคุณสามารถเห็นได้ว่าสิ่งนี้ไม่ต้องการให้คุณคำนวณระยะขอบสำหรับเวกเตอร์ข้อมูลก่อนหน้า (แต่เราคำนวณความหนาแน่นเชิงทำนายของจุดข้อมูลใหม่แบบมีเงื่อนไขบนข้อมูลก่อนหน้านี้ภายใต้โมเดลคลาสแต่ละคลาส) เช่นเดียวกับคุณฉันไม่เห็นความได้เปรียบเชิงการคำนวณใด ๆ ของเรื่องนี้ยกเว้นว่ามันเกิดขึ้นว่าสูตรอินทิกรัลนี้ ไม่ว่าในกรณีใดฉันคิดว่ามันให้สูตรอื่นสำหรับการอัปเดตตัวประกอบ Bayes

— Ben - Reinstate Monica
แหล่งที่มา

ขอบคุณ. เป็นความจริงที่ว่าระยะขอบไม่จำเป็นต้องคำนวณซ้ำอีกครั้งเข้มงวดแต่ปริมาณการคำนวณดูเหมือนจะเท่ากันตามที่คุณพูด

— ซีอาน

ข้อดีอย่างเดียวที่ฉันคิดได้ก็คือเนื่องจากตอนนี้เรารวมเฉพาะความหนาแน่นเดียว (แทนที่จะเป็นผลคูณของความหนาแน่น ), อินทิกรัลและจะผันผวนน้อยกว่าและสูตรหลังนี้อาจทำให้ง่ายขึ้นเพื่อหลีกเลี่ยงปัญหา การคำนวณ นั่นคือทั้งหมดที่อาจจะใหญ่

n

$n$

— เบ็น - คืนสถานะโมนิก้า