ความสัมพันธ์ระหว่าง Bayes ผันแปรและ EM

ฉันอ่านบางที่ว่าวิธี Variational Bayes เป็นลักษณะทั่วไปของอัลกอริทึม EM แท้จริงแล้วส่วนซ้ำ ๆ ของอัลกอริทึมนั้นคล้ายกันมาก เพื่อทดสอบว่าอัลกอริทึม EM เป็นเวอร์ชันพิเศษของ Variational Bayes ฉันลองทำสิ่งต่อไปนี้:

$Y$ คือข้อมูลคือชุดของตัวแปรแฝงและคือพารามิเตอร์ ในแปรผัน Bayes เราทำให้สามารถสร้างประมาณดังกล่าวว่าที) ในกรณีที่ s นั้นง่ายกว่าและมีการแจกแจงที่เข้าใจง่าย $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
เนื่องจากอัลกอริทึม EM พบการประมาณค่าจุด MAP ฉันคิดว่า Variational Bayes สามารถรวมเข้ากับ EM ได้ถ้าฉันใช้ฟังก์ชัน Delta ซึ่ง: . เป็นการประเมินครั้งแรกสำหรับพารามิเตอร์ตามปกติใน EM $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
เมื่อจะได้รับซึ่งลดค่า KL Divergence โดยสูตร สูตรด้านบนลดความซับซ้อนของขั้นตอนนี้กลายเป็นขั้นตอนที่เทียบเท่ากับความคาดหวัง ของอัลกอริทึม EM! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

แต่ฉันไม่สามารถสืบทอดขั้นตอนการทำให้เป็นสูงสุดได้เนื่องจากความต่อเนื่องของสิ่งนี้ ในขั้นตอนต่อไปเราจำเป็นต้องคำนวณและตามกฎการวนซ้ำของ Bay Variation นี่คือ: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{ประสบการณ์ (E_{P (X | Θ^{1}, Y)} [LN P (X, Y, Θ)])}{\int ประสบการณ์ (E_{P (X | Θ^{1}, Y)} [LN P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

อัลกอริธึม VB และ EM นั้นเชื่อมต่อด้วยวิธีนี้จริงหรือ เราจะได้ EM มาเป็นกรณีพิเศษของ Variational Bayes ได้อย่างไรแนวทางของฉันเป็นจริงหรือไม่?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
แหล่งที่มา

คุณอ่านที่ไหนว่าอัลกอริทึม EM ค้นหาการประมาณค่า MAP ความสัมพันธ์ระหว่างการอนุมานแปรผันและ EM จะกลายเป็นที่ชัดเจนเมื่อคุณเข้าใจมุมมองของ EM ที่นำเสนอในบทความนี้โดยโอนีลและฮินตัน (1998) ดูเพิ่มเติมคำตอบของฉันที่นี่

— ลูคัส

ฉันคิดว่าฉันได้เรียนรู้อัลกอริทึม EM ในลักษณะเดียวกับที่อธิบายในบทความนี้มันถูกมองว่าเป็นปัญหาการขยายสูงสุดที่ต่ำกว่า การใช้ความเสมอภาคของเซ่นและแคลคูลัสของการเปลี่ยนแปลงเราพบว่าในขั้นตอนการคาดหวังคือการกระจายที่เพิ่มขอบเขตสูงสุดให้กับและในขั้นตอนขยายสูงสุดหนึ่งพบซึ่งเป็นค่าสูงสุดของขอบเขตล่าง ดังนั้นมันจึงคล้ายกับ Variational Bayes (และมันมาบรรจบกันเป็นค่าสูงสุดของพื้นที่ชายขอบด้านหลังซึ่งเป็นค่าประมาณ MAP)

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici

ขออภัยฉันอ่านคำถามของคุณไม่ดีพอ ฉันเชื่อว่าขั้นตอนการเพิ่มประสิทธิภาพสูงสุดของคุณในการคำนวณจะใช้ได้เฉพาะในกรณีที่คุณอนุญาตให้มีการแจกแจงใด ๆ นั่นคือถ้าคุณใช้สมมติฐานการแยกตัวประกอบเท่านั้น แต่คุณคิดเพิ่มเติมว่าคือการแจกเดลต้า พยายามที่จะชัดเจนเพิ่มขีด จำกัด ล่างด้วยความเคารพพารามิเตอร์ของที)

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— ลูคัส

ฉันพบในหน้า 21 ของการนำเสนอcs.cmu.edu/~tom/10-702/Zoubin-702.pdfการเปรียบเทียบ EM และ VB ได้รับการแสดงเช่นเดียวกันโดยใช้ฟังก์ชัน Dirac แต่วิธีการที่ VB จะลด EM ไม่ได้รับ

— Ufuk Can Bicici

วิธีการของคุณถูกต้อง EM เทียบเท่ากับ VB ภายใต้ข้อ จำกัด ที่ส่วนหลังของโดยประมาณถูก จำกัด ให้เป็นมวลจุด (สิ่งนี้ถูกกล่าวถึงโดยไม่มีข้อพิสูจน์ในหน้า 337 ของการวิเคราะห์ข้อมูลแบบเบส์ ) ให้เป็นตำแหน่งที่ไม่ทราบตำแหน่งของมวลจุดนี้: VB จะ ลดการ KL ต่อไปนี้: ขั้นต่ำกว่าให้ E-step ของ EM และต่ำกว่าให้ M-step ของ EM $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{* * * *})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) LN \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) LN \frac{Q_{X} (X) Q_{Θ} (Θ^{* * * *})}{P (X, Y, Θ^{* * * *})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

แน่นอนถ้าคุณต้องประเมินความแตกต่างของ KL จริง ๆ มันจะไม่มีที่สิ้นสุด แต่นั่นไม่ใช่ปัญหาหากคุณพิจารณาว่าฟังก์ชันเดลต้าเป็นขีด จำกัด

— ทอมมินก้า
แหล่งที่มา

ในทางเทคนิคการเพิ่ม wrtสอดคล้องกับ M-step ของ MAP-EM (ที่มีก่อนหน้า ) - ส่วน 3.1 ของกระดาษ VBEM

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang