การชี้แจงความคาดหวังสูงสุด

ผมพบว่าการกวดวิชาที่เป็นประโยชน์มากเกี่ยวกับอัลกอริทึม EM

ตัวอย่างและรูปภาพจากบทช่วยสอนนั้นยอดเยี่ยมมาก

คำถามที่เกี่ยวข้องเกี่ยวกับการคำนวณความน่าจะเป็นการเพิ่มความคาดหวังทำงานอย่างไร

ฉันมีคำถามอื่นเกี่ยวกับวิธีการเชื่อมต่อทฤษฎีที่อธิบายในบทช่วยสอนกับตัวอย่าง

$g_t$$\log P(x;\Theta)$$g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

$g_t$

$\hat{\Theta}_A^{(0)} = 0.6$$\hat{\Theta}_B^{(0)} = 0.5$$\hat{\Theta}_A^{(1)} = 0.71$$\hat{\Theta}_B^{(1)} = 0.58$$\hat{\Theta}^{(0)}$$\hat{\Theta}^{(1)}$

$Q(z)$$Q(z)=P(z|x;\Theta)$

ขอบคุณ.

ฉันพบว่าบันทึกเหล่านี้มีประโยชน์มากในการค้นหาว่าเกิดอะไรขึ้นกับวัสดุเสริม

ฉันจะตอบคำถามเหล่านี้นิดหน่อยเพื่อความต่อเนื่อง

---

ครั้งแรก: ทำไมมันเป็นอย่างนั้น

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$$\log(P(x;\theta))$$\theta^{(0)}$$\theta^{(1)}$$g_0$$\theta$

---

ประการที่สอง: ทำไมความไม่เท่าเทียมจึงแน่นเมื่อ

$$Q(z) = P(z|x;\theta)$$

มีคำใบ้ในเชิงอรรถเกี่ยวกับสิ่งที่มันบอกว่า

$y=E[y]$

$Q$$\frac{P(x, z; \theta)}{Q(z)}$

$$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$$

ซึ่งทำให้เศษส่วนของเรา

$$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$$

$P(x; \theta)$$z$$C$

$$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$$

$Q(z)$

---

$g_t$

คำตอบที่ให้ไว้ในบันทึกย่อที่ฉันเชื่อมโยงนั้นแตกต่างจากคำตอบในโน้ตเสริมเล็กน้อย แต่คำตอบเหล่านั้นแตกต่างกันเพียงค่าคงที่และเราจะขยายให้ใหญ่ที่สุด หนึ่งในบันทึกย่อ (ที่มา) คือ:

$$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$$

สูตรที่ซับซ้อนนี้ไม่ได้ถูกพูดถึงในบันทึกเสริมอาจเป็นเพราะคำศัพท์เหล่านี้จำนวนมากจะเป็นค่าคงที่ที่ถูกโยนทิ้งไปเมื่อเราขยายให้ใหญ่สุด หากคุณสนใจว่าเรามาถึงที่นี่ได้อย่างไรในตอนแรกฉันขอแนะนำบันทึกย่อที่ฉันเชื่อมโยง

$g_t(\theta^{(t)})$$g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$