แรงจูงใจของอัลกอริธึมการเพิ่มความคาดหวัง
คำถามนี้ถูกย้ายจาก Mathematics Stack Exchange เพราะสามารถตอบได้ในการตรวจสอบข้าม อพยพ 6 ปีที่แล้ว ในแนวทางของอัลกอริทึม EM ที่เราใช้ความไม่เท่าเทียมกันของเซ่นจะมาถึงที่logp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz และกำหนดθ(k+1)θ(k+1)\theta^{(k+1)}โดยθ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dzθ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dz\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz ทุกอย่างที่ฉันอ่าน EM ก็แค่ลดทอนลง แต่ฉันก็รู้สึกไม่สบายใจอยู่เสมอโดยไม่มีคำอธิบายว่าทำไมอัลกอริธึม EM จึงเกิดขึ้นเองตามธรรมชาติ ฉันเข้าใจว่าโอกาสในการloglog\logโดยทั่วไปแล้วจะจัดการกับการเพิ่มนอกเหนือจากการคูณ แต่การปรากฏตัวของloglog\logในคำจำกัดความของθ(k+1)θ(k+1)\theta^{(k+1)}ทำให้ฉันรู้สึกไม่คุ้นเคย เหตุใดจึงควรพิจารณาloglog\logและไม่ใช่ฟังก์ชั่นอื่น ๆ ? ด้วยเหตุผลต่าง ๆ ฉันสงสัยว่า "ความหมาย" หรือ "แรงจูงใจ" เบื้องหลังการเพิ่มความคาดหวังมีคำอธิบายบางอย่างในแง่ของทฤษฎีข้อมูลและสถิติที่เพียงพอ หากมีคำอธิบายดังกล่าวที่จะพอใจมากกว่าเพียงแค่อัลกอริทึมนามธรรม