EM ปัญหาการปฏิบัติอัลกอริทึม

นี่เป็นปัญหาการปฏิบัติสำหรับการสอบกลางภาค ปัญหาคือตัวอย่างอัลกอริทึม EM ฉันกำลังมีปัญหากับส่วน (f) ฉันแสดงรายการชิ้นส่วน (a) - (e) เพื่อความสมบูรณ์และในกรณีที่ฉันทำผิดพลาดก่อนหน้านี้

ให้เป็นอิสระตัวแปรสุ่มชี้แจงที่มีอัตราการ\น่าเสียดายที่ไม่มีการตรวจสอบค่าแท้จริงและเราจะสังเกตว่าค่าอยู่ในช่วงเวลาที่กำหนดหรือไม่ ให้ ,และ สำหรับ n ข้อมูลที่สังเกตประกอบด้วย{3j})$X_1,\ldots,X_n$$\theta$$X$$X$$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$$G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$$G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$$j=1,\ldots,n$$(G_{1j},G_{2j},G_{3j})$

(a) ให้โอกาสในการสังเกตข้อมูล:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) ให้โอกาสในการเก็บข้อมูลอย่างสมบูรณ์

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) หาค่าความหนาแน่นทำนายของตัวแปรแฝง$f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) E-step ให้ฟังก์ชัน$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

โดยที่$N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(จ) ให้การแสดงออกสำหรับสำหรับr$\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$$r=1,2,3$

ฉันจะแสดงรายการผลลัพธ์ของฉันซึ่งฉันค่อนข้างแน่ใจว่าถูกต้อง แต่การพิสูจน์จะยาวไปหน่อยสำหรับคำถามที่ looong นี้:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

นี่เป็นส่วนที่ฉันติดอยู่และอาจเป็นเพราะความผิดพลาดก่อนหน้านี้:

(f) M-Step ค้นหาที่เพิ่มสูงสุด$\theta$$Q(\theta,\theta^i)$

จากกฎแห่งความคาดหวังทั้งหมดเรามี ดังนั้น$\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

ต่อไปฉันควรตั้งค่านี้ให้เท่ากับศูนย์และแก้ปัญหาสำหรับแต่ฉันได้ลองทำสิ่งนี้เป็นเวลานานมากและฉันไม่สามารถแก้ไข !$\theta$$\theta$

ความน่าจะเป็นของข้อมูลที่สมบูรณ์ไม่ควรเกี่ยวข้องกับ G! มันควรจะเป็นโอกาสของเมื่อของโปเนนเชียล โปรดทราบว่าความน่าจะเป็นของข้อมูลที่สมบูรณ์ตามที่คุณเขียนมันทำให้ความเป็นไปได้ของการยกระดับนั้นง่ายขึ้นเนื่องจากเพียงคนเดียวเท่านั้นที่สามารถเป็น 1 ได้ทิ้ง 's ในความเป็นไปได้ของข้อมูล $\theta$$X$$G_{rj}$$G$

ในส่วน (d) ควรคาดหวังความเป็นไปได้ของบันทึกข้อมูลที่สมบูรณ์ไม่ใช่โอกาสในการบันทึกข้อมูลที่สังเกตได้

นอกจากนี้คุณไม่ควรใช้กฎแห่งความคาดหวังทั้งหมด! จำได้ว่า G เป็นที่สังเกตและไม่ได้เป็นแบบสุ่มดังนั้นคุณควรได้รับการปฏิบัติอย่างใดอย่างหนึ่งของความคาดหวังที่มีเงื่อนไขเหล่านั้นสำหรับแต่ละX_jเพียงแทนที่ความคาดหวังตามเงื่อนไขนี้ด้วยคำว่าจากนั้นทำขั้นตอน M$X_j$$X_j^{(i)}$

จากความคิดเห็นของ @ jsk ฉันจะพยายามแก้ไขข้อผิดพลาดของฉัน:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

กำลังหาเราจะได้$\theta$$\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$