การบรรจบกันของอัลกอริทึม EM ที่มีการกระจายตัวแบบผสมไบวาเรีย

ผมมีรูปแบบผสมซึ่งผมต้องการที่จะหาประมาณค่าความน่าจะเป็นสูงสุดของการได้รับชุดของข้อมูลและชุดของข้อมูลบางส่วนที่สังเกตZฉันได้ดำเนินการทั้ง E-ขั้นตอน (คำนวณความคาดหวังของให้และพารามิเตอร์ปัจจุบัน ) และขั้นตอนเอ็มเพื่อลดเชิงลบเข้าสู่ระบบได้รับโอกาสที่คาดว่าจะZ$x$$z$$z$$x$$\theta^k$$z$

ตามที่ฉันได้เข้าใจแล้วโอกาสสูงสุดที่เพิ่มขึ้นสำหรับการทำซ้ำทุกครั้งซึ่งหมายความว่าโอกาสในการลบเชิงลบจะต้องลดลงสำหรับการทำซ้ำทุกครั้งหรือไม่ อย่างไรก็ตามในขณะที่ฉันทำซ้ำอัลกอริทึมไม่ได้สร้างมูลค่าลดลงของความน่าจะเป็นบันทึกเชิงลบ แต่อาจลดลงและเพิ่มขึ้นได้ ตัวอย่างเช่นนี่คือค่าของความน่าจะเป็นบันทึกเชิงลบจนกระทั่งการลู่เข้า:

ที่นี่ฉันเข้าใจผิดไหม?

นอกจากนี้สำหรับข้อมูลจำลองเมื่อฉันดำเนินการความเป็นส่วนตัวสูงสุดสำหรับตัวแปรแฝงที่แท้จริง (ไม่มีการตรวจสอบ) ฉันมีความใกล้เคียงกับความสมบูรณ์แบบมากแสดงว่าไม่มีข้อผิดพลาดในการเขียนโปรแกรม สำหรับอัลกอริทึม EM นั้นมักจะรวมตัวกันเป็นโซลูชั่นย่อยที่ชัดเจนโดยเฉพาะอย่างยิ่งสำหรับชุดย่อยเฉพาะของพารามิเตอร์ (เช่นสัดส่วนของตัวแปรการจำแนกประเภท) เป็นที่ทราบกันดีว่าอัลกอริทึมอาจมาบรรจบกันเพื่อท้องถิ่นน้อยหรือจุดหยุดนิ่งจะมีการแก้ปัญหาการค้นหาธรรมดาหรือเช่นเดียวกันเพื่อเพิ่มโอกาสในการหาขั้นต่ำทั่วโลก (หรือสูงสุด) สำหรับปัญหานี้โดยเฉพาะฉันเชื่อว่ามีการจำแนกประเภทมิสจำนวนมากเนื่องจากการผสมสองตัวแปรหนึ่งในสองการแจกแจงใช้ค่าที่มีความน่าจะเป็นที่หนึ่ง (มันคือการผสมผสานของอายุการใช้งาน$T=z T_0 + (1-z)\infty$โดยที่หมายถึงส่วนที่เป็นของการแจกแจงอย่างใดอย่างหนึ่ง ตัวบ่งชี้ถูกตรวจสอบแน่นอนในชุดข้อมูล $z$$z$

ฉันเพิ่มตัวเลขที่สองสำหรับเมื่อฉันเริ่มต้นด้วยวิธีแก้ปัญหาเชิงทฤษฎี (ซึ่งควรใกล้เคียงที่สุด) อย่างไรก็ตามตามที่สามารถเห็นได้ถึงความน่าจะเป็นและพารามิเตอร์ที่เบี่ยงเบนจากการแก้ปัญหานี้ไปสู่สิ่งที่ด้อยกว่าอย่างชัดเจน

แก้ไข: ข้อมูลทั้งหมดอยู่ในรูปแบบโดยที่เป็นเวลาที่สังเกตสำหรับหัวเรื่อง ,ระบุว่าเวลาเกี่ยวข้องกับเหตุการณ์จริงหรือไม่ หรือถ้ามันถูกเซ็นเซอร์อย่างถูกต้อง (1 หมายถึงเหตุการณ์และ 0 หมายถึงการเซ็นเซอร์ที่ถูกต้อง),คือเวลาตัดปลายของการสังเกต (อาจเป็น 0) ด้วยตัวบ่งชี้การตัดและในที่สุดเป็นตัวบ่งชี้ว่า bivariate มันเราแค่ต้องพิจารณา 0 และ 1)$\mathbf{x_i}=(t_i,\delta_i,L_i,\tau_i,z_i)$$t_i$$i$$\delta_i$$L_i$$\tau_i$$z_i$

สำหรับเรามีฟังก์ชั่นความหนาแน่นในทำนองเดียวกันก็มีความเกี่ยวข้องกับฟังก์ชันการกระจายหาง1) สำหรับเหตุการณ์ที่น่าสนใจจะไม่เกิดขึ้น แม้ว่าจะไม่มีที่เกี่ยวข้องกับการกระจายนี้เรากำหนดให้เป็นจึงและ 1 สิ่งนี้ยังให้การกระจายแบบเต็มต่อไปนี้:$z=1$$f_z(t)=f(t|z=1)$$S_z(t)=S(t|z=1)$$z=0$$t$$\inf$$f(t|z=0)=0$$S(t|z=0)=1$

$f(t) = \sum_{i=0}^{1}p_if(t|z=i) = pf(t|z=1)$และ $S(t) = 1 - p + pS_z(t)$

เราดำเนินการกำหนดรูปแบบทั่วไปของความน่าจะเป็น:

$L(\theta;\mathbf{x_i}) = \Pi_i \frac{f(t_i;\theta)^{\delta_i}S(t_i;\theta)^{1-\delta_i}}{S(L_i)^{\tau_i}}$

ตอนนี้จะสังเกตได้เพียงบางส่วนเมื่อมิฉะนั้นจะไม่ทราบ โอกาสเต็มจะกลายเป็น$z$$\delta=1$

$L(\theta,p;\mathbf{x_i}) = \Pi_i \frac{\big((p f_z(t_i;\theta))^{z_i}\big)^{\delta_i}\big((1-p)^{(1-z_i)}(p S_z(t_i;\theta))^{z_i}\big)^{1-\delta_i}}{\big((1-p)^{(1-z_i)}(p S_z(L_i;\theta))^{z_i}\big)^{\tau_i}}$

โดยที่คือน้ำหนักของการแจกแจงที่สอดคล้องกัน (อาจเกี่ยวข้องกับ covariates และสัมประสิทธิ์ตามลำดับโดยฟังก์ชันลิงก์บางตัว) ในวรรณคดีส่วนใหญ่เรื่องนี้ง่ายต่อการ loglikelihood ต่อไปนี้$p$

$\sum \Big( z_i \ln(p) + (1-p) \ln(1-p) - \tau_i\big(z_i \ln(p) + (1-z_i)\ln(1-p)\big) + \delta_i z_i f_z(t_i;\theta) + (1-\delta_i) z_i S_z(t_i;\theta) - \tau_i S_z(L_i;\theta)\Big)$

สำหรับขั้นตอน Mฟังก์ชั่นนี้จะถูกขยายให้ใหญ่สุดแม้ว่าจะไม่ได้ทั้งหมดในวิธีการเพิ่มประสิทธิภาพสูงสุด 1 วิธี แต่เราไม่ได้ที่ว่านี้สามารถแยกออกเป็นชิ้นส่วนcdot)$l(\theta,p; \cdot) = l_1(\theta,\cdot) + l_2(p,\cdot)$

สำหรับเค: TH + 1 E-ขั้นตอนที่เราจะต้องพบกับค่าที่คาดหวังของ (บางส่วน) สังเกตตัวแปรแฝงz_iเราใช้ความจริงที่ว่าแล้ว 1$z_i$$\delta=1$$z=1$

$E(z_i|\mathbf{x_i},\theta^{(k)},p^{(k)}) = \delta_i + (1-\delta_i) P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})$

ที่นี่เรามีโดย$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i}) =\frac{P(\mathbf{x_i};\theta^{(k)},p^{(k)}|z_i=1)P(z_i=1;\theta^{(k)},p^{(k)})}{P(\mathbf{x_i};\theta^{(k)},p^{(k)})}$

ซึ่งทำให้เรา$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})=\frac{pS_z(t_i;\theta^{(k)})}{1 - p + pS_z(t_i;\theta^{(k)})}$

(หมายเหตุที่นี่ที่ดังนั้นจึงไม่มีเหตุการณ์ที่สังเกตดังนั้นความน่าจะเป็นของ dataจะได้รับจากฟังก์ชั่นการกระจายหาง$\delta_i=0$$\mathbf{x_i}$

วัตถุประสงค์ของ EM คือการเพิ่มความน่าจะเป็นในการบันทึกข้อมูล

แต่น่าเสียดายที่นี้มีแนวโน้มที่จะเป็นเรื่องยากที่จะเพิ่มประสิทธิภาพด้วยความเคารพ\EM จะสร้างรูปแบบซ้ำ ๆ และเพิ่มฟังก์ชั่นเสริมให้สูงสุด$\theta$

ถ้าเพิ่มให้มากที่สุด EM รับประกันว่า$\theta^{t+1}$$Q(\theta, \theta^t)$

หากคุณต้องการทราบอย่างชัดเจนว่าทำไมถึงเป็นเช่นนี้ส่วนที่ 11.4.7 ของการเรียนรู้ของเครื่องของเมอร์ฟี: มุมมองที่น่าจะเป็นให้คำอธิบายที่ดี หากการใช้งานของคุณไม่เป็นไปตามความไม่เท่าเทียมเหล่านี้คุณได้ทำผิดพลาดไปแล้ว พูดในสิ่งที่ชอบ

ฉันมีความใกล้พอเหมาะพอดีแสดงว่าไม่มีข้อผิดพลาดในการเขียนโปรแกรม

อันตราย. ด้วยการเพิ่มประสิทธิภาพและอัลกอริธึมการเรียนรู้มากมายมันง่ายมากที่จะทำผิดพลาด ปรีชาญาณที่ฉันชอบคืออัลกอริธึมเหล่านี้มีจุดประสงค์เพื่อจัดการกับข้อมูลที่ยุ่งเหยิงดังนั้นจึงไม่น่าแปลกใจที่พวกเขาจัดการกับข้อบกพร่องได้เป็นอย่างดี!

อีกครึ่งหนึ่งของคำถามของคุณ

มีการค้นหาแบบฮิวริสติกแบบดั้งเดิมหรือในทำนองเดียวกันเพื่อเพิ่มโอกาสในการค้นหาขั้นต่ำทั่วโลก (หรือสูงสุด)

การรีสตาร์ทแบบสุ่มเป็นวิธีที่ง่ายที่สุด ที่ง่ายที่สุดถัดไปคือการจำลองการอบอ่อนผ่านพารามิเตอร์เริ่มต้น ฉันเคยได้ยินเกี่ยวกับตัวแปรของ EM ที่เรียกว่าการอบอ่อนแบบกำหนดค่าได้แต่ฉันไม่ได้ใช้มันเป็นการส่วนตัวดังนั้นจึงไม่สามารถบอกอะไรคุณได้มากนัก