ทางเลือกที่รวดเร็วสำหรับอัลกอริทึม EM

มีทางเลือกอื่น ๆ สำหรับอัลกอริทึม EM สำหรับการเรียนรู้รูปแบบที่มีตัวแปรแฝง (โดยเฉพาะ pLSA) หรือไม่? ฉันโอเคกับการเสียสละความแม่นยำเพื่อความเร็ว

อัลกอริทึมของ Newton-Raphson สามารถนำมาใช้ได้บ่อยครั้ง ฉันไม่คุ้นเคยกับ pSLA แต่มันค่อนข้างธรรมดาที่จะใช้อัลกอริธึม Newton-Raphson สำหรับโมเดลคลาสแฝง อัลกอรึทึมของ Newton-Raphson มีความกังวลเล็กน้อยโดยค่าเริ่มต้นที่ไม่ดีกว่า EM ดังนั้นกลยุทธ์หนึ่งคือการใช้การทำซ้ำสองสามครั้ง (พูด 20) ของ EM แล้วเปลี่ยนเป็นอัลกอริธึม Newton-Raphson อัลกอริทึมหนึ่งที่ฉันประสบความสำเร็จมากมายคือ: Zhu, Ciyou, Richard H. Byrd, Peihuang Lu และ Jorge Nocedal (1997), "อัลกอริทึม 778: L-BFGS-B: รูทีนย่อย Fortran สำหรับขอบเขตขนาดใหญ่ - การเพิ่มประสิทธิภาพที่มีข้อ จำกัด "ธุรกรรม ACM ในที่เก็บถาวรซอฟต์แวร์คณิตศาสตร์ (TOMS), 23 (4), 550-60

คล้ายกันมากกับอัลกอริธึม EM ซึ่งโดยทั่วไปแล้วอัลกอริธึม MMจะใช้ประโยชน์จากนูนมากกว่าข้อมูลที่ขาดหายไปในการทำให้วัตถุเล็ก ๆ คุณต้องตรวจสอบว่าอัลกอริทึม MM ใช้กับปัญหาเฉพาะของคุณได้หรือไม่

สำหรับ LDA "online LDA" เป็นทางเลือกที่รวดเร็วกว่าวิธีการแบทช์เช่น EM มาตรฐาน (http://www.cs.princeton.edu/~blei/papers/HoffmanBleiBach2010b.pdf)

David Blei ให้ซอฟต์แวร์บนหน้าของเขา: http://www.cs.princeton.edu/~blei/topicmodeling.html

ทางเลือกอื่นที่ไม่ได้กล่าวถึงในคำตอบคือการประมาณความแปรปรวน แม้ว่าอัลกอริทึมเหล่านี้ไม่ใช่อัลกอริทึม EM ในทุกกรณี แต่ในบางกรณีอัลกอริทึม EM นั้น จำกัด กรณีของอัลกอริธึมแปรปรวนแบบค่าเฉลี่ยเบส์ ขีด จำกัด เกี่ยวข้องกับกรณี จำกัด ของพารามิเตอร์ไฮเปอร์การเลือกค่า จำกัด ในบางกรณีจะให้อัลกอริทึม EM

ไม่ว่าในกรณีใด (EM, VB, หรือแม้แต่อัลกอริธึม MM) มี 2 วิธีทั่วไปในการเพิ่มความเร็ว:

$p$$p$

(2) การปรับปรุงอัตราการรวมกันของอัลกอริทึม EM ของคุณ (หรือประเภทอื่น ๆ ) ในความคิดเห็น JohnRos พูดถึงการเร่งความเร็ว Aitken นี่คือจากโลกการวิเคราะห์เชิงตัวเลข แต่ถูกกล่าวถึงในหนังสือ EM โดย McLachlan และ Krishnan

อาจมีคนอื่นที่ฉันพลาด แต่สิ่งเหล่านี้ดูเหมือนจะเป็นเรื่องใหญ่สองเรื่อง