อัลกอริทึม EM ประมาณการพารามิเตอร์ในแบบจำลองผสมแบบเกาส์หรือไม่


9

ฉันกำลังศึกษารูปแบบส่วนผสมของเกาส์เซียนและเกิดขึ้นกับคำถามนี้ด้วยตัวเอง

สมมติว่าข้อมูลพื้นฐานถูกสร้างขึ้นจากการผสมผสานของการแจกแจงแบบเกาส์กันและแต่ละคนมีค่าเฉลี่ยของเวกเตอร์โดยที่และแต่ละคนมีค่าเดียวกัน เมทริกซ์ความแปรปรวนและถือว่านี้เป็นเมทริกซ์แนวทแยง และสมมติว่าอัตราส่วนการผสมคือกล่าวคือแต่ละกลุ่มมีน้ำหนักเท่ากันKμkRp1kKΣΣ1/K

ดังนั้นในตัวอย่างนี้เหมาะที่งานเพียงอย่างเดียวคือการประมาณพาหะเฉลี่ยที่และเมทริกซ์ร่วมแปรปรวน\KμkRp1kKΣ

คำถามของฉันคือ: ถ้าเราใช้อัลกอริทึม EM เราจะสามารถประมาณและอย่างต่อเนื่องเช่นเมื่อขนาดตัวอย่างตัวประมาณที่อัลกอริทึม EM จะสร้างให้ได้ค่าที่แท้จริงของและ ?μkΣnμkΣ

คำตอบ:


1

หากอัลกอริทึมนั้นเริ่มต้นด้วยค่าสุ่มในแต่ละครั้งดังนั้นไม่การลู่เข้าจะไม่สอดคล้องกัน เริ่มต้นที่ไม่ได้สุ่มสันนิษฐานว่าจะผลิตผลเหมือนกันทุกครั้ง แต่ผมไม่เชื่อว่าเรื่องนี้จะผลิตที่จำเป็น "ถูกต้อง" ค่าของ\μk

นอกจากการแก้ไขอัตราส่วนการผสมที่และการแก้ไขให้เป็นแนวทแยงมุมอัลกอริทึมจะคล้ายกันมากกับอัลกอริทึมหมายถึง สิ่งนี้ยังมีคอนเวอร์เจนซ์ที่ไม่สอดคล้องกันขึ้นอยู่กับการกำหนดค่าเริ่มต้นแบบสุ่ม1/KΣk


ฉันทดลองเชิงตัวเลขอย่างน้อย 2 คลาสอิสระของการแจกแจงแบบปกติ EM สร้างค่าประมาณที่สอดคล้องกันของค่าเฉลี่ยของคลาส อย่างไรก็ตาม K หมายถึงไม่สามารถทำได้ฉันพิสูจน์ได้ทางคณิตศาสตร์
KevinKim

1
กรุณาให้รายละเอียดเพิ่มเติมได้ไหม เช่นข้อมูลที่คุณได้ใช้วิธีการที่คุณเริ่มต้นใช้พารามิเตอร์ ฯลฯ
dcorney

เห็นด้วยกับ @dcorney มันขึ้นอยู่กับค่าเริ่มต้นที่คุณจะเลือก อย่างน้อยที่สุดในทางปฏิบัติการเลือกผิดค่าเริ่มต้นนำไปสู่การประมาณค่าที่ไม่สอดคล้องกัน (ฉันใช้แพ็คเกจ mixtools R)
German Demidov
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.