วิธีทำให้เมทริกซ์เป็นบวกแน่นอน?

ฉันกำลังพยายามใช้อัลกอริทึม EM สำหรับรูปแบบการวิเคราะห์ปัจจัยต่อไปนี้

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

ที่คือ P-มิติเวกเตอร์สุ่มเป็นเวกเตอร์ Q-มิติของตัวแปรแฝงและเป็นเมทริกซ์ pxq ของพารามิเตอร์ $W_j$ $a_j$ $B$

จากข้อสมมติฐานอื่น ๆ ที่ใช้สำหรับแบบจำลองฉันรู้ว่าโดยที่คือเมทริกซ์ความแปรปรวนร่วมแปรปรวนของข้อผิดพลาด , = diag ( , , ... , ) $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

สำหรับขั้นตอนวิธี EM ไปทำงานที่ฉันทำซ้ำโดมที่เกี่ยวข้องกับการประมาณและเมทริกซ์และในระหว่างการทำซ้ำเหล่านี้ผมคำนวณค่าผกผันของที่ซ้ำกันโดยใช้ประมาณการใหม่ของและDโชคไม่ดีในระหว่างการทำซ้ำสูญเสียความชัดเจนในเชิงบวก (แต่ไม่ควรเพราะมันเป็นเมทริกซ์แปรปรวนร่วม - ความแปรปรวนร่วม) และสถานการณ์นี้ทำให้การลู่เข้าหากันของอัลกอริธึม คำถามของฉันคือ: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

สถานการณ์นี้แสดงให้เห็นว่ามีบางอย่างผิดปกติกับอัลกอริทึมของฉันเนื่องจากความน่าจะเป็นที่เพิ่มขึ้นในทุกขั้นตอนของ EM
อะไรคือวิธีปฏิบัติที่ทำให้เมทริกซ์เป็นบวกแน่นอน?

แก้ไข: ฉันกำลังคำนวณ inverse โดยใช้ matrix inversion lemma ซึ่งระบุว่า:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

ที่ด้านขวาเกี่ยวข้องกับผู้ผกผันของ matrices เท่านั้น $q\times q$

factor-analysis expectation-maximization

— Andy Amos
แหล่งที่มา

มันอาจช่วยให้เข้าใจได้ดีขึ้นว่า

"สูญเสีย" ความแน่นอนเชิงบวก นี่ก็หมายความว่าทั้ง

หรือ

(หรือทั้งสอง) จะกลายเป็นที่ชัดเจนไม่ใช่ในเชิงบวก มันยากที่จะทำเมื่อ

คำนวณโดยตรงจาก

และยิ่งยากขึ้นเมื่อ

ถูกคำนวณเป็นเมทริกซ์แนวทแยงที่มีกำลังสองในแนวทแยง!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@whuber โดยทั่วไปใน FA

ดังนั้น

จึงไม่แน่นอนแน่นอน แต่ (ทฤษฎี)

ควรจะสมมติว่า

's มีมากขึ้นทั้งหมดกว่าศูนย์

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

นี้เกี่ยวข้องกับคำถามนี้: stats.stackexchange.com/questions/6364/…

— Gilead

@JMS ขอบคุณ ฉันคิดว่าความคิดเห็นของฉันยังคงเกี่ยวข้อง:

อาจไม่แน่นอน แต่ก็ยังไม่ควรมีค่าลักษณะเชิงลบ ปัญหาจะเกิดขึ้นเมื่อที่เล็กที่สุดของ

ก็เปรียบได้กับข้อผิดพลาดตัวเลขในขั้นตอนวิธีการผกผันแม้ว่า หากเป็นกรณีนี้หนึ่งวิธีการแก้ปัญหาคือการใช้ SVD เพื่อ

และศูนย์สอบที่มีขนาดเล็กมาก (หรือลบ) ค่าลักษณะเฉพาะแล้ว Recompute

และเพิ่มD

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

$B$ $q$ $q<p$

$A^{-1}b$ $Ax=b$

$D$ $BB'$ $D$ $D$ $BB'+D$ $D$

$\sigma^2_i$ $D$

$BB'+D$

— JMS
แหล่งที่มา

ขอผมสองว่าในส่วนหลักของอัลกอริธึมคุณไม่ต้องการแปลงเมทริกซ์จริงๆ คุณอาจจำเป็นต้องได้รับการประเมินมาตรฐานในตอนท้าย ดูโพสต์บล็อกนี้johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— Samsdram

ค่าของเมทริกซ์ D นั้นเล็กลงเมื่อจำนวนการทำซ้ำเพิ่มขึ้น บางทีนี่อาจเป็นปัญหาในขณะที่คุณชี้ให้เห็น

— Andy Amos

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$