ความแตกต่างของ KL ระหว่าง Gaussians หลายตัวแปร

ฉันมีปัญหาในการรับสูตร divergence ของ KL โดยสมมติว่ามีการแจกแจงปกติหลายตัวแปรสองตัว ฉันทำคดี univariate ค่อนข้างง่าย อย่างไรก็ตามมันก็ค่อนข้างนานแล้วที่ฉันเอาสถิติทางคณิตศาสตร์มาก่อน ฉันแน่ใจว่าฉันแค่คิดถึงบางสิ่งที่เรียบง่าย

นี่คือสิ่งที่ฉันมี ...

สมมติว่าทั้งและเป็นไฟล์ PDF ของการแจกแจงแบบปกติที่มีค่าเฉลี่ยและและความแปรปรวนและตามลำดับ ระยะทาง Kullback-Leibler จากถึงคือ: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ ซึ่งสองบรรทัดฐานหลายตัวแปรคือ:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

ทำตามตรรกะเดียวกันกับข้อพิสูจน์นี้ฉันไปถึงที่นี่ก่อนที่ฉันจะติดขัด:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

ฉันคิดว่าฉันต้องใช้เคล็ดลับการติดตามแต่ฉันไม่แน่ใจว่าจะทำอย่างไรหลังจากนั้น คำแนะนำที่เป็นประโยชน์ใด ๆ ที่จะนำฉันกลับไปในเส้นทางที่ถูกต้องจะได้รับการชื่นชม!

normal-distribution kullback-leibler proof

— dmartin
แหล่งที่มา

stanford.edu/~jduchi/projects/general_notes.pdf ส่วนสุดท้ายยังให้กำเนิด

— user3540823

เริ่มจากที่คุณเริ่มด้วยการแก้ไขเล็กน้อยเราสามารถเขียน

\begin{aligned} K L & = \int [\frac{1}{2} เข้าสู่ระบบ \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times พี (x) d x \\ = \frac{1}{2} เข้าสู่ระบบ \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} TR {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} เข้าสู่ระบบ \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} TR {{ผม}_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} TR {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [เข้าสู่ระบบ \frac{| Σ_{2} |}{| Σ_{1} |} - d + TR {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

โปรดทราบว่าฉันได้ใช้คู่ของคุณสมบัติจากมาตรา 8.2 ของตำราเมทริกซ์

— ramhiser
แหล่งที่มา

ฉันเห็นว่าคุณถอด D ที่ฉันมีอยู่เดิม คุณจะไม่มีเทอม D หลังจากจดบันทึกเกาส์เซียนในไม่กี่ขั้นตอนแรกหรือไม่?

— dmartin

พิจารณาปัจจัยการปรับ ,ของความหนาแน่นปกติหลายตัวแปร เมื่อคำนวณความแตกต่างของล็อกคำจะหายไป ไม่มีเทอมสำหรับดีเทอร์มิแนนต์ - อย่างง่ายคือซึ่งแยกออกมา

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— ramhiser

ไม่มีปัญหาเลย. ดีใจที่ฉันสามารถช่วย

— ramhiser

สวัสดีคุณคิดยังไงกับขั้นตอนสุดท้าย? คุณเปลี่ยนเครื่องหมายของเป็นอย่างไร

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost

@acidghost อย่างใดอย่างหนึ่งทำงานได้เพราะเราสามารถแยกออกมาเป็นเชิงลบจากทั้งสองด้าน การคูณลบสองตัวให้ผลเป็นบวก

— ramhiser