Kullback – Leibler ความแตกต่างระหว่างการแจกแจงแกมม่าสองครั้ง

การเลือกเพื่อกำหนดพารามิเตอร์การแจกแจงแกมม่า$\Gamma(b,c)$โดย pdf $g(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}$ Kullback-Leibler divergence ระหว่าง$\Gamma(b_q,c_q)$และ$\Gamma(b_p,c_p)$ได้รับจาก [1] เป็น

$$\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align}$$

ฉันคาดเดาว่า$\Psi(x):= \Gamma'(x)/\Gamma(x)$เป็นฟังก์ชันไดแกมมา

สิ่งนี้ถูกกำหนดโดยไม่มีการสืบทอด ฉันไม่พบการอ้างอิงใด ๆ ที่ทำให้เกิดสิ่งนี้ ความช่วยเหลือใด ๆ การอ้างอิงที่ดีก็เพียงพอแล้ว ส่วนที่ยากคือการรวม$\log x$กับไฟล์ gamma pdf

[1] WD Penny, KL-Divergences จากความหนาแน่นปกติ, แกมม่า,ดิริชเล็ตและ Wishartมีให้ที่: www.fil.ion.ucl.ac.uk/~wpenny/publications/densities.ps

KL แตกต่างกันคือความแตกต่างของอินทิกรัลของแบบฟอร์ม

$$ \ eqalign {I (a, b, c, d) & = \ int_0 ^ {\ infty} \ log \ left (\ frac {erac {e ^ {- x / a} x ^ {b-1}} {a ^ b \ Gamma (b)} \ right) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} dx \

& = - \ frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ Gamma (d)} \, dx - \ log (a ^ b \ Gamma (b)) \ ​​int_0 ^ \ infty \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \ & \ quad + (b- 1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \

& = - \ frac {cd} {a} - \ log (a ^ b \ Gamma (b)) + (b-1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c } x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx} $$

เราแค่ต้องจัดการกับอินทิกรัลขวามือซึ่งได้มาจากการสังเกต

$$\eqalign{ \frac{\partial}{\partial d}\Gamma(d) =& \frac{\partial}{\partial d}\int_0^{\infty}e^{-x/c}\frac{x^{d-1}}{c^d}dx\\ =& \frac{\partial}{\partial d} \int_0^\infty e^{-x/c} \frac{(x/c)^{d-1}}{c}\,dx\\ =&\int_0^\infty e^{-x/c}\frac{x^{d-1}}{c^d} \log\frac{x}{c} \,dx\\ =&\int_0^{\infty}\log(x)e^{-x/c}\frac{x^{d-1}}{c^d}dx - \log(c)\Gamma(d). }$$

จากไหน

$$\frac{b-1}{\Gamma(d)}\int_0^{\infty} \log(x)e^{-x/c}(x/c)^{d-1}dx = (b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$$

เสียบเข้ากับอัตราผลตอบแทนก่อนหน้า

$$I(a,b,c,d)=\frac{-cd}{a} -\log(a^b\Gamma(b))+(b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$$

KL แตกต่างกันระหว่างและΓ ( a , b )เท่ากับI ( c , d , c , d ) - ฉัน( a , b , c , d )ซึ่งตรงไปตรงมาเพื่อประกอบ$\Gamma(c,d)$$\Gamma(a,b)$$I(c,d,c,d) - I(a,b,c,d)$

---

รายละเอียดการใช้งาน

ฟังก์ชันแกมมาเติบโตอย่างรวดเร็วดังนั้นเพื่อหลีกเลี่ยงการโอเวอร์โฟลว์อย่าคำนวณ Gamma และใช้ลอการิทึมของมัน: แทนที่จะใช้ฟังก์ชั่น log-Gamma ที่จะพบในแพลตฟอร์มการคำนวณทางสถิติใด ๆ (รวมถึง Excel สำหรับเรื่องนั้น)

อัตราส่วนเป็นอนุพันธ์ของลอการิทึมΓ ,โดยทั่วไปเรียกว่าψ $\Gamma^\prime(d)/\Gamma(d)$$\Gamma,$$\psi,$ digammaฟังก์ชั่น หากยังไม่ได้มีให้คุณมีวิธีที่ค่อนข้างง่ายที่จะใกล้เคียงกับมันตามที่อธิบายไว้ในบทความวิกิพีเดีย

ที่นี่เพื่อแสดงให้เห็นเป็นโดยตรงRการดำเนินงานของสูตรในแง่ของฉันสิ่งนี้ไม่ใช้โอกาสในการทำให้ผลลัพธ์เชิงพีชคณิตง่ายขึ้นซึ่งจะทำให้มีประสิทธิภาพมากขึ้นเล็กน้อย (โดยกำจัดการคำนวณซ้ำซ้อนของψ )$I$$\psi$

#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
  i <- function(a,b,c,d)
    - c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
  i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)

การแจกแจงแกมมาอยู่ในตระกูลเอ็กซ์โพเนนเชียลเนื่องจากความหนาแน่นของมันสามารถแสดงเป็น:

$$\begin{align} \newcommand{\mbx}{\mathbf{x}} \newcommand{\btheta}{\boldsymbol{\theta}} f(\mbx \mid \btheta) &= \exp\bigl(\eta(\btheta) \cdot T(\mbx) - g(\btheta) + h(\mbx)\bigr) \end{align}$$

Looking at the Gamma density function, its log-normalizer is

$$g(\btheta) = \log(\Gamma(c)) + c\log(b)$$ with natural parameters $$\btheta = \left[\begin{matrix}c-1\\-\frac1 b\end{matrix}\right]$$

All distributions in the exponential family have KL divergence:

$$\begin{align} KL(q; p) &= g(\btheta_p) - g(\btheta_q) - (\btheta_p-\btheta_q) \cdot \nabla g(\btheta_q). \end{align}$$

There's a really nice proof of that in:

Frank Nielsen, École Polytechnique, and Richard Nock, Entropies and cross-entropies of exponential families.