ประเมิน Kullback Leibler (KL) ด้วยความแตกต่าง monte carlo

10

ฉันต้องการประเมินความแตกต่างของ KL ระหว่างการแจกแจงแบบต่อเนื่องสองค่า f และ g อย่างไรก็ตามฉันไม่สามารถเขียนความหนาแน่นสำหรับ f หรือ g ได้ ฉันสามารถสุ่มตัวอย่างจากทั้ง f และ g ผ่านวิธีการบางอย่าง (เช่น markov chain monte carlo)

KL แตกต่างจาก f ถึง g ถูกกำหนดเช่นนี้

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

นี่คือความคาดหวังของด้วยความเคารพ f ดังนั้นคุณสามารถจินตนาการถึงการประมาณ monte carlo $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

ที่ฉันจัดทำดัชนีตัวอย่าง N ที่ดึงมาจาก f (เช่นสำหรับ i = 1, ... , N) $x_i \sim f()$

อย่างไรก็ตามเนื่องจากฉันไม่รู้ f () และ g () ฉันจึงไม่สามารถใช้การประมาณ monte carlo นี้ได้ วิธีมาตรฐานในการประเมิน KL ในสถานการณ์นี้คืออะไร

แก้ไข: ฉันไม่ทราบความหนาแน่นผิดปกติสำหรับ f () หรือ g ()

kullback-leibler

— frelk
แหล่งที่มา

คุณได้พิจารณาใช้ ecdfs หรือไม่?

— Toby

สิ่งนี้จะใช้งานได้ แต่มันอาจทำงานช้าโดยพลการสำหรับตัวเลือก f และ g (ปิดหรือปิดท้าย) หากคุณตัดสินใจที่จะเพิกเฉยกลุ่มตัวอย่างออกไปจากก้อยคุณอาจมีโชคมากขึ้นเมื่ออยู่บนขอบ roc

— Christian Chapman

เป็นหลักซ้ำ: stats.stackexchange.com/questions/211175/ …

— kjetil b halvorsen

7

ฉันคิดว่าคุณสามารถประเมินและได้ถึงค่าคงที่ normalizing แสดงว่าและg_u $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

ตัวประมาณที่สอดคล้องกันที่อาจใช้คือ โดยที่ เป็นความสำคัญการสุ่มตัวอย่างประมาณการสำหรับอัตราส่วนc_fที่นี่คุณใช้และเป็นความหนาแน่นของอุปกรณ์สำหรับและตามลำดับและเพื่อกำหนดเป้าหมายอัตราส่วนการบันทึกของความหนาแน่นผิดปกติ

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

ดังนั้นขอให้ ,และ\ เศษของ (1) ลู่ไปc_fตัวหารลู่ไปc_gอัตราส่วนสอดคล้องกับทฤษฎีบทการทำแผนที่อย่างต่อเนื่อง บันทึกของอัตราส่วนสอดคล้องกันโดยการทำแผนที่ต่อเนื่องอีกครั้ง $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

เกี่ยวกับส่วนอื่น ๆ ของตัวประมาณ ตามกฎหมายจำนวนมาก

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

แรงจูงใจของฉันคือ:

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}]} d x \\ = E_{f} [\log \frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}] \\ = c_{f}^{- 1} E_{π_{r}} [\log \frac{f_{u} (x)}{g_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}] + \log [\frac{c_{g}}{c_{f}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ ดังนั้นฉันจะแบ่งมันออกเป็นชิ้นง่ายต่อการเข้าใจ

สำหรับแนวคิดเพิ่มเติมเกี่ยวกับวิธีจำลองอัตราส่วนความน่าจะเป็นฉันพบกระดาษที่มีจำนวนน้อย: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— เทย์เลอร์
แหล่งที่มา

(+1) เป็นที่น่าสังเกตว่าการสุ่มตัวอย่างสำคัญอาจมีความแปรปรวนสูงมาก (แม้แต่ความแปรปรวนแบบไม่สิ้นสุด) หากการกระจายเป้าหมายมีหางที่อ้วนกว่าการกระจายที่คุณสุ่มตัวอย่างจากและ / หรือจำนวนมิติมีขนาดใหญ่

— David J. Harris

@ DavidJ.Harris จริงมาก

— เทย์เลอร์

6

ที่นี่ฉันคิดว่าคุณสามารถตัวอย่างจากแบบจำลองเท่านั้น ไม่สามารถใช้ฟังก์ชันความหนาแน่นที่ผิดปกติได้

คุณเขียนมัน

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

ที่ฉันได้กำหนดอัตราส่วนของความน่าจะเป็นที่จะเป็นRAlex Smola เขียนแม้ว่าในบริบทที่แตกต่างกันซึ่งคุณสามารถประมาณอัตราส่วนเหล่านี้ "ได้ง่าย" โดยเพียงแค่การฝึกอบรมตัวจําแนก ให้เราสมมติคุณได้รับลักษณนามซึ่งสามารถบอกคุณน่าจะเป็นที่สังเกตได้รับการสร้างขึ้นโดยฉโปรดทราบว่าx) แล้ว: $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

ที่ขั้นตอนแรกคือเนื่องจากเบส์และสุดท้ายต่อจากสมมติฐานที่ว่า(ฉ) $p(g) = p(f)$

การจัดลักษณนามดังกล่าวนั้นค่อนข้างง่ายด้วยสองเหตุผล

ก่อนอื่นคุณสามารถทำการอัพเดทสุ่ม นั่นหมายความว่าหากคุณใช้เครื่องมือเพิ่มประสิทธิภาพแบบไล่ระดับสีซึ่งเป็นเรื่องปกติสำหรับการถดถอยโลจิสติกหรือเครือข่ายประสาทคุณสามารถดึงตัวอย่างจากแต่ละและและทำการอัปเดต $f$ $g$

ประการที่สองเนื่องจากคุณมีข้อมูลแทบไม่ จำกัด - คุณสามารถสุ่มตัวอย่างและสู่ความตาย - คุณไม่ต้องกังวลกับการ overfitting หรือสิ่งที่คล้ายกัน $f$ $g$

— bayerj
แหล่งที่มา

0

นอกเหนือจากวิธีการลักษณนามของความน่าจะเป็นที่กล่าวถึงโดย @bayerj คุณสามารถใช้ขอบเขตล่างของความแตกต่าง KL ที่ได้รับใน [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ ที่เป็นกฎเกณฑ์ ฟังก์ชัน ภายใต้เงื่อนไขที่ไม่รุนแรงบางอย่างขอบเขต จำกัด สำหรับ:

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

ที่จะประเมินความแตกต่างระหว่าง KLและเราเพิ่ม WRT ขอบเขตล่างไปยังฟังก์ชัน(x) $f$ $g$ $T(x)$

อ้างอิง:

[1] Nguyen, X. , Wainwright, MJ และ Jordan, MI, 2010 การประมาณฟังก์ชัน divergence และอัตราส่วนความน่าจะเป็นโดยการลดความเสี่ยงให้น้อยที่สุด ธุรกรรม IEEE บนทฤษฎีข้อมูล 56 (11), pp.5847-5861

[2] Nowozin, S. , Cseke, B. และ Tomioka, R. , 2016 f-gan: การฝึกอบรมตัวอย่างระบบประสาทกำเนิดโดยใช้การลดความแปรปรวนแบบผันแปร ในความก้าวหน้าในระบบประมวลผลข้อมูลประสาท (หน้า 271-279)

— ก้วง
แหล่งที่มา