มูลค่าสูงสุดของการผันแปร Kullback-Leibler (KL) คืออะไร

ฉันจะใช้ KL divergence ในรหัสหลามของฉันและฉันได้รับการสอนนี้

ในบทช่วยสอนนั้นการใช้ KL divergence นั้นค่อนข้างง่าย

kl = (model * np.log(model/actual)).sum()

ดังที่ฉันเข้าใจการกระจายความน่าจะเป็นของmodelและactualควรเป็น <= 1

คำถามของฉันคืออะไรค่าสูงสุดที่เป็นไปได้ / ค่าสูงสุดที่เป็นไปได้คือ k ฉันจำเป็นต้องรู้ค่าสูงสุดที่เป็นไปได้ของระยะทาง kl สำหรับขอบเขตสูงสุดในรหัสของฉัน

หรือแม้กระทั่งด้วยการสนับสนุนเดียวกันเมื่อกระจายหนึ่งมีหางที่อ้วนกว่ามาก ๆ ใช้ เมื่อ แล้ว และ มีระยะทางอื่นที่ยังคงมีขอบเขตเช่นp ( x ) = ความหนาแน่น Cauchy ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ KL(P||Q)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• ระยะเทียบเท่ากับระยะการเปลี่ยนแปลงทั้งหมด$L¹$
• ระยะทาง Wasserstein
• ระยะทางของ Hellinger

สำหรับการแจกแจงที่ไม่มีการสนับสนุนเดียวกัน KL divergence จะไม่ถูก จำกัด ขอบเขต ดูคำจำกัดความ:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

ถ้า P และ Q ไม่สนับสนุนเหมือนกันมีบางจุดที่และทำให้ KL ไปไม่มีที่สิ้นสุด นอกจากนี้ยังใช้สำหรับการแจกแจงแบบแยกซึ่งเป็นกรณีของคุณ$x'$$p(x') \neq 0$$q(x') = 0$

แก้ไข:อาจเป็นทางเลือกที่ดีกว่าในการวัดความแตกต่างระหว่างการแจกแจงความน่าจะเป็นระยะทางที่เรียกว่า Wasserstein ซึ่งเป็นตัวชี้วัดและมีคุณสมบัติที่ดีกว่า KL divergence มันได้กลายเป็นที่นิยมมากเนื่องจากการใช้งานในการเรียนรู้ลึก (ดูเครือข่าย WGAN)

เพื่อเพิ่มคำตอบที่ยอดเยี่ยมโดยคาร์ลอสและซีอานมันเป็นเรื่องที่น่าสนใจที่จะทราบว่าเงื่อนไขที่เพียงพอสำหรับการแยก KL จะมีค่า จำกัด สำหรับตัวแปรสุ่มทั้งคู่ที่จะมีการสนับสนุนที่กะทัดรัดและสำหรับความหนาแน่นของการอ้างอิง . ผลลัพธ์นี้ยังกำหนดขอบเขตที่แน่นอนสำหรับความแตกต่างสูงสุดของ KL (ดูทฤษฎีบทและบทพิสูจน์ด้านล่าง)

---

ทฤษฎีบท:ถ้าความหนาแน่นและมีเหมือนกันตกลงสนับสนุนและความหนาแน่นตั้งอยู่ทางทิศสนับสนุน (เช่นเป็นมี จำกัด ขอบเขตบน) แล้ว<\$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

พิสูจน์:เนื่องจากมีขนาดกะทัดรัดรองรับซึ่งหมายความว่ามีค่าต่ำสุดที่เป็นบวก:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

ในทำนองเดียวกันเนื่องจากมีการสนับสนุนที่กะทัดรัดซึ่งหมายความว่ามีค่า supremum ที่เป็นบวก:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

นอกจากนี้ตั้งแต่เหล่านี้มีทั้งความหนาแน่นในการสนับสนุนเดียวกันและหลังตั้งอยู่ทางทิศเรามี<\ ซึ่งหมายความว่า:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

ตอนนี้ให้เป็นขอบเขตบนหลังเราเห็นได้ชัดว่ามีดังนั้น ที่:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

สิ่งนี้กำหนดขอบเขตบนที่ต้องการซึ่งพิสูจน์ทฤษฎีบท $\blacksquare$