เป็นไปได้หรือไม่ที่จะใช้ KL divergence ระหว่างการกระจายแบบไม่ต่อเนื่องและต่อเนื่อง?

12

ฉันไม่ใช่นักคณิตศาสตร์ ฉันค้นหาอินเทอร์เน็ตเกี่ยวกับ KL Divergence สิ่งที่ฉันเรียนรู้คือ KL divergence วัดข้อมูลที่หายไปเมื่อเราประมาณการกระจายตัวแบบที่เกี่ยวกับการกระจายสัญญาณ ฉันได้เห็นสิ่งเหล่านี้ระหว่างการแจกแจงแบบต่อเนื่องหรือแบบแยก เราสามารถทำระหว่างต่อเนื่องและไม่ต่อเนื่องหรือในทางกลับกันได้หรือไม่?

distributions mathematical-statistics kullback-leibler

— Prakash
แหล่งที่มา

ที่เกี่ยวข้อง: stats.stackexchange.com/q/6907/2970

— พระคาร์ดินัล

4

ไม่: KL divergence ถูกกำหนดไว้เฉพาะในการกระจายในพื้นที่ทั่วไป มันจะถามเกี่ยวกับความหนาแน่นของจุดภายใต้สองแจกแจงที่แตกต่างกัน,และ(x) ถ้าคือการกระจายในและการกระจายในดังนั้นไม่สมเหตุสมผลสำหรับจุดและไม่ได้ทำให้รู้สึกสำหรับจุด{Z} ในความเป็นจริงเราไม่สามารถทำได้สำหรับการแจกแจงแบบต่อเนื่องสองครั้งบนช่องว่างมิติที่แตกต่างกัน (หรือไม่ต่อเนื่องหรือกรณีใด ๆ ที่ช่องว่างความน่าจะเป็นพื้นฐานไม่ตรงกัน) $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$

หากคุณมีกรณีเฉพาะอยู่ในใจมันอาจเป็นไปได้ที่จะเกิดขึ้นกับการวัดที่มีชีวิตชีวาคล้าย ๆ กันระหว่างการแจกแจง ตัวอย่างเช่นมันอาจเหมาะสมที่จะเข้ารหัสการแจกแจงแบบต่อเนื่องภายใต้รหัสสำหรับรหัสที่ไม่ต่อเนื่อง (เห็นได้ชัดว่ามีข้อมูลสูญหาย) เช่นโดยการปัดไปยังจุดที่ใกล้ที่สุดในกรณีที่ไม่ต่อเนื่อง

— Dougal
แหล่งที่มา

โปรดทราบว่าการกระจาย KL ระหว่างการแยกแบบไม่ต่อเนื่องและการกระจายอย่างต่อเนื่องอย่างแน่นอนถูกกำหนดไว้อย่างดี

— Olivier

@ Olivier คำจำกัดความปกติต้องใช้มาตรการครอบงำร่วมกันไม่ใช่หรือ?

— Dougal

1

คุณถูกต้องเมื่อกำหนด P และ Q ในช่องว่างที่แตกต่างกัน แต่ในพื้นที่ที่วัดได้ทั่วไปการวัดนั้นมีอยู่เสมอ (รับ P + Q เป็นต้น) และการเบี่ยงเบนของ KL ไม่ขึ้นอยู่กับตัวเลือกเฉพาะของการวัด

— Olivier

8

ใช่ความแตกต่างของ KL ระหว่างตัวแปรสุ่มแบบต่อเนื่องและแบบแยกจะถูกกำหนดไว้อย่างดี ถ้าและเป็นดิสทริบิวชันในบางพื้นที่ดังนั้นทั้งและจะมีความหนาแน่น ,เทียบกับและ $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

ตัวอย่างเช่นถ้า ,คือการวัดของ Lebesgue และเป็นมวลจุดที่จากนั้น ,และ $\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— โอลิเวีย
แหล่งที่มา

คุณจะพิสูจน์ได้อย่างไรว่ามีความเป็นอิสระจากมาตรการครอบงำ

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

— Gabriel Romon

การเปลี่ยนแปลงทฤษฎีบทการวัด

— Olivier

1

ไม่โดยทั่วไป KL แตกต่างคือ

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

โดยมีเงื่อนไขว่าต่อเนื่องอย่างยิ่งกับและทั้งและคือ -finite (เช่นภายใต้เงื่อนไขที่ถูกกำหนดไว้อย่างดี) $P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

สำหรับการแยก KL แบบ 'ต่อเนื่องถึงไม่ต่อเนื่อง' ระหว่างการวัดในพื้นที่ปกติบางกรณีคุณมีกรณีที่การวัด Lebesgue นั้นต่อเนื่องอย่างแน่นอนเกี่ยวกับการนับการวัด แต่การวัดการนับไม่ใช่ -finite $\sigma$

— jtobin
แหล่งที่มา