ความแตกต่างระหว่างระยะทาง Bhattacharyya และ KL divergence

33

ฉันกำลังมองหาคำอธิบายที่ใช้งานง่ายสำหรับคำถามต่อไปนี้:

ในสถิติและทฤษฎีข้อมูลความแตกต่างระหว่างระยะทาง Bhattacharyya และความแตกต่างของ KL เป็นมาตรการของความแตกต่างระหว่างการแจกแจงความน่าจะเป็นแบบแยกสองอันคืออะไร

พวกเขาไม่มีความสัมพันธ์อย่างแท้จริงและวัดระยะห่างระหว่างการแจกแจงความน่าจะเป็นสองแบบในลักษณะที่แตกต่างกันโดยสิ้นเชิงหรือไม่?

— JewelSue
แหล่งที่มา

36

ค่าสัมประสิทธิ์ Bhattacharyyaถูกกำหนดให้เป็นและสามารถกลายเป็นระยะเป็นซึ่งเรียกว่าระยะ Hellinger การเชื่อมต่อระหว่างระยะทาง Hellingerนี้กับความแตกต่าง Kullback-Leiblerคือ

D_{B} (พี, Q) = \int \sqrt{พี (x) Q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} (พี, Q) = {1 - D_{B} (พี, Q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (พี ‖ Q) \geq 2 d_{H}^{2} (พี, Q) = 2 {1 - D_{B} (พี, Q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

อย่างไรก็ตามนี่ไม่ใช่คำถาม: ถ้าระยะทาง Bhattacharyyaถูกกำหนดเป็น

d_{B} (พี, Q) \overset{def}{=} - เข้าสู่ระบบ D_{B} (พี, Q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ จากนั้น

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ ดังนั้นความไม่เท่าเทียมกันระหว่าง ระยะทางสองระยะคือ

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ ใคร ๆ ก็สงสัยว่าความไม่เท่าเทียมนี้เกิดขึ้นจากคนแรก มันเป็นสิ่งที่ตรงกันข้าม: ตั้งแต่

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ ป้อนคำอธิบายรูปภาพที่นี่

เรามีการสั่งซื้อที่สมบูรณ์

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— ซีอาน
แหล่งที่มา

2

ยอดเยี่ยม! คำอธิบายนี้ควรเป็นสิ่งที่ฉันกำลังมองหาอย่างกระตือรือร้น คำถามสุดท้ายเพียงคำถามเดียว: ในกรณีใด (หรือ P และ Q ชนิดใด) ความไม่เท่าเทียมจะกลายเป็นความเท่าเทียมกัน?

— JewelSue

1

ระบุว่าฟังก์ชั่นเป็นอย่างเคร่งครัดนูนผมจะถือว่าเป็นเพียงกรณีเพื่อความเท่าเทียมกันคือเมื่ออัตราส่วนเป็นค่าคงที่ในx

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— ซีอาน

5

และกรณีเฉพาะเมื่อเป็นค่าคงที่ในคือเมื่อ Q

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— ซีอาน

8

ฉันไม่ทราบถึงความสัมพันธ์ที่ชัดเจนระหว่างทั้งสอง แต่ตัดสินใจที่จะกระตุ้นพวกเขาอย่างรวดเร็วเพื่อดูสิ่งที่ฉันสามารถหาได้ ดังนั้นนี่ไม่ใช่คำตอบที่มากนัก แต่เป็นประเด็นที่น่าสนใจมากกว่า

เพื่อความง่ายเรามาหาการแจกแจงแบบแยก เราสามารถเขียนระยะทาง BC เป็น

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

และ KL แตกต่างดังนี้

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

ตอนนี้เราไม่สามารถดันล็อกภายในผลรวมกับระยะทางดังนั้นให้ลองดึงล็อกไปด้านนอกของ divergenceด้านนอก: $\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

ลองพิจารณาพฤติกรรมของพวกเขาเมื่อถูกกำหนดให้มีการแจกแจงแบบสม่ำเสมอเหนือความเป็นไปได้ : $p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

ทางด้านซ้ายเรามีบันทึกของบางสิ่งบางอย่างที่คล้ายกันในรูปแบบกับค่าเฉลี่ยเรขาคณิต ด้านขวาเรามีสิ่งที่คล้ายกับการเข้าสู่ระบบของมัชฌิมเลขคณิต อย่างที่ฉันพูดนี่ไม่ใช่คำตอบมากนัก แต่ฉันคิดว่ามันให้สัญชาตญาณเรียบร้อยว่าระยะทาง BC และความแตกต่าง KL ตอบสนองต่อการเบี่ยงเบนระหว่างและอย่างไร $p$ $q$

— แอนดี้โจนส์
แหล่งที่มา