บันทึก (p (x, y)) ทำข้อมูลร่วมกันให้เป็นจุดปกติได้อย่างไร

ฉันกำลังพยายามที่จะเข้าใจรูปแบบของข้อมูลร่วมกันแบบจุดตามปกติ

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

เหตุใดความน่าจะเป็นร่วมของบันทึกจึงทำให้ข้อมูลร่วมกันที่เป็นจุดเป็นปกติอยู่ระหว่าง [-1, 1]?

ข้อมูลร่วมกันที่ชาญฉลาดคือ:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) ถูกล้อมรอบด้วย [0, 1] ดังนั้นล็อก (p (x, y)) ถูกล้อมรอบด้วย (, 0] ดูเหมือนว่าบันทึก (p (x, y)) ควรเปลี่ยนแปลงสมดุลใน ตัวเศษ แต่ฉันไม่เข้าใจอย่างชัดเจนว่ามันทำให้ฉันนึกถึงเอนโทรปี$h=-log(p(x))$แต่อีกครั้งฉันไม่เข้าใจความสัมพันธ์ที่แน่นอน

จากรายการ Wikipedia บนข้อมูลร่วมกันแบบจุด :

ข้อมูลร่วมกันในแนวตั้งจุดสามารถทำให้เป็นมาตรฐานระหว่าง [-1, + 1] ส่งผลให้ -1 (ในขีด จำกัด ) สำหรับไม่เคยเกิดขึ้นพร้อมกัน, 0 เพื่อความเป็นอิสระและ +1 สำหรับการเกิดร่วมที่สมบูรณ์

ทำไมมันเกิดขึ้น ความหมายของข้อมูลร่วมกันแบบจุดคือ

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

ในขณะที่ข้อมูลมาตรฐานร่วมกันคือ:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

เมื่อมี:

• ไม่มีเหตุการณ์ร่วมดังนั้นnmpiคือ -1,$\log p(x,y)\to -\infty$
• เกิดขึ้นแบบสุ่ม, , ดังนั้นnmpiคือ 0,$\log p(x,y)= \log[p(x) p(y)]$
• เสร็จสมบูรณ์ร่วมเกิดดังนั้น nmpiคือ 1$\log p(x,y)= \log p(x) = \log p(y)$

ในขณะที่คำตอบ Piotr Migdal เป็นข้อมูลในการให้ตัวอย่างที่ประสบความสำเร็จใน nmpi สามค่ามากก็ไม่ได้พิสูจน์ว่ามันอยู่ในช่วง[-1,1]นี่คือความไม่เท่าเทียมกันและที่มาของมัน เป็นสำหรับการใด ๆ เหตุการณ์ การหารทั้งสองข้างด้วยค่าที่ไม่เป็นลบเรามี $[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$