วิธีการคำนวณข้อมูลร่วมกัน?

ฉันสับสนเล็กน้อย บางคนสามารถอธิบายให้ฉันทราบถึงวิธีการคำนวณข้อมูลร่วมกันระหว่างคำสองคำที่ยึดตามเมทริกซ์เอกสารระยะที่เกิดขึ้นกับคำศัพท์ไบนารีเป็นน้ำหนักได้หรือไม่

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ D o c u m e n t 2 & 1 & 0 & 1 & 0 \\ D o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

ขอบคุณ

— user18075
แหล่งที่มา

อะไรคือ

และ

X

$X$

Y

$Y$

— Dilip Sarwate

X และ Y เป็นคำศัพท์ X อาจเป็น "ทำไม" และ Y อาจเป็น "อย่างไร"

— user18075

วิธีสร้างตารางความน่าจะเป็นแบบร่วมที่มีการเกิดร่วมแบบปกติในเอกสาร จากนั้นคุณสามารถขอรับเอนโทรปีร่วมและเอนโทรปีส่วนเพิ่มได้โดยใช้ตาราง สุดท้าย

ผม (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

— Zoran
แหล่งที่มา

เมื่อมีการพิจารณาการแจกแจงร่วมและส่วนเพิ่มทำไมจึงจำเป็นต้องคำนวณ

และ

และใช้สูตรที่คุณแสดง ไม่สามารถกำหนดข้อมูลร่วมกันโดยตรงผ่านสูตรที่กำหนดโดย OP เนื่องจากทุกอย่างที่จำเป็นสำหรับ "การเสียบ", ได้แก่

และ

เป็นที่รู้จักกันในจุดนี้?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

— Dilip Sarwate

สูตรเทียบเท่ากันยกเว้นในกรณีหลังสามารถตีความได้มากขึ้นในแวบแรก

— โซรัน