ข้อมูลที่ได้รับซึ่งกันและกันสามารถมีค่ามากกว่า 1


11

ฉันมีข้อสงสัยพื้นฐานมาก ขออภัยถ้าสิ่งนี้ทำให้หงุดหงิดเล็กน้อย ฉันรู้ว่าค่าข้อมูลรวมควรมากกว่า 0 แต่ควรน้อยกว่า 1 หรือไม่ มันถูกล้อมรอบด้วยค่าสูงสุดใด ๆ ?

ขอบคุณ Amit

คำตอบ:


18

ใช่มันมีขอบเขตบน แต่ไม่ใช่ 1

ข้อมูลร่วมกัน (ในบิต) เป็น 1 เมื่อทั้งสองฝ่าย (สถิติ) หนึ่งหุ้นบิตของข้อมูล อย่างไรก็ตามพวกเขาสามารถแบ่งปันข้อมูลขนาดใหญ่โดยพลการ โดยเฉพาะอย่างยิ่งหากพวกเขาแบ่งปัน 2 บิตก็เป็น 2

I(X,Y)min[H(X),H(Y)]


หากทั้งสองฝ่ายเป็นตัวแปรไบนารีนั่นคือแต่ละคนมีผลลัพธ์ที่เป็นไปได้เพียงสองรายการ{0,1}ดังนั้น entropiesสูงสุดที่เมื่อและ= ดังนั้นข้อมูลร่วมกันสูงสุดสำหรับตัวแปรไบนารีสองตัวคือH ( X ) , H ( Y ) 1 P ( X ) = 0.5 P ( Y ) = 0.5 1X,YH(X),H(Y)1P(X)=0.5P(Y)=0.51
Akseli Palén
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.