การได้รับสารสนเทศข้อมูลร่วมกันและมาตรการที่เกี่ยวข้อง

Andrew More กำหนดข้อมูลที่ได้รับเป็น:

$IG(Y|X) = H(Y) - H(Y|X)$

ที่$H(Y|X)$เป็นเอนโทรปีเงื่อนไข อย่างไรก็ตามวิกิพีเดียเรียกปริมาณดังกล่าวข้างต้นข้อมูลซึ่งกันและกัน

วิกิพีเดียในอีกด้านหนึ่งกำหนดข้อมูลที่ได้รับเมื่อ Kullback – Leibler divergence (aka data divergence หรือ entropy สัมพัทธ์) ระหว่างตัวแปรสุ่มสองตัว:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

ที่$H(P,Q)$ถูกกำหนดให้เป็นข้ามเอนโทรปี

คำจำกัดความทั้งสองนี้ดูเหมือนจะไม่สอดคล้องกัน

ฉันได้เห็นผู้เขียนคนอื่นพูดถึงแนวคิดที่เกี่ยวข้องเพิ่มเติมอีกสองแนวคิดคือเอนโทรปีต่างกันและการได้รับข้อมูลญาติ

คำจำกัดความหรือความสัมพันธ์ที่แม่นยำระหว่างปริมาณเหล่านี้คืออะไร มีหนังสือเรียนที่ดีที่ครอบคลุมพวกเขาทั้งหมดหรือไม่?

• ได้รับข้อมูล
• ข้อมูลร่วมกัน
• ข้ามเอนโทรปี
• เอนโทรปีแบบมีเงื่อนไข
• เอนโทรปีต่างกัน
• ได้รับข้อมูลญาติ

ฉันคิดว่าการเรียก Kullback-Leibler divergence "การรับข้อมูล" นั้นไม่ใช่มาตรฐาน

คำจำกัดความแรกคือมาตรฐาน

แก้ไข: อย่างไรก็ตามสามารถเรียกได้ว่าข้อมูลร่วมกัน$H(Y)−H(Y|X)$

โปรดทราบว่าฉันไม่คิดว่าคุณจะพบวินัยทางวิทยาศาสตร์ใด ๆ ที่มีรูปแบบการตั้งชื่อที่ได้มาตรฐานแม่นยำและสอดคล้องกัน ดังนั้นคุณจะต้องดูสูตรอยู่เสมอเพราะโดยทั่วไปแล้วพวกเขาจะให้แนวคิดที่ดีกว่า

ตำราดู"แนะนำที่ดีเข้ามาในชนิดที่แตกต่างกันของเอนโทรปี"

นอกจากนี้: Cosma Shalizi: วิธีการและเทคนิคของวิทยาศาสตร์ระบบที่ซับซ้อน: ภาพรวม, บทที่ 1 (หน้า 33--114) ใน Thomas S. Deisboeck และ J. Yasha Kresh (บรรณาธิการ), วิทยาศาสตร์ระบบที่ซับซ้อนใน Biomedicine http: // arxiv.org/abs/nlin.AO/0307015

โรเบิร์ตเอ็มสีเทา: เอนโทรปีและทฤษฎีสารสนเทศ http://ee.stanford.edu/~gray/it.html

David MacKay: ทฤษฎีข้อมูล, การอนุมานและอัลกอริทึมการเรียนรู้ http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

นอกจากนี้"อะไรคือ" เอนโทรปีและการได้รับข้อมูล "?"

$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

$p(y) = \sum_x p(x,y)$

Mutual information can be defined using Kullback-Liebler as

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Extracting mutual information from textual datasets as a feature to train machine learning model: ( the task was to predict age, gender and personality of bloggers)

Both definitions are correct, and consistent. I'm not sure what you find unclear as you point out multiple points that might need clarification.

Firstly: $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ are all different names for the same thing. In different contexts one of these names may be preferable, i will call it hereon Information.

The second point is the relation between the Kullback–Leibler divergence-$D_{KL}$, and Information. The Kullback–Leibler divergence is simply a measure of dissimilarity between two distributions. The Information can be defined in these terms of distributions' dissimilarity (see Yters' response). So information is a special case of $K_{LD}$, where $K_{LD}$ is applied to measure the difference between the actual joint distribution of two variables (which captures their dependence) and the hypothetical joint distribution of the same variables, were they to be independent. We call that quantity Information.

The third point to clarify is the inconsistent, though standard notation being used, namely that $\operatorname{H} (X,Y)$ is both the notation for Joint entropy and for Cross-entropy as well.

So, for example, in the definition of Information:

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ in both last lines, $\operatorname{H}(X,Y)$ is the joint entropy. This may seem inconsistent with the definition in the Information gain page however: $DKL(P||Q)=H(P,Q)−H(P)$ but you did not fail to quote the important clarification - $\operatorname{H}(P,Q)$ is being used there as the cross-entropy (as is the case too in the cross entropy page).

Joint-entropy and Cross-entropy are NOT the same.

Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered - $H_q(p)$

I would hope to see this notation accepted and the wiki-pages updated.