สัญชาตญาณเกี่ยวกับเอนโทรปีร่วม

ฉันมีปัญหาในการสร้างสัญชาตญาณเกี่ยวกับเอนโทรปีร่วม = ความไม่แน่นอนในการกระจายข้อต่อ ; = ความไม่แน่นอนใน ; = ไม่แน่นอนใน(y)$H(X,Y)$$p(x,y)$$H(X)$$p_x(x)$$H(Y)$$p_y(y)$

ถ้า H (X) สูงการกระจายจะไม่แน่นอนมากขึ้นและถ้าคุณรู้ว่าผลลัพธ์ของการกระจายนั้นคุณมีข้อมูลเพิ่มเติม! ดังนั้น H (X) จึงทำการหาปริมาณข้อมูล

ตอนนี้เราสามารถแสดง$H(X,Y) \leq H(X) + H(Y)$

แต่ถ้าคุณรู้ว่าคุณสามารถรับและดังนั้นในบางกรณีมีข้อมูลมากกว่าทั้งและดังนั้นไม่ควร ' ความไม่แน่นอนที่เกี่ยวข้องกับ p (x, y) นั้นมากกว่าความไม่แน่นอนของบุคคลหรือไม่$p(x,y)$$p_x(x)$$p_y(y)$$p(x,y)$$p_x(x)$$p_y(y)$

ตามกฎทั่วไปข้อมูลเพิ่มเติมจะไม่เพิ่มเอนโทรปีซึ่งมีการระบุอย่างเป็นทางการว่า:

ความเสมอภาคถือถ้าและมีความเป็นอิสระซึ่งหมายถึง(X)$X$$Y$$H(X|Y) = H(X)$

ผลที่ได้นี้สามารถนำมาใช้เพื่อพิสูจน์เอนโทรปีร่วม(x_i) เพื่อแสดงให้เห็นว่าการพิจารณากรณีที่เรียบง่ายY) ตามกฎลูกโซ่เราสามารถเขียนเอนโทรปีของการเข้าร่วมได้ดังนี้$H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$$H(X,Y)$

เมื่อพิจารณาจากความไม่เท่าเทียมกัน ,ไม่เคยเพิ่มเอนโทรปีของตัวแปรและด้วยเหตุนี้(Y) การใช้การเหนี่ยวนำสามารถสรุปผลลัพธ์นี้ให้กับเคสที่เกี่ยวข้องกับตัวแปรมากกว่าสองตัว$*$$H(X|Y)$$X$$H(X,Y) \leq H(X) + H(Y)$

หวังว่ามันจะช่วยลดความกำกวม (หรือเอนโทรปีของคุณ) เกี่ยวกับเอนโทรปี!

มีอีกมุมมองของเอนโทรปีนอนส์ ลองนึกภาพว่าคุณต้องการเดาคำถามต่างๆว่ามูลค่าที่แท้จริงของตัวแปรคืออะไร เพื่อความง่ายให้จินตนาการว่าค่าสามารถใช้ค่าที่แตกต่างกันแปดค่าและทั้งหมดมีความเป็นไปได้เท่าเทียมกัน$\left(0,1,..., 8\right)$

วิธีที่มีประสิทธิภาพที่สุดคือทำการค้นหาแบบไบนารี ก่อนอื่นคุณถามว่ามากกว่าหรือน้อยกว่า 4 จากนั้นเปรียบเทียบกับ 2 หรือ 6 และอื่น ๆ โดยรวมคุณไม่จำเป็นต้องมีคำถามมากกว่าสามคำถาม (ซึ่งเป็นจำนวนบิตของการแจกแจงที่เป็นรูปธรรม)

เราสามารถทำการเปรียบเทียบได้ในกรณีของตัวแปรสองตัว หากพวกเขาไม่ได้เป็นอิสระจากนั้นการรู้คุณค่าของหนึ่งในนั้นจะช่วยให้คุณคาดเดาได้ดีขึ้น (โดยเฉลี่ย) สำหรับคำถามต่อไป (ซึ่งสะท้อนให้เห็นในผลลัพธ์ที่ชี้โดยomidi ) ดังนั้นเอนโทรปีจึงต่ำกว่าเว้นแต่ว่าพวกเขาจะมีความเป็นอิสระอย่างสมบูรณ์ซึ่งคุณต้องเดาคุณค่าของมันด้วยตนเอง การบอกว่าเอนโทรปีนั้นหมายถึงต่ำกว่า (สำหรับตัวอย่างที่เป็นรูปธรรมนี้) ที่คุณต้องตั้งคำถามให้น้อยลงโดยเฉลี่ย (เช่นบ่อยครั้งกว่าที่คุณจะเดาไม่ออก)

ดูเหมือนว่าคุณกำลังทำให้ความคิด "ถ้าข้อมูลเพิ่มเติมเมื่อทราบแล้วเอนโทรปีมากขึ้นเมื่อไม่ทราบ" นี่ไม่ใช่สัญชาตญาณที่ถูกต้องเพราะถ้าไม่ทราบการแจกแจงเราก็ไม่รู้ด้วยซ้ำว่าเอนโทรปี ถ้าทราบว่ามีการแจกแจงแล้ว ปริมาณข้อมูลที่ต้องการอธิบายความไม่แน่นอนเกี่ยวกับปริมาณการรับรู้ของตัวแปรสุ่มซึ่งยังไม่ทราบ (เรารู้โครงสร้างรอบความไม่แน่นอนนี้โดยรู้ว่าการกระจาย) เอนโทรปีไม่ได้บอกปริมาณข้อมูล "ปัจจุบัน" ในการแจกแจง ในทางตรงกันข้าม: ข้อมูลเพิ่มเติม "รวม" ในการกระจายข้อมูลน้อย "จำเป็น" เพื่ออธิบายความไม่แน่นอนและน้อยเอนโทรปีคือ พิจารณาการกระจายตัวแบบสม่ำเสมอ: มันมีข้อมูลน้อยมากเพราะค่าที่เป็นไปได้ทั้งหมดของตัวแปรนั้นคือ equiprobable: ดังนั้นจึงมีค่าเอนโทรปีสูงสุดในการแจกแจงทั้งหมดที่มีการรองรับแบบ จำกัด

สำหรับ Joint Entropy คุณอาจคิดได้ดังนี้การแจกแจงร่วมประกอบด้วยข้อมูลว่าตัวแปรสองตัวนั้นขึ้นอยู่กับหรือไม่รวมถึงข้อมูลที่เพียงพอที่จะได้มาซึ่งการกระจายแบบร่อแร่ การแจกแจงร่อแร่ไม่มีข้อมูลเกี่ยวกับว่าตัวแปรสุ่มสองตัวขึ้นอยู่กับหรือเป็นอิสระ ดังนั้นการกระจายข้อต่อจึงมีข้อมูลมากขึ้นและทำให้เรามีความไม่แน่นอนน้อยลงเกี่ยวกับตัวแปรสุ่มที่เกี่ยวข้อง:

ข้อมูลเพิ่มเติมรวมอยู่ในการจัดจำหน่าย $\rightarrow$ ความไม่แน่นอนน้อยลงโดยรอบตัวแปร $\rightarrow$ ข้อมูลที่จำเป็นน้อยลงเพื่ออธิบายความไม่แน่นอนนี้ $\rightarrow$ เอนโทรปีน้อย