คุณภาพคืออะไรเอนโทรปี

คำถามนี้ให้คำจำกัดความเชิงปริมาณของเอนโทรปีข้ามในแง่ของสูตร

ฉันกำลังมองหาความหมายที่คาดการณ์เพิ่มเติมวิกิพีเดียพูดว่า:

ในทฤษฎีสารสนเทศ, การข้ามเอนโทรปีระหว่างการแจกแจงความน่าจะเป็นสองครั้งเป็นการวัดจำนวนเฉลี่ยของบิตที่จำเป็นในการระบุเหตุการณ์จากชุดของความเป็นไปได้, หากใช้การเข้ารหัสแบบแผนบนพื้นฐานของการแจกแจงความน่าจะเป็นที่กำหนด .

ฉันได้เน้นส่วนที่ทำให้ฉันมีปัญหาในการทำความเข้าใจนี้ ฉันต้องการคำจำกัดความที่ดีซึ่งไม่จำเป็นต้องมีความเข้าใจในเอนโทรปี

entropy information-theory

— Lyndon White
แหล่งที่มา

คุณกำลังขอคำจำกัดความของcross -entropy ที่ในเวลาเดียวกันจะกำหนดเอนโทรปีของตัวเอง และอย่างสังหรณ์ดังนั้น ... หากคุณมีปัญหาในการทำความเข้าใจแนวคิดของเอนโทรปีมันจะเป็นความคิดที่ดีที่จะเข้าใจแนวคิดพื้นฐานก่อนแล้วจึงขยายส่วนใดส่วนหนึ่ง

— Alecos Papadopoulos

โดยส่วนตัวฉันมีความเข้าใจพื้นฐานเกี่ยวกับเอนโทรปี (แม้ว่าจะใช้เวลาเกือบ 12 เดือนแล้วตั้งแต่ฉันสมัคร) แต่การแสดงออกเชิงปริมาณของเอนโทรปีควรจะพอดีในย่อหน้าสั้น ๆ และการข้ามเอนโทรปีควรจะใช้อีกหนึ่ง ดังนั้นฉันรู้สึกว่าคำตอบที่ดีอาจรวมถึงทั้งสองอย่างเพื่อให้ผู้อ่านไม่จำเป็นต้องอ้างอิงที่อื่นเพื่อทำความเข้าใจ

— Lyndon White

ดูโพสต์ที่เกี่ยวข้อง: stats.stackexchange.com/questions/66186/… และ stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

$p$ $\log_2(1/p)$ บิต (ทำไม? ดูคำตอบของฉันเรื่อง "บทบาทของลอการิทึมในเอนโทรปีนอนส์คืออะไร?" )

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$ ที่อยู่, แชนนอนเอนโทรปีของการกระจายความน่าจะเป็นต้นฉบับ

$P$ $Q$

\sum_{i} p_{i} code_length(i) = \sum_{i} p_{i} \log_{2} (\frac{1}{q_{i}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

ยกตัวอย่างเช่นลองพิจารณาตัวอักษรสี่ตัวอักษร (A, B, C, D) แต่ด้วย A และ B ที่มีความถี่และ C และ D เท่ากันจะไม่ปรากฏเลย ความน่าจะเป็นก็คือ $P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

ถ้าเราต้องการเข้ารหัสอย่างเหมาะสมเราจะเข้ารหัส A เป็น 0 และ B เป็น 1 ดังนั้นเราจึงได้รับข้อความที่เข้ารหัสหนึ่งบิตต่อตัวอักษรหนึ่งตัว (และมันก็คือเอนโทรปีของการแจกแจงความน่าจะเป็นของแชนนอน)

$P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

— Piotr Migdal
แหล่งที่มา

คำอธิบายที่ดีขอบคุณ อย่างไรก็ตามนิยามของวิกิพีเดียคือ sum_i [p_i * log (q_i)] การใช้ 1 / q_i ของคุณให้จำนวนสถานะที่เป็นไปได้ดังนั้น log_2 จะแปลงเป็นจำนวนบิตที่จำเป็นในการเข้ารหัสสัญลักษณ์เดียว แต่หน้าวิกิพีเดียอธิบายบางสิ่งที่แตกต่างอย่างละเอียด

— redcalx

@locster ใน Wikipedia มีเครื่องหมายลบหน้าผลรวมซึ่งเท่ากับการมี

1 / q_{i}

$1/q_i$ , เช่น

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$ .

— Piotr Migdal