วิธีการตีความเอนโทรปีต่างกันอย่างไร

ฉันเพิ่งอ่านนี้บทความเกี่ยวกับเอนโทรปีของการกระจายความน่าจะเป็นที่ไม่ต่อเนื่อง มันอธิบายวิธีคิดที่ดีเกี่ยวกับเอนโทรปีเป็นบิตจำนวนที่คาดหวัง (อย่างน้อยเมื่อใช้ในการกำหนดเอนโทรปีของคุณ) จำเป็นต้องเข้ารหัสข้อความเมื่อการเข้ารหัสของคุณดีที่สุดเนื่องจากการกระจายความน่าจะเป็นของคำที่คุณใช้$\log_2$

อย่างไรก็ตามเมื่อขยายไปถึงกรณีอย่างต่อเนื่องเช่นที่นี่ฉันเชื่อว่าวิธีคิดนี้หยุดลงเนื่องจากสำหรับการแจกแจงความน่าจะเป็นแบบต่อเนื่องp ( x ) (โปรดแก้ไขให้ฉันด้วยถ้าผิด) ดังนั้นฉันจึง สงสัยว่ามีวิธีคิดที่ดีเกี่ยวกับความหมายของเอนโทรปีต่อเนื่องเช่นเดียวกับกรณีที่ไม่ต่อเนื่อง$\sum_x p(x) = \infty$$p(x)$

ไม่มีการตีความของเอนโทรปีที่แตกต่างกันซึ่งจะมีความหมายหรือมีประโยชน์เหมือนกับเอนโทรปี ปัญหาเกี่ยวกับตัวแปรสุ่มต่อเนื่องคือค่าของพวกเขามักจะมี 0 ความน่าจะเป็นดังนั้นจึงต้องใช้จำนวนบิตที่ไม่มีที่สิ้นสุดในการเข้ารหัส

หากคุณดูที่ขีด จำกัด ของเอนโทรปีโดยไม่ต่อเนื่องโดยการวัดความน่าจะเป็นของช่วงเวลา$[n\varepsilon, (n + 1)\varepsilon[$คุณจะสิ้นสุดด้วย

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

ไม่ใช่เอนโทรปีต่างกัน ปริมาณนี้มีความหมายมากกว่า แต่จะเบี่ยงเบนไปสู่อินฟินิตี้เมื่อเราใช้ช่วงเวลาที่เล็กลงและเล็กลง มันสมเหตุสมผลแล้วเนื่องจากเราต้องการบิตมากขึ้นในการเข้ารหัสซึ่งช่วงเวลาต่างๆที่ค่าของการสุ่มของเราลดลง

ปริมาณที่มีประโยชน์มากขึ้นในการมองหาการแจกแจงแบบต่อเนื่องคือเอนโทรปีสัมพัทธ์ (เช่น Kullback-Leibler divergence) สำหรับการแจกแจงแบบแยก:

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

$P$$-\log Q_2(x)$$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

$\log_2 \varepsilon$

$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$$n$$-\log \varepsilon$$\lambda$

ดูการพูดคุยของ Sergio Verduสำหรับการแนะนำที่ดีเกี่ยวกับเอนโทรปีแบบสัมพัทธ์