แชนนอนเอนโทรปีของ 0.922, 3 ค่าที่แตกต่าง

กำหนดสตริงของค่าB C , นอนส์เอนโทรปีในฐานล็อก  2มาถึง0.922 จากสิ่งที่ฉันเข้าใจในฐาน  2 Shannon Entropy ได้ปัดเศษขึ้นเป็นจำนวนบิตขั้นต่ำในไบนารีเพื่อแสดงค่าเดียว$AAAAAAAABC$$2$$0.922$$2$

นำมาจากการแนะนำในหน้าวิกิพีเดียนี้:

https://en.wikipedia.org/wiki/Entropy_%28information_theory%29

ดังนั้นค่าสามค่าสามารถแทนด้วยหนึ่งบิตได้อย่างไร $A$  อาจเท่ากับ  $1$ , $B$  อาจเป็น  $0$ ; แต่คุณจะเป็นตัวแทนของ  $C$อย่างไร?

ขอบคุณล่วงหน้า.

เอนโทรปีที่คุณคำนวณไม่ได้มีไว้สำหรับสตริงเฉพาะ แต่สำหรับแหล่งที่มาของสัญลักษณ์แบบสุ่มที่สร้าง$A$พร้อมความน่าจะเป็น  $\tfrac{8}{10}$และ$B$และ $C$มีความน่าจะเป็น $\tfrac1{10}$อันโดยไม่มีความสัมพันธ์ระหว่างสัญลักษณ์ต่อเนื่อง เอนโทรปีที่คำนวณได้สำหรับการแจกจ่ายนี้$0.922$หมายความว่าคุณไม่สามารถแสดงสตริงที่สร้างจากการแจกจ่ายนี้โดยเฉลี่ยน้อยกว่า$0.922$บิตต่อตัวอักษรโดยเฉลี่ย

มันอาจจะค่อนข้างยากในการพัฒนารหัสที่จะบรรลุอัตรานี้ ^*ตัวอย่างเช่นการเข้ารหัส Huffman จะจัดสรรรหัส$0$ , $10$และ  $11$ถึง$A$ , $B$และ  $C$ตามลำดับสำหรับค่าเฉลี่ย$1.2$  บิตต่ออักขระ นั่นค่อนข้างไกลจากเอนโทรปี แต่ก็ยังดีกว่าการเข้ารหัสที่ไร้เดียงสาของสองบิตต่อตัวละคร ความพยายามในการที่ดีกว่าการเข้ารหัสอาจจะใช้ประโยชน์จากความจริงที่ว่าแม้กระทั่งการทำงานของสิบติดต่อกันใด ๆs มีแนวโน้มที่ (น่าจะเป็น0.107 ) มากกว่าเดียว  B$A$$0.107$$B$

---

^*ปรากฎว่ามันไม่ยากที่จะเข้าใกล้เท่าที่คุณต้องการ - ดูคำตอบอื่น ๆ !

นี่คือการเข้ารหัสที่เป็นรูปธรรมที่สามารถเป็นตัวแทนของแต่ละสัญลักษณ์โดยเฉลี่ยน้อยกว่า 1 บิต:

ก่อนอื่นแบ่งสตริงอินพุตให้เป็นคู่ของอักขระที่ต่อเนื่องกัน (เช่น AAAAAAAABC กลายเป็น AA | AA | AA | AA | BC) จากนั้นเข้ารหัส AA เป็น 0, AB เป็น 100, AC เป็น 101, BA เป็น 110, CA เป็น 1110, BB เป็น 111100, BC เท่ากับ 111101, CB เป็น 111110, CC เท่ากับ 111111 _{ฉันไม่ได้พูดว่าเกิดอะไรขึ้นถ้ามีคี่ จำนวนสัญลักษณ์ แต่คุณสามารถเข้ารหัสสัญลักษณ์สุดท้ายโดยใช้การเข้ารหัสโดยพลการบางอย่างมันไม่สำคัญว่าเมื่ออินพุตยาว}

นี่คือรหัส Huffman สำหรับการแจกสัญลักษณ์คู่อิสระและสอดคล้องกับการเลือก$n = 2$ในคำตอบของ Yuval $n$ใหญ่กว่าจะนำไปสู่รหัสที่ดียิ่งขึ้น (ใกล้กับเอนโทรปีของแชนนอนในขีด จำกัด

จำนวนเฉลี่ยของบิตต่อคู่สัญลักษณ์สำหรับการเข้ารหัสข้างต้นคือ

$$\frac{8}{10} \cdot \frac{8}{10} \cdot 1 + 3 \cdot \frac{8}{10} \cdot \frac{1}{10} \cdot 3 + \frac{1}{10} \cdot \frac{8}{10} \cdot 4 + 4 \cdot \frac{1}{10} \cdot \frac{1}{10} \cdot 6 = 1.92$$ $1.92/2 = 0.96$

$\mathcal{D}$$\{A,B,C\}$: if $X \sim \mathcal{D}$ then $\Pr[X=A] = 4/5$ and $\Pr[X=B]=\Pr[X=C]=1/10$.

For each $n$ we can construct prefix codes $C_n\colon \{A,B,C\}^n \to \{0,1\}^*$ such that

$$\lim_{n\to\infty} \frac{\operatorname*{\mathbb{E}}_{X_1,\ldots,X_n \sim \mathcal{D}}[C_n(X_1,\ldots,X_n)]}{n} = H(\mathcal{D}).$$

In words, if we encode a large number of independent samples from $\mathcal{D}$, then on average we need $H(\mathcal{D}) \approx 0.922$ bits per sample. Intuitively, the reason we can do with less than one bit is that each individual sample is quite likely to be $A$.

This is the real meaning of entropy, and it shows that computing the "entropy" of a string $A^8BC$ is a rather pointless exercise.