เอนโทรปีของการกระจายที่มีเสียงดัง

สมมติว่าเรามีฟังก์ชั่น $f:\mathbb{Z}_2^n \to \mathbb{R}$ ดังนั้น

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ และ $f$ คือการกระจายคือ $\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$.

เอนโทรปีของแชนนอน $f$ ถูกกำหนดไว้ดังนี้:

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

ปล่อย $\epsilon$ใจเย็น ๆ สมมติว่าเราได้รับ$\epsilon$รุ่นที่มีเสียงดังของ $f(x)$คือเราได้รับฟังก์ชั่น $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ ดังนั้น $|\tilde{f}(x)- f(x) | < \epsilon$ สำหรับทุกคน $x\in \mathbb{Z}_2^n$. ผลกระทบของเสียงรบกวนที่มีต่อเอนโทรปีคืออะไร? นั่นคือเราสามารถผูกมัด$H(\tilde{f})$ โดยฟังก์ชัน "สมเหตุสมผล" ของ $\epsilon$ และ $H(f)$เช่น:

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ หรือแม้กระทั่ง, $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ สำหรับค่าคงที่บางค่า $c,d$.

แก้ไข: พยายามรับความรู้สึกถึงผลกระทบของเสียงรบกวนที่มีต่อเอนโทรปีของแชนนอนสารเติมแต่งที่ "สมเหตุสมผล" ใด ๆ $H(\tilde{f})$ ก็จะน่าสนใจมาก

ขอบเขตดังกล่าวเป็นไปไม่ได้ พิจารณากรณีที่$f$ คือการกระจายที่สม่ำเสมอในบางชุด $S$ ขนาด $2^{\delta \cdot n}$และปล่อยให้ $\tilde{f}$ เป็นการกระจายตัวที่มีความน่าจะเป็น $\delta$ เอาท์พุตองค์ประกอบที่กระจายอย่างสม่ำเสมอของ $S$และมิฉะนั้นจะส่งออกสตริงที่กระจายอย่างสม่ำเสมอ

ไม่ยากที่จะเห็นว่าคุณจะได้รับจาก $f$ ถึง $\tilde{f}$ คุณต้องการเสียงรบกวนมากที่สุด $(1-\delta) \cdot 2^{-\delta \cdot n}$. อย่างไรก็ตาม$H(f)= \delta \cdot n$ ในขณะที่ $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$. ดังนั้นคุณจะได้รับความแตกต่าง$(1 - \delta)^2 \cdot n$ สำหรับขนาดเล็กโดยพลการ $\delta$ สำหรับเสียงรบกวนต่ำมาก

โดยเฉพาะคุณสามารถตั้งค่า $\delta = \frac{\log(1/\varepsilon)}{n}$และรับเสียงรบกวน $\varepsilon$ และความแตกต่างเอนโทรปี $\approx n - 2\log(1/\varepsilon)$.