คาดเดาค่าเอนโทรปีต่ำในหลาย ๆ ครั้ง

สมมติว่าอลิซมีการกระจายกว่าแน่นอน ( แต่อาจจะมีขนาดใหญ่มาก) โดเมนดังกล่าวที่ (แชนนอน) เอนโทรปีของเป็นที่สิ้นสุดบนโดยคงขนาดเล็กโดยพล\อลิซดึงค่าจากแล้วถามบ๊อบ (ที่รู้ ) ที่จะคาดเดาx$\mu$$\mu$$\varepsilon$$x$$\mu$$\mu$$x$

โอกาสในการประสบความสำเร็จของบ็อบคืออะไร? ถ้าเขาได้รับอนุญาตเพียงหนึ่งเดาจากนั้นหนึ่งสามารถลดความน่าจะเป็นนี้ดังนี้: ขอบเขตบนเอนโทรปี min-entropy ดังนั้นจึงมีองค์ประกอบที่มีความน่าจะเป็นอย่างน้อย$2^{-\varepsilon}$. ถ้าบ๊อบเลือกองค์ประกอบนี้เป็นการคาดคะเนความน่าจะเป็นที่จะประสบความสำเร็จของเขาคือ$2^{-\varepsilon}$.

ทีนี้สมมติว่าบ็อบได้รับอนุญาตให้เดาได้หลายคำพูด $t$เดาและบ๊อบชนะถ้าหนึ่งในเดาของเขาถูกต้อง มีรูปแบบการคาดเดาที่ช่วยเพิ่มโอกาสในการประสบความสำเร็จของ Bob หรือไม่? โดยเฉพาะอย่างยิ่งเป็นไปได้หรือไม่ที่จะแสดงให้เห็นว่าความน่าจะเป็นของความล้มเหลวของ Bob นั้นลดลงอย่างมากด้วย$t$?

ทางออกที่ดีที่สุดของ Bob คือการเดา $t$ ค่าที่มีความน่าจะเป็นมากที่สุด

หากคุณยินดีที่จะใช้Rényi Entropy แทนข้อเสนอที่ 17 ใน Entropies ของBoztaş Guessing และ Cryptographyระบุว่าความน่าจะเป็นข้อผิดพลาดหลังจาก$t$ เดาได้มากที่สุด

$$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$$ ที่ไหน $n$คือขนาดของโดเมน จริงอยู่ที่การพึ่งพา$t$ แย่มากและบางทีBoztaşก็มุ่งความสนใจไปที่ระบอบการปกครองแบบใหม่ของเอนโทรปี

สำหรับเอนโทรปีของแชนนอนคุณสามารถลองแก้ปัญหาการหาค่าเหมาะที่สุดแบบคู่: เนื่องจากความน่าจะเป็นความล้มเหลวคงที่ $\delta$หาค่าเอนโทรปีสูงสุดของการแจกแจง การใช้ความนูนของ$-x\log x$เรารู้ว่าการกระจายตัว $\mu$ มีแบบฟอร์ม $a,b,\ldots,b;b,\ldots,b,c$ที่ไหน $a\geq b\geq c$, $a+(t-1)b = 1-\delta$และ $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$. เรามี$t-1+\lfloor\frac{\delta}{b}\rfloor$ ค่าที่ได้รับความน่าจะเป็น $b$. ปรับอากาศบน$s = \lfloor\frac{\delta}{b}\rfloor$เราสามารถลองค้นหา $b$ซึ่งลดเอนโทรปี สำหรับค่าที่ถูกต้องของ$s$นี่จะเป็นจุดภายใน (ซึ่งอนุพันธ์จะหายไป) ฉันไม่แน่ใจว่าจะได้รับการประมาณค่าเชิงเส้นกำกับโดยใช้วิธีนี้ได้อย่างไร

น่าเสียดายที่ไม่มีคำตอบสำหรับคำถามของคุณ John Pliam [วิทยานิพนธ์ระดับปริญญาเอก, 2 เอกสารในชุด LNCS] เป็นคนแรกที่สังเกตเห็นความแตกต่างระหว่างเอนโทรปีนอนส์และจำนวนคาดเดา วิทยานิพนธ์ของเขาง่ายต่อการค้นหาทางออนไลน์ ในส่วนที่ 4.3 โดยเลือกการกระจายความน่าจะเป็นที่เหมาะสมสำหรับ$X$ (ขึ้นอยู่กับจำนวนเต็มบวกโดยพลการ $N$) ซึ่งมาจากต้นไม้ Huffman ที่คล้ายกันเขาแสดงให้เห็นว่าโดยการคาดเดาในการลดลำดับความน่าจะเป็นเราต้องสร้างมากกว่า $N+H(X)$ คาดเดาก่อนที่ความน่าจะเป็นของความสำเร็จจะมาถึง $1/2$.

นี่เป็นส่วนหนึ่งของเหตุผลที่ผู้คนไปตรวจสอบเอนโทรปีของเรนยี่