คาดเดาค่าเอนโทรปีต่ำในหลาย ๆ ครั้ง


9

สมมติว่าอลิซมีการกระจายกว่าแน่นอน ( แต่อาจจะมีขนาดใหญ่มาก) โดเมนดังกล่าวที่ (แชนนอน) เอนโทรปีของเป็นที่สิ้นสุดบนโดยคงขนาดเล็กโดยพล\อลิซดึงค่าจากแล้วถามบ๊อบ (ที่รู้ ) ที่จะคาดเดาxμμεxμμx

โอกาสในการประสบความสำเร็จของบ็อบคืออะไร? ถ้าเขาได้รับอนุญาตเพียงหนึ่งเดาจากนั้นหนึ่งสามารถลดความน่าจะเป็นนี้ดังนี้: ขอบเขตบนเอนโทรปี min-entropy ดังนั้นจึงมีองค์ประกอบที่มีความน่าจะเป็นอย่างน้อย2-ε. ถ้าบ๊อบเลือกองค์ประกอบนี้เป็นการคาดคะเนความน่าจะเป็นที่จะประสบความสำเร็จของเขาคือ2-ε.

ทีนี้สมมติว่าบ็อบได้รับอนุญาตให้เดาได้หลายคำพูด เสื้อเดาและบ๊อบชนะถ้าหนึ่งในเดาของเขาถูกต้อง มีรูปแบบการคาดเดาที่ช่วยเพิ่มโอกาสในการประสบความสำเร็จของ Bob หรือไม่? โดยเฉพาะอย่างยิ่งเป็นไปได้หรือไม่ที่จะแสดงให้เห็นว่าความน่าจะเป็นของความล้มเหลวของ Bob นั้นลดลงอย่างมากด้วยเสื้อ?

คำตอบ:


10

ทางออกที่ดีที่สุดของ Bob คือการเดา เสื้อ ค่าที่มีความน่าจะเป็นมากที่สุด

หากคุณยินดีที่จะใช้Rényi Entropy แทนข้อเสนอที่ 17 ใน Entropies ของBoztaş Guessing และ Cryptographyระบุว่าความน่าจะเป็นข้อผิดพลาดหลังจากเสื้อ เดาได้มากที่สุด

1-2-H2(μ)(1-เข้าสู่ระบบเสื้อเข้าสู่ระบบn)LN2(1-เข้าสู่ระบบเสื้อเข้าสู่ระบบn)H2(μ),
ที่ไหน nคือขนาดของโดเมน จริงอยู่ที่การพึ่งพาเสื้อ แย่มากและบางทีBoztaşก็มุ่งความสนใจไปที่ระบอบการปกครองแบบใหม่ของเอนโทรปี

สำหรับเอนโทรปีของแชนนอนคุณสามารถลองแก้ปัญหาการหาค่าเหมาะที่สุดแบบคู่: เนื่องจากความน่าจะเป็นความล้มเหลวคงที่ δหาค่าเอนโทรปีสูงสุดของการแจกแจง การใช้ความนูนของ-xเข้าสู่ระบบxเรารู้ว่าการกระจายตัว μ มีแบบฟอร์ม a,,...,;,...,,ที่ไหน a, a+(เสื้อ-1)=1-δและ =δ-δ. เรามีเสื้อ-1+δ ค่าที่ได้รับความน่าจะเป็น . ปรับอากาศบนs=δเราสามารถลองค้นหา ซึ่งลดเอนโทรปี สำหรับค่าที่ถูกต้องของsนี่จะเป็นจุดภายใน (ซึ่งอนุพันธ์จะหายไป) ฉันไม่แน่ใจว่าจะได้รับการประมาณค่าเชิงเส้นกำกับโดยใช้วิธีนี้ได้อย่างไร


ขอบคุณสำหรับคำตอบ! ฉันลองวิธีการเพิ่มประสิทธิภาพที่คุณแนะนำ แต่ไม่สามารถประมาณการได้ดี
หรือเมียร์

สวัสดี Yuval หลังจากทำงานเพิ่มขึ้นดูเหมือนว่าวิธีการเพิ่มประสิทธิภาพนี้ให้ผลการแก้ปัญหา น่าเสียดายที่ในกรณีนี้เช่นกันข้อผิดพลาดจะลดลงเฉพาะจำนวนลอการิทึมแบบผกผันและแบบสุ่ม ขอบคุณ!
หรือเมียร์

7

น่าเสียดายที่ไม่มีคำตอบสำหรับคำถามของคุณ John Pliam [วิทยานิพนธ์ระดับปริญญาเอก, 2 เอกสารในชุด LNCS] เป็นคนแรกที่สังเกตเห็นความแตกต่างระหว่างเอนโทรปีนอนส์และจำนวนคาดเดา วิทยานิพนธ์ของเขาง่ายต่อการค้นหาทางออนไลน์ ในส่วนที่ 4.3 โดยเลือกการกระจายความน่าจะเป็นที่เหมาะสมสำหรับX (ขึ้นอยู่กับจำนวนเต็มบวกโดยพลการ ยังไม่มีข้อความ) ซึ่งมาจากต้นไม้ Huffman ที่คล้ายกันเขาแสดงให้เห็นว่าโดยการคาดเดาในการลดลำดับความน่าจะเป็นเราต้องสร้างมากกว่า ยังไม่มีข้อความ+H(X) คาดเดาก่อนที่ความน่าจะเป็นของความสำเร็จจะมาถึง 1/2.

นี่เป็นส่วนหนึ่งของเหตุผลที่ผู้คนไปตรวจสอบเอนโทรปีของเรนยี่

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.