ยูทิลิตี้ของ Renyi เอนโทรปี?

พวกเราส่วนใหญ่คุ้นเคยกับ - หรืออย่างน้อยก็เคยได้ยิน - เอนโทรปีของแชนนอนของตัวแปรสุ่ม, $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$และมาตรการทางข้อมูลที่เกี่ยวข้องกับทฤษฎีเช่นเอนโทรปีสัมพัทธ์ ข้อมูลร่วมกันและอื่น ๆ มีอีกสองสามมาตรการของเอนโทรปีที่ใช้กันทั่วไปในทฤษฎีวิทยาศาสตร์คอมพิวเตอร์และทฤษฎีสารสนเทศเช่น min-entropy ของตัวแปรสุ่ม

ฉันเริ่มเห็นเอนโทรปีของ Renyi ที่เรียกว่าเหล่านี้บ่อยขึ้นเมื่อฉันอ่านวรรณกรรม พวกเขาวางแนวเอนโทรปีของแชนนอนและมินเอนโทรปีและในความเป็นจริงได้ให้สเปกตรัมทั้งหมดของการวัดเอนโทรปีของตัวแปรสุ่ม ฉันทำงานส่วนใหญ่ในพื้นที่ของข้อมูลควอนตัมซึ่งรุ่นควอนตัมของ Renyi Entropy ก็ถือว่าค่อนข้างบ่อยเช่นกัน

สิ่งที่ฉันไม่เข้าใจจริงๆคือเหตุผลว่าทำไมพวกเขาถึงมีประโยชน์ ฉันได้ยินมาว่าบ่อยครั้งที่พวกเขาทำงานกับการวิเคราะห์ได้ง่ายกว่าพูดว่าแชนนอน / ฟอนนอยมันน์เอนโทรปีหรือนาที - เอนโทรปี แต่พวกมันยังสามารถเชื่อมโยงกลับไปที่แชนนอนเอนโทรปี / นาที - เอนโทรปีได้เช่นกัน

ทุกคนสามารถให้ตัวอย่าง (แบบคลาสสิกหรือควอนตัม) เมื่อใช้ Renropies เอนจีเป็น "สิ่งที่ถูกต้องที่จะทำ"? สิ่งที่ฉันกำลังมองหาคือ "hook hook" หรือ "template" สำหรับการรู้ว่าเมื่อใดฉันอาจต้องการใช้ Entropies Renyi

ขอบคุณ!

พิจารณาพยายามที่จะทำให้การคาดเดาอะตอมสำหรับตัวแปรสุ่มที่ไม่รู้จักกระจายไปทั่วบาง จำกัด ชุด ในเอนโทรปีของแชนนอนมันจะสันนิษฐานว่าคุณสามารถเคียวรีทีละนิดเช่นถ้าA = { 1 , … , N }คุณสามารถถาม:$X$$A.$$A=\{1,\ldots,N\}$

คือ∈ { 1 , … , N / 2 }หรือไม่ $X\in \{1,\ldots,N/2\}$(สมมติหรือแม้กระทั่งการใช้งานฟังก์ชั่นชั้น / เพดาน)$N$

ใน crypto และสถานการณ์การถอดรหัสบางอย่างมันไม่สมจริง พยายามที่จะเดารหัสผ่านที่ไม่รู้จักคุณจำเป็นต้องสร้างแบบสอบถามแบบอะตอมมิกเช่นข้อความค้นหาถ้าเป็นค่าเฉพาะ$X$

ปรากฎว่าจำนวนที่คาดหวังของคำสั่งที่จะคาดเดาตัวแปรสุ่มแล้วขึ้นอยู่แน่นบนเอนโทรปีของการสั่งซื้อ Renyi 1 / 2ดังนั้นช่วงเวลาที่สูงขึ้นบางส่วน ตัวอย่างเช่น$X$$1/2.$

และเศษเป็นหลักลอการิทึมของ Renyi เอนโทรปีของการสั่งซื้อหนึ่งยังสามารถทำให้นอนส์เอนโทรปีในขณะที่มีขนาดใหญ่มาก Renyi เอนโทรปีและความคาดหวังของจำนวนการคาดเดาที่มีขนาดเล็กมาก หากคุณพึ่งพาเอนโทรปีของแชนนอนเพื่อความปลอดภัยคุณจะมีปัญหาในกรณีนี้$1/2.$

โปรดดูคำถามที่เกี่ยวข้องการเดาค่าเอนโทรปีต่ำในหลาย ๆ ครั้ง

อ้างอิงบางส่วน:

1. JO Pliam, ในการเปรียบเทียบของเอนโทรปีและการคาดเดาเล็กน้อยในการโจมตี Brute-Force INDOCRYPT 2000: 67-79
2. E. Arikan ความไม่เท่าเทียมกันในการเดาและการประยุกต์กับการถอดรหัสแบบต่อเนื่อง ธุรกรรม IEEE บนทฤษฎีข้อมูล 42 (1): 99-105,1996
3. S. Boztas, ใน Renyi entropies และแอปพลิเคชันของพวกเขาเพื่อคาดเดาการโจมตีในการเข้ารหัส, ธุรกรรม IEICE บนพื้นฐานของอิเล็กทรอนิกส์, การสื่อสารและวิทยาศาสตร์คอมพิวเตอร์ 97 (12): 2542-2548, 2014

เอนโทรปี renyi จะคล้ายคลึงในความรู้สึกบางอย่างที่จะ -norms ดังนั้นการเรียกคืนแรกให้เหตุผลที่บรรทัดฐานเหล่านี้จะเป็นประโยชน์$\ell_p$

สมมติว่าเรามีเวกเตอร์ของตัวเลข∈ R n เราต้องการที่จะมีหมายเลขเดียวที่แสดงในความรู้สึกบางวิธีการที่ไม่องค์ประกอบทั่วไปของมีลักษณะเหมือน$a \in \mathbb{R}^n$$a$

วิธีหนึ่งที่จะทำเช่นนั้นคือการใช้ค่าเฉลี่ยของตัวเลขในซึ่งประมาณสอดคล้องกับℓ 1บรรทัดฐาน: E 1 ≤ ฉัน≤ n [ | a i | ] . นี้มักจะเป็นประโยชน์ แต่สำหรับการใช้งานบางคนก็มีปัญหาต่อไปนี้: ครั้งแรกที่ℓ 1บรรทัดฐานไม่ให้เราดีขอบเขตบนขององค์ประกอบที่ใหญ่ที่สุดของเพราะถ้ามีองค์ประกอบเดียวขนาดใหญ่และศูนย์หลายℓ 1บรรทัดฐานจะเล็กกว่าองค์ประกอบที่ใหญ่ที่สุดอย่างมาก บนมืออื่น ๆ ที่ℓ 1$a$$\ell_1$$\mathbb{E}_{1 \le i \le n}[|a_i|]$$\ell_1$$a$$\ell_1$$\ell_1$บรรทัดฐานยังไม่ได้ให้เราดีผูกพันเกี่ยวกับวิธีการเล็ก ๆ องค์ประกอบของจะยกตัวอย่างเช่นวิธีการหลายเลขมี - ปัญหานี้เกิดขึ้นในตรงสถานการณ์เช่นเดียวกับก่อน$a$$a$

แน่นอนว่าเมื่อองค์ประกอบของมีความแปรปรวนจำนวนมากเช่นในสถานการณ์ที่รุนแรงดังกล่าวข้างต้นไม่มีตัวเลขใดที่สามารถแก้ปัญหาทั้งสองข้างต้นได้ เรามีการแลกเปลี่ยนกัน ตัวอย่างเช่นถ้าเราเพียงต้องการที่จะรู้ว่าองค์ประกอบที่ใหญ่ที่สุดของเราสามารถใช้ℓ ∞บรรทัดฐาน แต่แล้วเราจะสูญเสียข้อมูลทั้งหมดเกี่ยวกับองค์ประกอบที่มีขนาดเล็ก ถ้าเราต้องการจำนวนเลขศูนย์ที่เราสามารถมองไปที่ℓ 0บรรทัดฐานซึ่งเป็นเพียงขนาดของการสนับสนุนของ$a$$\ell_\infty$$\ell_0$$a$

ตอนนี้เหตุผลในการพิจารณาบรรทัดฐานที่พวกเขาให้เราถ่วงดุลอำนาจอย่างต่อเนื่องทั้งระหว่างสองขั้ว ถ้าเราต้องการข้อมูลเพิ่มเติมเกี่ยวกับองค์ประกอบที่มีขนาดใหญ่เราจะใช้pเป็นใหญ่และในทางกลับกัน$\ell_p$$p$

กันไปสำหรับ entropies Renyi: เอนโทรปี Shanon เป็นเหมือนบรรทัดฐาน - มันบอกเราบางอย่างเกี่ยวกับความน่าจะเป็น "ปกติ" ขององค์ประกอบ แต่ไม่มีอะไรเกี่ยวกับความแปรปรวนหรือสุดขั้ว min-entropy ให้ข้อมูลแก่เราเกี่ยวกับองค์ประกอบที่มีความน่าจะเป็นมากที่สุด แต่สูญเสียข้อมูลทั้งหมดที่เกี่ยวกับส่วนที่เหลือ ขนาดรองรับให้สุดขีดอื่น ๆ เอนโทรปีของ Renyi ให้การแลกเปลี่ยนอย่างต่อเนื่องระหว่างสองขั้ว$\ell_1$

ยกตัวอย่างเช่นหลายครั้งที่ Renyi-2 เอนโทรปีมีประโยชน์เพราะมันอยู่ในมือข้างหนึ่งใกล้กับเอนโทรปีของ Shanon และทำให้มีข้อมูลเกี่ยวกับองค์ประกอบทั้งหมดในการแจกแจงและในทางกลับกันก็ให้ข้อมูลเพิ่มเติมเกี่ยวกับองค์ประกอบที่มีค่ามากที่สุด ความน่าจะเป็น โดยเฉพาะอย่างยิ่งเป็นที่รู้กันว่าขอบเขตบนเอนโทรปีของ Renyi-2 ให้ขอบเขตกับเอนโทรปีของมินดูเช่นภาคผนวก A ที่นี่: http://people.seas.harvard.edu/~salil/research/conductors-prelim .ps

Renyi Entropy (ลำดับ 2) มีประโยชน์ในการเข้ารหัสเพื่อวิเคราะห์ความน่าจะเป็นของการชน

จงจำไว้ว่า Renyi เอนโทรปีของลำดับที่ 2 ของตัวแปรสุ่มนั้นมอบให้โดย$X$

แต่กลับกลายเป็นว่าจะช่วยให้เราวัดความน่าจะเป็นที่สองค่าวาด IID ตามการกระจายของXเกิดขึ้นจะเป็นเหมือนกัน ( "ชน"): น่าจะเป็นตรงนี้เป็น2 - H 2 ( X ) หลังจากวาดnครั้งจากการกระจายนี้จำนวนที่คาดหวังของการชนในหมู่เหล่านี้nดึงเป็นC ( n , 2 ) 2 - H 2 ( X )$H_2(X)$$X$$2^{-H_2(X)}$$n$$n$$C(n,2) 2^{-H_2(X)}$

ข้อเท็จจริงเหล่านี้มีประโยชน์ในการเข้ารหัสซึ่งบางครั้งการชนอาจมีปัญหาและทำให้เกิดการโจมตีได้

สำหรับการวิเคราะห์การใช้งานอื่นในการเข้ารหัสฉันขอแนะนำวิทยานิพนธ์ระดับปริญญาเอกต่อไปนี้:

Christian Cachin มาตรการรักษาความปลอดภัยของเอนโทรปีและไม่มีเงื่อนไขในการเข้ารหัส วิทยานิพนธ์ปริญญาเอก, ETH ซูริค, พฤษภาคม 1997

คำตอบ stackexchange อื่น ๆ และการโพสต์บล็อกนี้อาจเป็นประโยชน์อย่างมากในการทำความเข้าใจตัวอย่างพื้นฐาน

• /physics/73424/deriving-entanglement-entropy-from-renyi-entropy

• https://johncarlosbaez.wordpress.com/2011/02/10/rnyi-entropy-and-free-energy/

เอนโทรปีของ Renyi ที่พูดโดยประมาณรู้เกี่ยวกับสถานะที่ตื่นเต้นของระบบควอนตัม คำเตือน: ปรีชานี้อาจหยาบคายมาก แต่ก็อาจจะเป็น "จิตตะขอ" ที่ดี: DI จะมีความสุขมากที่ได้รู้วิธีที่ดีกว่าและแม่นยำในการพูดแบบนี้!

$S_1$$S_q$$q \in \mathbb{Z}^+$$S_1 = limit_{q \rightarrow 1} S_q$ is terribly badly defined. So often the idea is that one can calculate $S_q$ at an arbitrary integer value and then do an analytic continuation of that to $q \in \mathbb{R}$ and then try to define taking of the $q \rightarrow 1$ limit. (though always $q \in \mathbb{R}$, this I call "analytic" continuation because often enough one needs to do the interpolation via contours in the complex plane - and the continuation can depend on what contours one chooses through the poles and branch-cuts of the $S_q$ that one started with)

At integral values of $q>1$ typically there is a always a very well-defined construction in terms of some integration of some function on some $q-$branched manifold. After one has done such an integration one happily forgets about the manifold used and just tries to do the analytic continuation parametrically in the variable $q$.

There are always a lot of issues about existence and well-posedness when one tries to do these anayltic continuations - but for someone like me who is brought up on a daily diet of Feynman path-integrals its a very common issue to deal with and we have a lot of tools to address these. Three nice papers to look into for these issues are, http://arxiv.org/pdf/1306.5242.pdf, http://arxiv.org/pdf/1402.5396.pdf, http://arxiv.org/pdf/1303.7221.pdf (the last of these papers might be an easier starting point) This presentation might also help, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

What Renyi entropy says in terms of quantum complexity theory might be an exciting question! Can one think of the Renyi index as somehow parameterizing a hierarchy of complexity classes? That should be fun if true! Do let me know :)

Renyi entropy has found its way into definitions of quantitative information flow, an area or security research. See G. Smith's survey paper.