มีการใช้ปริมาณ

มีการใช้ปริมาณ

$$\int f(x)^2 dx$$ ในสถิติหรือทฤษฎีข้อมูลหรือไม่?

การให้แทนฟังก์ชันความหนาแน่นของความน่าจะเป็น (ทั้งที่เกี่ยวกับ Lebesgue หรือการนับการนับตามลำดับ) ปริมาณ$f$$\newcommand{\rd}{\mathrm{d}}$

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Renyi แนะนำสิ่งนี้ในกระดาษของเขา

A. Renyi, เกี่ยวกับมาตรการของข้อมูลและเอนโทรปี , Proc. อันดับ 4 ของ Berkeley ในวิชาคณิตศาสตร์ และ Prob (1960), หน้า 547–561

ซึ่งเป็นสิ่งที่ควรค่าแก่การอ่านไม่เพียง แต่สำหรับความคิดเท่านั้น

เคสเป็นหนึ่งในตัวเลือกที่ใช้กันโดยทั่วไปสำหรับและกรณีพิเศษนี้ (เช่น) มักจะถูกเรียกว่า Renyi เอนโทรปี ที่นี่เราเห็นว่า สำหรับ ตัวแปรสุ่มกระจายที่มีความหนาแน่นฉα H 2 ( f ) = - บันทึก( ∫ f 2 d μ ) = - บันทึก( E f ( X ) )$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

โปรดทราบว่าเป็นฟังก์ชันนูนและดังนั้นโดยความไม่เท่าเทียมของ Jensen เรามี ที่ด้านขวามือแสดงถึงเอนโทรปีของแชนนอน ดังนั้นเรนจีเอนโทรปีจึงให้ขอบเขตที่ต่ำกว่าสำหรับเอนโทรปีของแชนนอนและในหลาย ๆ กรณีมันง่ายต่อการคำนวณ$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

อีกเช่นธรรมชาติที่เอนโทรปี Renyi เกิดขึ้นคือเมื่อพิจารณาไม่ต่อเนื่องตัวแปรสุ่มและสำเนาอิสระXในบางสถานการณ์เราต้องการทราบความน่าจะเป็นที่ซึ่งโดยการคำนวณเบื้องต้นคือ $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

นี่หมายถึงความหนาแน่นของที่เกี่ยวกับการวัดการนับในชุดของค่า\}Ω = { x i : i ∈ N$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

(โดยทั่วไป) Renyi เอนโทรปีก็เห็นได้ชัดว่าเกี่ยวข้องกับพลังงานอิสระของระบบในดุลยภาพทางความร้อนแม้ว่าฉันจะไม่ได้เป็นคนนั้น กระดาษล่าสุด (มาก) ในหัวข้อนี้คือ

JC Baez, Renyi เอนโทรปีและพลังงานอิสระ , arXiv [quant-ph] 1101.2098 (ก.พ. 2011)