เอนโทรปีขึ้นอยู่กับสถานที่ตั้งและขนาด

เอนโทรปีของการกระจายอย่างต่อเนื่องที่มีฟังก์ชั่นความหนาแน่นถูกกำหนดให้เป็นเชิงลบของความคาดหวังของและดังนั้นจึงเท่ากับ $f$ $\log(f),$

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

นอกจากนี้เรายังบอกว่าใด ๆ ตัวแปรสุ่มที่มีการกระจายมีความหนาแน่นมีเอนโทรปี (อินทิกรัลนี้ถูกนิยามไว้อย่างดีแม้เมื่อมีค่าศูนย์เนื่องจากสามารถถูกทำให้เท่ากับศูนย์ที่ค่าดังกล่าว) $X$ $f$ $H_f.$ $f$ $\log(f(x))f(x)$

เมื่อและเป็นตัวแปรสุ่มที่ (เป็นค่าคงที่)ถูกกล่าวว่าเป็นเวอร์ชันของเลื่อนโดย ในทำนองเดียวกันเมื่อ (เป็นค่าคงที่ในเชิงบวก)ถูกกล่าวว่าเป็นเวอร์ชันของปรับขนาดโดยการรวมสเกลกับการเลื่อนทำให้ $X$ $Y$ $Y = X+\mu$ $\mu$ $Y$ $X$ $\mu.$ $Y = X\sigma$ $\sigma$ $Y$ $X$ $\sigma.$ $Y=X\sigma + \mu.$

ความสัมพันธ์เหล่านี้เกิดขึ้นบ่อยครั้ง ตัวอย่างเช่นการเปลี่ยนหน่วยของการวัดของกะและสเกลมัน $X$

เอนโทรปีของเกี่ยวข้องกับของ $Y = X\sigma + \mu$ $X?$

distributions data-transformation entropy

— whuber
แหล่งที่มา

เนื่องจากความน่าจะเป็นองค์ประกอบของคือการเปลี่ยนแปลงของตัวแปรเทียบเท่ากับมาจาก $X$ $f(x)\mathrm{d}x,$ $y = x\sigma + \mu$ $x = (y-\mu)/\sigma,$

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

มันตามมาว่าความหนาแน่นของคือ $Y$

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

ดังนั้นเอนโทรปีของคือ $Y$

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

ซึ่งเมื่อเปลี่ยนตัวแปรกลับไปเป็นจะสร้าง $x = (y-\mu)/\sigma,$

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

การคำนวณเหล่านี้ใช้คุณสมบัติพื้นฐานของลอการิทึมความเป็นเส้นตรงของการรวมและความจริงที่ว่ารวมเข้ากับเอกภาพ $f(x)\mathrm{d}x$

บทสรุปคือ

เอนโทรปีของคือเอนโทรปีของ plus $Y = X\sigma + \mu$ $X$ $\log(\sigma).$

ในคำพูดการเปลี่ยนตัวแปรสุ่มไม่เปลี่ยนเอนโทรปี (เราอาจคิดว่าเอนโทรปีขึ้นอยู่กับค่าของความหนาแน่นของความน่าจะเป็น แต่ไม่ได้อยู่ที่ค่าเหล่านั้นเกิดขึ้น) ในขณะที่ปรับตัวแปร (ซึ่งสำหรับ "เหยียด" หรือ "เปื้อน" ออกไป) เพิ่มเอนโทรปีโดย สิ่งนี้สนับสนุนสัญชาตญาณว่าการแจกแจงแบบเอนโทรปีสูงคือ "กระจายตัวมากขึ้น" มากกว่าการกระจายแบบเอนโทรปีต่ำ $\sigma \ge 1$ $\log(\sigma).$

จากผลของผลลัพธ์นี้เรามีอิสระที่จะเลือกค่าที่สะดวกสบายของและเมื่อคำนวณเอนโทรปีของการแจกแจงใด ๆ ตัวอย่างเช่นเอนโทรปีของการแจกแจงแบบปกติสามารถพบได้โดยการตั้งค่าและลอการิทึมของความหนาแน่นในกรณีนี้คือ $\mu$ $\sigma$ $(\mu,\sigma)$ $\mu=0$ $\sigma=1.$

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

จากไหน

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

ดังนั้นเอนโทรปีของการแจกแจงปรกติทำได้ง่าย ๆ โดยการเพิ่มให้กับผลลัพธ์นี้ทำให้ $(\mu,\sigma)$ $\log\sigma$

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

ขณะที่รายงานจากวิกิพีเดีย

— whuber
แหล่งที่มา