เอนโทรปีต่าง ๆ

เอนโทรปีความแตกต่างของเกาส์ RV เป็น )สิ่งนี้ขึ้นอยู่กับซึ่งเป็นค่าเบี่ยงเบนมาตรฐาน $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

ถ้าเราทำให้ตัวแปรสุ่มเป็นมาตรฐานเพื่อให้มันมีความแปรปรวนของหน่วย สำหรับฉันนี่คือการตอบโต้ที่ใช้งานง่ายเพราะ Kolmogorov ความซับซ้อนของค่าคงที่ normalizing ควรมีขนาดเล็กมากเมื่อเทียบกับการลดลงของเอนโทรปี หนึ่งสามารถประดิษฐ์ตัวถอดรหัสที่แบ่ง / ทวีคูณด้วยค่าคงที่ normalizing เพื่อกู้คืนชุดข้อมูลใด ๆ ที่สร้างขึ้นโดยตัวแปรสุ่มนี้

ความเข้าใจของฉันอาจจะปิด คุณช่วยชี้จุดบกพร่องของฉันได้ไหม

information-theory entropy randomness

— Cagdas Ozgenc
แหล่งที่มา

ฉันจะไปที่นี้แม้ว่ามันจะค่อนข้างเหนือหัวของฉันดังนั้นรักษาด้วยเกลือโรย ...

คุณไม่ผิดอย่างแน่นอน ฉันคิดว่าการที่การทดลองทางความคิดของคุณล้มลงนั่นคือเอนโทรปีที่ต่างกันไม่ใช่กรณีของเอนโทรปี ฉันเดาว่าเพราะสิ่งนี้ความสัมพันธ์ระหว่างมันกับความซับซ้อนของ Kolmogorov จะหายไป

$X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

$X$ $p()$

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

$\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— ตบเบา ๆ
แหล่งที่มา

ขอบคุณ นั่นเป็นเรื่องที่น่าสนใจมาก ฉันไม่รู้ว่ามีกลไกเช่นนี้ในทางทฤษฎี

— Cagdas Ozgenc

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - ฉันไม่รู้ว่าถ้าฉันเรียกมันว่าเป็นกลไก มันเป็นเพียงการวัดสิ่งที่แตกต่าง และเมื่อคาร์ดินัลชี้ให้เห็นมันก็มีประโยชน์บางอย่าง สำหรับว่ามันจะแตกเมื่อนำไปใช้กับการกระจายทวินามดีขึ้นอยู่กับว่าคุณจะใช้มัน :) อาจคุ้มค่าที่จะเริ่มหัวข้อใหม่หากคุณไม่แน่ใจ

— Pat

ฉันคิดว่าเอนโทรปีนั้นเห็นได้ชัดว่าแตกต่างจากความซับซ้อนของ Kolmogorov เมื่อพิจารณาจากเครื่องกำเนิดตัวเลขแบบหลอก

— James Bowery