การแนะนำที่ดีในเอนโทรปีชนิดต่าง ๆ

18

ฉันกำลังมองหาหนังสือหรือแหล่งข้อมูลออนไลน์ที่อธิบายถึงเอนโทรปีชนิดต่าง ๆ เช่น Sample Entropy และแชนนอนเอนโทรปีและข้อดีและข้อเสีย ใครบางคนชี้ให้ฉันในทิศทางที่ถูกต้อง?

references entropy

— คริสเตียน
แหล่งที่มา

9

ทฤษฎีองค์ประกอบของข้อมูลหนังสือและปกหนังสือของโทมัสเป็นแหล่งข้อมูลที่ดีสำหรับเอนโทรปีและแอปพลิเคชันของมัน

— มาร์คเมค
แหล่งที่มา

4

กระดาษ "Information Theoretic Inequalities" โดย Dembo Cover และ Thomas เผยแง่มุมลึกมากมาย

— robin girard

1

ถึงกระนั้นหนังสือเหล่านี้ก็ยังไม่อ้างว่ามีเอนโทรปีมากกว่าหนึ่ง

5

บันทึกการบรรยายเหล่านี้เกี่ยวกับทฤษฎีข้อมูลโดย O. Johnson มีการแนะนำที่ดีเกี่ยวกับเอนโทรปีประเภทต่างๆ

— Alekk
แหล่งที่มา

4

หากคุณสนใจสถิติทางคณิตศาสตร์เกี่ยวกับเอนโทรปีคุณสามารถอ่านหนังสือเล่มนี้ได้

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

มันสามารถใช้ได้อย่างอิสระ!

— โรบินกีร์ด
แหล่งที่มา

2

เอนโทรปีเป็นเพียงแนวคิดเดียว (เป็นแนวคิด) - ปริมาณของข้อมูลที่จำเป็นในการอธิบายระบบบางอย่าง มีเพียงภาพรวมจำนวนมากเท่านั้น เอนโทรปีตัวอย่างเป็นเพียงตัวบ่งชี้ที่คล้ายเอนโทรปีที่ใช้ในการวิเคราะห์อัตราการเต้นของหัวใจ

ฉันรู้ว่ามันไม่ได้ช่วยให้ฉันตัดสินใจได้ว่าการใช้เอนโทรปีตัวอย่างหรือเอนโทรปีของแชนนอนหรือเอนโทรปีชนิดอื่นนั้นเหมาะสมกับข้อมูลที่ฉันทำงานด้วย

— Christian

2

สิ่งที่ฉันเขียนในโพสต์ของฉันก็คือสำหรับข้อมูล / กระบวนการ / ระบบบางประเภทมีคำจำกัดความเอนโทรปีที่แท้จริงเพียงคำเดียว ตัวอย่างเอนโทรปีไม่ใช่มาตรวัดเอนโทรปีมันเป็นเพียงสถิติบางอย่างที่มีชื่อที่สับสน สร้างคำถามที่คุณกำหนดข้อมูลที่คุณต้องการคำนวณเอนโทรปีและจะได้รับสูตร

ฉันไม่ได้สนใจในความจริงแต่ในการรับฟังก์ชั่น ฉันเป็นชีวสารสนเทศศาสตร์และไม่สอนให้ค้นหาความจริงตามหลักเหตุผลแต่เพื่อค้นหาสถิติที่ได้ผล ฉันไม่คิดว่าจะมีการทำงานกับข้อมูลชนิดใดที่ฉันต้องการทำงานกับข้อมูลเฉพาะนั้นสิ่งใดที่เอนโทรปีทำงานได้ดีที่สุด นั่นเป็นจุดที่ฉันต้องการทำงานกับข้อมูล

— คริสเตียน

2

ถูกต้อง แต่นี่ไม่ใช่การสนทนาเกี่ยวกับความจริงที่ไม่เชื่อฟัง แต่เกี่ยวกับคำพูด คุณได้ถามเกี่ยวกับเอนโทรปีดังนั้นฉันจึงตอบเกี่ยวกับเอนโทรปี เพราะตอนนี้ฉันเห็นแล้วว่าคุณต้องการคำตอบเกี่ยวกับตัวบอกอนุกรมเวลาเขียนคำถามเกี่ยวกับตัวอธิบายอนุกรมเวลาแล้วคุณจะได้คำตอบที่มีประโยชน์

2

เจย์เนสแสดงให้เห็นว่าจะได้รับเอนโทรปีของหลักการพื้นฐานของแชนนอนในหนังสือของเขาได้อย่างไร

$n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Yaroslav Bulatov
แหล่งที่มา

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

ทฤษฎีเกมกระดาษของGrünwaldและ Dawid , เอนโทรปีสูงสุด, ความคลาดเคลื่อนต่ำสุดและทฤษฎีการตัดสินใจแบบเบย์ที่มีประสิทธิภาพหารือเกี่ยวกับภาพรวมของแนวคิดดั้งเดิมของเอนโทรปี เมื่อพิจารณาถึงการสูญเสียฟังก์ชันเอนโทรปีที่เชื่อมโยงกันคือการแมปจากการแจกแจงไปจนถึงการสูญเสียที่คาดหวังได้น้อยที่สุดสำหรับการแจกแจงนั้น ฟังก์ชั่นเอนโทรปีปกติคือเอนโทรปีทั่วไปที่เกี่ยวข้องกับการสูญเสียบันทึก ทางเลือกอื่นของการสูญเสียทำให้เอนโทรปีต่างกันเช่นRényiเอนโทรปี

— มาร์คเรด
แหล่งที่มา

1

ดังนั้นซิกมาคือเอนโทรปีของ N (0, ซิกม่า) ที่สอดคล้องกับข้อผิดพลาดกำลังสองและ min (p, 1-p) คือเอนโทรปีของเบอร์นูลลี (p) สอดคล้องกับการทำนายการสูญเสีย 0,1? ดูเหมือนจะค่อนข้างทั่วไป!

— Yaroslav Bulatov

ใช่. เอนโทรปีสำหรับการสูญเสียสแควร์คงที่และเอนโทรปีสำหรับการสูญเสีย 0-1 คือ min (p, 1-p) สิ่งที่น่าสนใจก็คือสิ่งเหล่านี้มีความสอดคล้องที่แน่นแฟ้นกับความแตกต่างเช่นกัน การสูญเสียกำลังสองของ Hellinger divergence และ 0-1 loss to divergence Variation เนื่องจากเอนโทรปีนิยามไว้เช่นนี้พวกมันจำเป็นต้องใช้ฟังก์ชันเว้าและปรากฎว่า f-divergence สร้างขึ้นโดยใช้ f (p) = -entropy (p) บ๊อบวิลเลียมสันและฉันมีการสำรวจบางส่วนของเรื่องนี้ในกระดาษของเรา: arxiv.org/abs/0901.0356 มันเป็นเรื่องสนุก

— มาร์คเรด

1

นี่คือสิ่งที่น่าสนใจที่ฉันค้นพบเกี่ยวกับความแตกต่างเมื่อเร็ว ๆ นี้ - แต่ละขั้นตอนของการขยายความเชื่อสามารถดูได้เป็น Bregman Projection ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov