คำถามติดแท็ก shannon-entropy

แทรก: สมมติว่า (\x -> ⊥) = ⊥ :: A -> BETA-เท่าเทียมเรามี พิสูจน์: ⊥ = (\x -> ⊥ x)โดยกทพ. เทียบเท่าและ(\x -> ⊥ x) = (\x -> ⊥)โดยการลดภายใต้แลมบ์ดา รายงาน Haskell 2010 ส่วน 6.2 ระบุseqฟังก์ชันด้วยสองสมการ: seq :: a -> b -> b seq ⊥ b = ⊥ seq ab = b, ถ้า a …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

ฉันกำลังมองหาที่ถูกผูกไว้บนเอนโทรปีของผลรวมของสองตัวแปรสุ่มอิสระโดยสิ้นเชิงและYธรรมชาติแต่นำไปใช้กับผลรวมของตัวแปรสุ่มอิสระ Bernoulliนี้จะช่วยให้ กล่าวอีกนัยหนึ่งขอบเขตเติบโตขึ้นเป็นเส้นตรงด้วยเมื่อใช้ซ้ำ ๆ อย่างไรก็ตามได้รับการสนับสนุนในชุดของขนาดดังนั้นเอนโทรปีของมันคือที่มากที่สุดn ในความเป็นจริงจากทฤษฎีบทขีด จำกัด กลางฉันเดาว่าH(X+Y)H(X+Y)H(X+Y)XXXYYYH(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)nnnZ1,…,ZnZ1,…,ZnZ_1, \ldots, Z_nH(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1) nnnZ1+⋯ZnZ1+⋯ZnZ_1 + \cdots Z_nnnnlognlog⁡n\log nH(Z1+⋯+Zn)≈(1/2)lognH(Z1+⋯+Zn)≈(1/2)log⁡nH(Z_1 + \cdots + Z_n) \approx (1/2) \log nเนื่องจากมันได้รับการสนับสนุนหลักในชุดของขนาด{n}n−−√n\sqrt{n} ในระยะสั้นขอบเขตมีจำนวนมากกว่าในสถานการณ์นี้เล็กน้อย จากการอ่านโพสต์บล็อกนี้ฉันรวบรวมขอบเขตทุกประเภทในเป็นไปได้ มีขอบเขตที่ให้ asymptotics ที่ถูกต้อง (หรืออย่างน้อยที่สุด, asymptotics ที่สมเหตุสมผลมากขึ้น) เมื่อใช้ซ้ำกับผลรวมของตัวแปรสุ่มของ Bernoulli?(∗)(∗)(*)H(X+Y)H(X+Y)H(X+Y)

12 it.information-theory  shannon-entropy 

โดยทั่วไปแชนนอนเอนโทรปีจะใช้เพื่อพิสูจน์ผลการเข้ารหัสช่องสัญญาณ แม้จะใช้ผลลัพธ์การแยกแชนเนลแชนนอนเอนโทรปี มีการศึกษาที่จะใช้ประโยชน์จากความซับซ้อนของ Kolmogorov สำหรับผลลัพธ์เหล่านี้ (หรืออย่างน้อยที่สุดเพื่อแทนที่ส่วนการเข้ารหัสซอร์สในผลลัพธ์การแยกช่องสัญญาณต้นทาง)

12 it.information-theory  kolmogorov-complexity  shannon-entropy 

ฉันรู้ว่างานของแชนนอนกับเอนโทรปี แต่เมื่อเร็ว ๆ นี้ฉันได้ทำงานกับโครงสร้างข้อมูลที่รวบรัดซึ่งเอนโทรปีเชิงประจักษ์มักใช้เป็นส่วนหนึ่งของการวิเคราะห์ที่เก็บข้อมูล แชนนอนกำหนดเอนโทรปีของข้อมูลที่ผลิตโดยแหล่งข้อมูลแยกเป็น −∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}ที่ไหน pipip_i ความน่าจะเป็นของเหตุการณ์ iii เกิดขึ้นเช่นตัวละครเฉพาะที่สร้างขึ้นและมี kkk เหตุการณ์ที่เป็นไปได้ ดังที่ MCH ชี้ให้เห็นในความคิดเห็นเอนโทรปีเชิงประจักษ์คือเอนโทรปีของการกระจายเชิงประจักษ์ของเหตุการณ์เหล่านี้และได้รับจาก−∑ki=1ninlognin−∑i=1kninlog⁡nin-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}} ที่ไหน ninin_{i} คือจำนวนเหตุการณ์ที่เกิดขึ้นที่สังเกตได้ iii และ nnnคือจำนวนกิจกรรมทั้งหมดที่สังเกตได้ นี้เรียกว่าคำสั่งศูนย์ TH เชิงประจักษ์เอนโทรปี ความคิดนอนส์ของเอนโทรปีตามเงื่อนไขที่มีลักษณะคล้ายกันที่สูงขึ้นเพื่อรุ่นเชิงประจักษ์ แชนนอนไม่ได้ใช้คำว่าเอนโทรปีเชิงประจักษ์แม้ว่าเขาจะสมควรได้รับเครดิตบางส่วนสำหรับแนวคิดนี้ ใครใช้แนวคิดนี้เป็นครั้งแรกและใครเป็นคนแรกที่ใช้ชื่อเอนโทรปีเชิงประจักษ์เพื่ออธิบายความหมาย?

9 reference-request  shannon-entropy  succinct