เมื่อเอนโทรปีของผลรวม

ฉันกำลังมองหาที่ถูกผูกไว้บนเอนโทรปีของผลรวมของสองตัวแปรสุ่มอิสระโดยสิ้นเชิงและYธรรมชาติแต่นำไปใช้กับผลรวมของตัวแปรสุ่มอิสระ Bernoulliนี้จะช่วยให้ กล่าวอีกนัยหนึ่งขอบเขตเติบโตขึ้นเป็นเส้นตรงด้วยเมื่อใช้ซ้ำ ๆ อย่างไรก็ตามได้รับการสนับสนุนในชุดของขนาดดังนั้นเอนโทรปีของมันคือที่มากที่สุดn ในความเป็นจริงจากทฤษฎีบทขีด จำกัด กลางฉันเดาว่า $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$ เนื่องจากมันได้รับการสนับสนุนหลักในชุดของขนาด{n}

\sqrt{n}

$\sqrt{n}$

ในระยะสั้นขอบเขตมีจำนวนมากกว่าในสถานการณ์นี้เล็กน้อย จากการอ่านโพสต์บล็อกนี้ฉันรวบรวมขอบเขตทุกประเภทในเป็นไปได้ มีขอบเขตที่ให้ asymptotics ที่ถูกต้อง (หรืออย่างน้อยที่สุด, asymptotics ที่สมเหตุสมผลมากขึ้น) เมื่อใช้ซ้ำกับผลรวมของตัวแปรสุ่มของ Bernoulli? $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— โรบินสัน
แหล่งที่มา

ฉันไม่แน่ใจว่าสิ่งที่คุณถามจริง ๆ หากคุณต้องการขอบเขตบนบน H (X + Y) ในแง่ของ H (X) และ H (Y) ซึ่งใช้กับตัวแปรสุ่มแบบแยกอิสระสองตัวใด ๆ X และ Y ดังนั้น H (X + Y) ≤H (X ) + H (Y) เป็นสิ่งที่ดีที่สุดที่คุณจะได้รับอย่างชัดเจน พิจารณากรณีที่ผลรวม x + y แตกต่างกันทั้งหมดเมื่อช่วง x เหนือการสนับสนุนของช่วง X และ y มากกว่าการสนับสนุนของ Y หากคุณใช้ขอบเขตทั่วไปนี้กับกรณีพิเศษมากมันเป็นเรื่องธรรมดาที่คุณจะได้รับ ผูกหลวม

— Tsuyoshi Ito

@TsuyoshiIto - ความเป็นไปได้อย่างหนึ่งสำหรับคำตอบที่ดีมากคือความไม่เท่าเทียมกันเช่นที่คำหลังจากลบเป็นศูนย์ในกรณีที่คุณ อธิบายและเพิ่มขึ้นเพื่อให้การปรับขนาดที่ดีขึ้นด้วยในกรณีของผลรวมของตัวแปรสุ่ม Bernoulli ...

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

— robinson

... ฉันคิดว่าการมีอยู่ของความไม่เท่าเทียมกันเช่นทำให้อย่างน้อยน่าจะเป็นไปได้ที่คำตอบที่ฉันกำลังมองหาอยู่

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

— robinson

นั่นหมายความว่าสิ่งที่คุณกำลังมองหาไม่ได้เป็นขอบเขตบน H (X + Y) ในแง่ของ H (X) และ H (Y) โปรดแก้ไขคำถาม

— Tsuyoshi Ito

ฉันคิดว่าในกรณีที่ความแปรปรวนของแต่ละตัวมีขนาดเล็กเมื่อเทียบกับคุณเดาว่าเป็นคำตอบที่ถูกต้องและไม่ยากที่จะทำให้แม่นยำโดยใช้ทฤษฎีบท Berry-Esseen

Z_{i}

$Z_i$

n

$n$

— Sasho Nikolov

คำตอบ:

สำหรับคำถามดังกล่าวคุณมักจะได้สัญชาตญาณที่ถูกต้องโดยคิดถึงตัวแปรสุ่ม "แบน" นั่นคือคิดว่าเป็นเครื่องแบบกระจายกว่าชุดขนาดและเป็นเครื่องแบบกระจายกว่าชุดขนาด(Y)} $X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

ดังนั้นคำถามที่คุณถามคือ (พูดคร่าวๆ) สิ่งที่คุณสามารถพูดเกี่ยวกับขนาดเปรียบเทียบกับและ. โดยทั่วไป (เช่นถ้าเป็นชุดสุ่ม) แน่นอนว่าคุณจะมีซึ่งสอดคล้องกับ(Y) $|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

มีบางกรณีพิเศษเมื่อที่สะดุดตาที่สุดเมื่อและเป็นช่วงเวลา (หรือโดยทั่วไปมากกว่าความก้าวหน้าทางคณิตศาสตร์) มีผลลัพธ์บางอย่างที่บอกว่า (อย่างน้อยภายใต้เงื่อนไขบางประการและถ้าเกือบเล็กที่สุดเท่าที่จะเป็นไปได้) นี่เป็นกรณีเดียวเท่านั้น พื้นที่ที่ศึกษาคำถามดังกล่าวเป็นที่รู้จักกันในชื่อ "สารผสม combinatorics" และผลลัพธ์บางอย่างมีรสชาติที่อยู่ในกลุ่มถ้าแล้วอยู่ที่กลุ่มย่อยของ (ตามที่คุณพูดถึงคำถามของคุณบล็อกของ Terence Tao กล่าวถึงผลลัพธ์บางอย่างโดยทั่วไปการพูดผลขนาดชุดที่สามารถถ่ายโอนไปยังการตั้งค่าเอนโทรปี) $|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

กรณีที่คุณอธิบายคร่าวๆจะตรงกับกรณีที่คือช่วงจำนวนเต็มและคือช่วงเวลาจำนวนเต็มของรูปแบบ (อันที่จริงแล้วหากไม่พยายามใช้ประโยชน์จากความเข้มข้น และยิงสำหรับขอบเขตของเอนโทรปีใครจะมีและและสำหรับเมื่อคุณใช้สิ่งนี้ซ้ำ ๆ จะเหมือน , ) เห็นได้ชัดว่าในกรณีนี้แต่ฉันไม่แน่ใจว่ามีขอบเขตทั่วไปมากกว่านี้หรือไม่หากเป็นกรณีพิเศษ $A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— โบอาราบารักค
แหล่งที่มา

ผมเชื่อว่าบทความนี้โดย Harremoes พิสูจน์ให้เห็นว่าถ้าคุณใช้ผลรวมของ Bernoulli ตัวแปรสุ่มแต่ละคนมีพารามิเตอร์นั้นแล้วเอนโทรปีของน้อยที่เอนโทรปีของ การกระจาย Poisson มีค่าเฉลี่ยNPจากการดูวิกิพีเดียอย่างรวดเร็วดูเหมือนว่าสำหรับค่าขนาดใหญ่เอนโทรปีของปัวซองคือซึ่งเป็นสิ่งที่คุณคาดหวัง $n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
แหล่งที่มา

บางทีคุณอาจใช้สมการ:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

นี่จะดูเหมือนคำที่คุณพูดถึงในความคิดเห็นโชคไม่ดีที่ฉันไม่รู้ผลลัพธ์เกี่ยวกับความสำคัญเชิงลบของเงื่อนไขเชิงลบหรือขอบเขตที่ลึกซึ้งสำหรับพวกเขา

— กองหญ้าแห้ง
แหล่งที่มา