ทฤษฎีข้อมูล จำกัด ทฤษฎีบทกลาง

รูปแบบที่ง่ายที่สุดของ CLT เชิงทฤษฎีข้อมูล ได้แก่ :

ให้จะ IID ที่มีค่าเฉลี่ยและความแปรปรวน1 ปล่อยให้f_nเป็นความหนาแน่นของผลรวม\ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}}และ\ phiเป็นความหนาแน่นแบบเกาส์มาตรฐาน จากนั้นข้อมูลเชิงทฤษฎี CLT ระบุว่าถ้าD (f_n \ | \ phi) = \ int f_n \ log (f_n / \ phi) dxมีขอบเขตสำหรับnบางตัวดังนั้นD (f_n \ | \ phi) \ to 0เป็นn \ to \$X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

แน่นอนว่าการบรรจบกันนี้ในแง่หนึ่งก็คือ "แข็งแกร่ง" กว่าการบรรจบกันอย่างดีในวรรณคดีการบรรจบกันในการกระจายและการบรรจบกันใน$L_1$สมมาตรเนื่องจากความไม่สมดุลของ Pinsker $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$พี) นั่นคือการลู่เข้าใน KL-divergence หมายถึงการลู่เข้าในการกระจายและการลู่ในระยะ$L_1$

ฉันต้องการทราบสองสิ่ง

1. มีอะไรดีมากเกี่ยวกับผลลัพธ์$D(f_n\|\phi)\to 0$ ?

2. มันเป็นเพียงเพราะเหตุผลที่ระบุไว้ในวรรคสามเราพูดบรรจบกันใน KL-แตกต่าง ( เช่น , $D(f_n\|\phi)\to 0$ ) แข็งแรง?

NB: ฉันถามคำถามนี้เมื่อไม่นานมานี้ใน math.stackexchange ที่ฉันไม่ได้รับคำตอบใด ๆ

สิ่งหนึ่งที่ดีกับทฤษฎีบทนี้ก็คือมันแนะนำทฤษฎีบทขีด จำกัด ในการตั้งค่าบางอย่างที่ไม่ได้ใช้ทฤษฎีขีด จำกัด กลางปกติ ตัวอย่างเช่นในสถานการณ์ที่การกระจายเอนโทรปีสูงสุดคือการแจกแจงแบบไม่ปกติบางอย่างเช่นการแจกแจงแบบวงกลมมันเป็นการรวมตัวของการกระจายตัวแบบสม่ำเสมอ

หลังจากมองไปรอบ ๆ ฉันไม่สามารถหาตัวอย่างของการบรรจบกันของการกระจายโดยไม่มีการบรรจบกันในเอนโทรปีสัมพัทธ์ดังนั้นนี่เป็นการยากที่จะวัด "ความยิ่งใหญ่" ของผลลัพธ์นั้น

สำหรับฉันดูเหมือนว่าผลลัพธ์นี้จะอธิบายถึงเอนโทรปีสัมพัทธ์ของผลิตภัณฑ์คอนโวลูชัน มันมักถูกมองว่าเป็นการตีความทางเลือกและกรอบการพิสูจน์ของทฤษฎีขีด จำกัด กลางและฉันไม่แน่ใจว่ามันมีความหมายโดยตรงในทฤษฎีความน่าจะเป็น (แม้ว่าจะเป็นในทฤษฎีข้อมูล)

จากทฤษฎีข้อมูลสารสนเทศและทฤษฎีขีด จำกัด กลาง (หน้า 19)

กฎข้อที่สองของอุณหพลศาสตร์กล่าวว่าเอนโทรปีของอุณหพลศาสตร์จะเพิ่มขึ้นตามกาลเวลาซึ่งหมายถึงการลู่เข้าสู่รัฐกิ๊บส์ การอนุรักษ์พลังงานหมายความว่าคงที่ในช่วงเวลานี้วิวัฒนาการดังนั้นเราสามารถบอกได้ตั้งแต่เริ่มต้นว่ารัฐกิ๊บส์จะเป็นขีด จำกัด เราจะพิจารณาทฤษฎีขีด จำกัด กลางด้วยวิธีเดียวกันโดยแสดงให้เห็นว่าเอนโทรปีของข้อมูลเชิงทฤษฎีเพิ่มขึ้นสูงสุดในขณะที่เราใช้การโน้มน้าวใจ การทำให้เป็นมาตรฐานอย่างเหมาะสมหมายถึงความแปรปรวนยังคงที่ในระหว่างการโน้มน้าวใจดังนั้นเราสามารถบอกได้ตั้งแต่เริ่มต้นว่าเกาส์เซียนจะเป็นขีด จำกัด$E$

$D(f_n\|\phi)\rightarrow 0$รับรองว่าไม่มี "ระยะทาง" ระหว่างการกระจายของผลรวมของตัวแปรสุ่มและความหนาแน่นแบบเกาส์เป็นเพียงเพราะนิยามของ KL divergence ดังนั้นมันจึงเป็นข้อพิสูจน์ ตัวเอง บางทีฉันอาจเข้าใจผิดคำถามของคุณ$n\rightarrow\infty$

เกี่ยวกับประเด็นที่สองที่คุณได้รับการตอบรับในย่อหน้าของคุณ