พิสูจน์ว่าการกระจายเอนโทรปีสูงสุดด้วยเมทริกซ์ความแปรปรวนคงที่คือเกาส์


13

ฉันพยายามที่จะทำให้หัวของฉันรอบต่อไปนี้เป็นข้อพิสูจน์ว่าเกาส์มีเอนโทรปีสูงสุด

ขั้นตอนที่ติดดาวทำให้รู้สึกอย่างไร ความแปรปรวนร่วมที่เฉพาะเจาะจงจะแก้ไขช่วงเวลาที่สองเท่านั้น เกิดอะไรขึ้นกับช่วงเวลาที่สามสี่และห้า?

ป้อนคำอธิบายรูปภาพที่นี่

คำตอบ:


13

ขั้นตอนติดดาวที่ถูกต้องเพราะ (ก)และมีข้อที่ศูนย์เดียวกันและช่วงเวลาที่สองและ (ข)เป็นฟังก์ชั่นพหุนามของส่วนประกอบของมีแง่มีทั้งหมดองศาหรือ2q log ( p ) x 0 2pqlog(p)x02


คุณจำเป็นต้องรู้เพียงสองสิ่งเกี่ยวกับการแจกแจงปกติหลายตัวแปรที่มีค่าเฉลี่ยศูนย์:

  1. x = ( x 1 , x 2 , , x n ) C p i jบันทึก( p ( x ) ) = C + n i , j = 1 p i jlog(p)เป็นฟังก์ชันกำลังสองของโดยไม่มีเงื่อนไขเชิงเส้น มีค่าคงที่และที่x=(x1,x2,,xn) Cpij

    log(p(x))=C+i,j=1npijxixj.

    (แน่นอนว่าและสามารถเขียนได้ในรูปของแต่รายละเอียดนี้ไม่สำคัญ)p i j ΣCpijΣ

  2. Σแจกช่วงเวลาที่สอง นั่นคือ

    Σij=Ep(xixj)=p(x)xixjdx.

เราอาจใช้ข้อมูลนี้เพื่อหาส่วนประกอบที่สำคัญ:

(q(x)p(x))log(p(x))dx=(q(x)p(x))(C+i,j=1npijxixj)dx.

มันแบ่งเป็นผลรวมของสองส่วน:

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0เพราะทั้งและเป็นฟังก์ชันความหนาแน่นของความน่าจะเป็นqp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0เพราะแต่ละอินทิกรัลอยู่ทางขวามือ ด้านและมีค่าเดียวกัน (กับปัญญา ) นี่คือสิ่งที่คำพูด "ให้ผลในช่วงเวลาเดียวกันของรูปกำลังสอง" มีวัตถุประสงค์เพื่อพูดq(x)xixjdxp(x)xixjdxΣij

ผลลัพธ์จะตามมาทันที: เนื่องจากเราสรุป นั่นQ ( x ) เข้าสู่ระบบ( P ( x ) ) d x = P ( x ) เข้าสู่ระบบ( P ( x ) ) d x(q(x)p(x))log(p(x))dx=0q(x)log(p(x))dx=p(x)log(p(x))dx.


โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.