พิสูจน์ว่าการกระจายเอนโทรปีสูงสุดด้วยเมทริกซ์ความแปรปรวนคงที่คือเกาส์

13

ฉันพยายามที่จะทำให้หัวของฉันรอบต่อไปนี้เป็นข้อพิสูจน์ว่าเกาส์มีเอนโทรปีสูงสุด

ขั้นตอนที่ติดดาวทำให้รู้สึกอย่างไร ความแปรปรวนร่วมที่เฉพาะเจาะจงจะแก้ไขช่วงเวลาที่สองเท่านั้น เกิดอะไรขึ้นกับช่วงเวลาที่สามสี่และห้า?

entropy information-theory maximum-entropy

— ทาร์รร์
แหล่งที่มา

13

ขั้นตอนติดดาวที่ถูกต้องเพราะ (ก)และมีข้อที่ศูนย์เดียวกันและช่วงเวลาที่สองและ (ข)เป็นฟังก์ชั่นพหุนามของส่วนประกอบของมีแง่มีทั้งหมดองศาหรือ2 $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

คุณจำเป็นต้องรู้เพียงสองสิ่งเกี่ยวกับการแจกแจงปกติหลายตัวแปรที่มีค่าเฉลี่ยศูนย์:

$\log(p)$ เป็นฟังก์ชันกำลังสองของโดยไม่มีเงื่อนไขเชิงเส้น มีค่าคงที่และที่ $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
(แน่นอนว่าและสามารถเขียนได้ในรูปของแต่รายละเอียดนี้ไม่สำคัญ) $C$ $p_{ij}$ $\Sigma$
$\Sigma$ แจกช่วงเวลาที่สอง นั่นคือ
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

เราอาจใช้ข้อมูลนี้เพื่อหาส่วนประกอบที่สำคัญ:

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

มันแบ่งเป็นผลรวมของสองส่วน:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ เพราะทั้งและเป็นฟังก์ชันความหนาแน่นของความน่าจะเป็น $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ เพราะแต่ละอินทิกรัลอยู่ทางขวามือ ด้านและมีค่าเดียวกัน (กับปัญญา ) นี่คือสิ่งที่คำพูด "ให้ผลในช่วงเวลาเดียวกันของรูปกำลังสอง" มีวัตถุประสงค์เพื่อพูด $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

ผลลัพธ์จะตามมาทันที: เนื่องจากเราสรุป นั่น $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— whuber
แหล่งที่มา

1

$q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— F. Tusell
แหล่งที่มา