การเชื่อมต่อระหว่างตัวชี้วัดฟิชเชอร์และเอนโทรปีสัมพัทธ์

20

บางคนสามารถพิสูจน์การเชื่อมต่อต่อไปนี้ระหว่างตัวชี้วัดข้อมูลฟิชเชอร์กับเอนโทรปีสัมพัทธ์ (หรือ KL divergence) อย่างเคร่งครัดทางคณิตศาสตร์อย่างหมดจด?

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$

ฉันพบข้างต้นในบล็อกของJohn Baezที่ Vasileios Anagnostopoulos พูดเกี่ยวกับสิ่งนั้นในความคิดเห็น

mathematical-statistics kullback-leibler fisher-information

— Kumara
แหล่งที่มา

1

เรียน Kumara: สำหรับการชี้แจงก็จะช่วยในการอธิบายที่ดีกว่าโน้ตของคุณโดยเฉพาะความหมายของ

g_{i, j}

$g_{i,j}$ j} นอกจากนี้ฉันคิดว่านิพจน์ของคุณขาดปัจจัยคงที่

1 / 2

$1/2$ ต่อหน้าเทอมแรกของด้านขวามือของสมการการแสดงผล โปรดทราบว่าสิ่งที่ Kullback เรียกว่าdivergence (การใช้สัญลักษณ์

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ) เป็นเวอร์ชันสมมาตรของสิ่งที่รู้ว่าเรียกว่า KL divergence คือ

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ P) ความแตกต่าง KL ถูกแสดงว่า

I (\cdot, \cdot)

$I(\cdot,\cdot)$ ในงานเขียนของ Kullback นี่จะอธิบายถึงปัจจัย

1 / 2

$1/2$ เช่นกัน ไชโย

— พระคาร์ดินัล

19

ในปี 1946 นักธรณีฟิสิกส์และนักสถิติเบย์แฮโรลด์เจฟฟรีส์ได้แนะนำสิ่งที่เราเรียกกันว่า Kullback-Leibler divergence และค้นพบว่าสำหรับการแจกแจงสองครั้งที่ "ไม่สิ้นสุด" (หวังว่าพวกคณิตศาสตร์ SE จะไม่เห็นสิ่งนี้ ;-) ความแตกต่างของ Kullback-Leibler ของพวกเขาเป็นรูปแบบสมการกำลังสองซึ่งมีค่าสัมประสิทธิ์ได้รับจากองค์ประกอบของเมทริกซ์ข้อมูลฟิชเชอร์ เขาตีความรูปแบบสมการกำลังสองนี้เป็นองค์ประกอบของความยาวของท่อร่วม Riemannian กับข้อมูลชาวประมงเล่นบทบาทของตัวชี้วัด Riemannian จากรูปแบบเชิงสถิติของรูปทรงเรขาคณิตนี้เขาได้รับ Jeffreys ของเขาก่อนหน้านี้เป็นมาตรการที่เกิดขึ้นตามธรรมชาติโดย Riemannian metric และการวัดนี้สามารถตีความได้ว่าเป็นการกระจายชุดที่แท้จริงภายในท่อร่วมแม้ว่าโดยทั่วไปแล้วมันไม่ได้เป็นขอบเขตแน่นอน

ในการเขียนหลักฐานที่เข้มงวดคุณจะต้องระบุเงื่อนไขทั้งหมดและดูแลลำดับของข้อผิดพลาดในการขยายเทย์เลอร์ นี่คือภาพร่างสั้น ๆ ของการโต้แย้ง

สมมาตร Kullback-Leibler divergence ระหว่างความหนาแน่นสองค่าและถูกกำหนดให้เป็น $f$ $g$

D [f, g] = \int (f (x) - g (x)) \log (\frac{f (x)}{g (x)}) d x .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

หากเรามีครอบครัวของความหนาแน่นที่กำหนดพารามิเตอร์โดยดังนั้น $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (x, ∣ θ) - p (x ∣ θ + Δ θ)) \log (\frac{p (x ∣ θ)}{p (x ∣ θ + Δ θ)}) d x,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$

ที่theta_k) แนะนำสัญกรณ์ พีชคณิตง่าย ๆ ให้ เราใช้การขยายเทย์เลอร์สำหรับลอการิทึมธรรมชาติเรามี

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ p (x ∣ θ) = p (x ∣ θ) - p (x ∣ θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int \frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

\log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) \approx \frac{Δ p (x ∣ θ)}{p (x ∣ θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$ และดังนั้น แต่ ดังนั้น ซึ่ง

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \int {(\frac{Δ p (x ∣ θ)}{p (x ∣ θ)})}^{2} p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \approx \frac{1}{p (x ∣ θ)} \sum_{i = 1}^{k} \frac{\partial p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} = \sum_{i = 1}^{k} \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} .

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \sum_{i, j = 1}^{k} g_{i j} Δ θ_{i} Δ θ_{j},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

g_{i j} = \int \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} \frac{\partial \log p (x ∣ θ)}{\partial θ_{j}} p (x ∣ θ) d x .

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

นี่คือกระดาษต้นฉบับ:

Jeffreys, H. (1946) รูปแบบคงที่สำหรับความน่าจะเป็นก่อนหน้านี้ในปัญหาการประมาณค่า พร สคช. of London, ซีรี่ส์ A, 186, 453–461

— เซน
แหล่งที่มา

1

ขอบคุณมากสำหรับการเขียนที่ดี มันจะดีหากคุณสามารถช่วยนี้เช่นกัน

— Kumara

ใช่คุณพูดถูกต้อง ฉันต้องออกมาจาก "สิ่งที่เป็นนามธรรม" นี้

— Kumara

@zen คุณกำลังใช้การขยายตัวแบบลอการิทึมของ Taylor ภายใต้อินทิกรัลทำไมจึงใช้ได้

— Sus20200

1

ดูเหมือนว่าคุณจะต้องเริ่มต้นด้วยการแยก KL แบบสมมาตรเมื่อเทียบกับการเบี่ยงเบนมาตรฐานของ KL บทความ Wikipedia ไม่ได้กล่าวถึงรุ่นสมมาตรดังนั้นอาจเป็นไปได้ที่ไม่ถูกต้อง en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

— ผู้บัญชาการผ่าตัด

11

พิสูจน์การเบี่ยงเบน KL แบบปกติ (ไม่สมมาตร)

คำตอบของ Zen ใช้การกระจาย KL แบบสมมาตร แต่ผลลัพธ์นั้นยังคงอยู่ในรูปแบบปกติเช่นกันเนื่องจากมันจะกลายเป็นสมมาตรสำหรับการแจกแจงแบบใกล้ชิดแบบไม่สิ้นสุด

ต่อไปนี้เป็นข้อพิสูจน์สำหรับการกระจายแบบไม่ต่อเนื่องที่กำหนดพารามิเตอร์โดย scalar (เพราะฉันขี้เกียจ) แต่สามารถเขียนใหม่ได้อย่างง่ายดายสำหรับการแจกแจงแบบต่อเนื่องหรือเวกเตอร์ของพารามิเตอร์: $\theta$

D (p_{θ}, p_{θ + d θ}) = \sum p_{θ} \log p_{θ} - \sum p_{θ} \log p_{θ + d θ} .

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ เทย์เลอร์ - ขยายคำสุดท้าย: สมมติว่าเป็นกฎปกติฉันได้ใช้ทั้งสองผลลัพธ์:

= \underset{= 0}{\underset{⏟}{\sum p_{θ} \log p_{θ} - \sum p_{θ} \log p_{θ}}} - d θ \underset{= 0 †}{\underset{⏟}{\sum p_{θ} \frac{d}{d θ} \log p_{θ}}} - \frac{1}{2} {d θ}^{2} \underset{= - \sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} ‡}{\underset{⏟}{\sum p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ}}} + O ({d θ}^{3}) = \frac{1}{2} {d θ}^{2} \underset{Fisher information}{\underset{⏟}{\sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2}}} + O ({d θ}^{3}) .

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : \sum p_{θ} \frac{d}{d θ} \log p_{θ} = \sum \frac{d}{d θ} p_{θ} = \frac{d}{d θ} \sum p_{θ} = 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : \sum p_{θ} \frac{d^{2}}{d θ^{2}} \log p_{θ} & = \sum p_{θ} \frac{d}{d θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ}) \\ = \sum p_{θ} [\frac{1}{p_{θ}} \frac{d^{2} p_{θ}}{d θ} - (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2}] \\ = \sum \frac{d^{2} p_{θ}}{d θ^{2}} - \sum p_{θ} (\frac{1}{p_{θ}} \frac{d p_{θ}}{d θ})^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{d^{2}}{d θ^{2}} \sum p_{θ}}} - \sum p_{θ} (\frac{d}{d θ} \log p_{θ})^{2} . \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— Abhranil Das
แหล่งที่มา

4

คุณสามารถค้นหาความสัมพันธ์ที่คล้ายกัน (สำหรับพารามิเตอร์หนึ่งมิติ) ในสมการ (3) ของบทความต่อไปนี้

D. Guo (2009), Entropy สัมพัทธ์และฟังก์ชั่นคะแนน: ข้อมูลใหม่ - การประมาณความสัมพันธ์ผ่านการรบกวนเพิ่มโดยพลการในProc การประชุมวิชาการนานาชาติ IEEE เรื่องทฤษฎีสารสนเทศ 814–818 ( ลิงก์มั่นคง )

ผู้เขียนอ้างถึง

เอส Kullback, ทฤษฎีสารสนเทศและข้อมูลสถิติ นิวยอร์ก: โดเวอร์, 2511

เพื่อพิสูจน์ผลลัพธ์นี้

— Primo Carnera
แหล่งที่มา

1

1 / 2

$1/2$