การตีความอนุพันธ์ Radon-Nikodym ระหว่างความน่าจะเป็นเป็นอย่างไร

ฉันเคยเห็นบางจุดการใช้เรดอน - นิโคดีมาของการวัดความน่าจะเป็นหนึ่งโดยเทียบกับอีกประการหนึ่งที่โดดเด่นที่สุดใน Kullback-Leibler divergence ซึ่งเป็นอนุพันธ์ของการวัดความน่าจะเป็นของแบบจำลองสำหรับพารามิเตอร์โดยพลการเกี่ยวกับพารามิเตอร์จริง : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

ที่ไหนเหล่านี้มีทั้งที่เป็นมาตรการในพื้นที่ของ datapoints เงื่อนไขเกี่ยวกับค่าพารามิเตอร์:theta) $P_\theta(D)=P(D|\theta)$

การตีความของอนุพันธ์ Radon-Nikodym เช่นนี้ในการเบี่ยงเบน Kullback-Leibler คืออะไรหรือโดยทั่วไประหว่างความน่าจะเป็นสองมาตรการ?

— user56834
แหล่งที่มา

อันดับแรกเราไม่ต้องการมาตรการความน่าจะเป็นเพียงแค่ -finiteness ดังนั้นขอให้จะเป็นพื้นที่ที่สามารถวัดได้และปล่อยให้และเป็น -finite มาตรการM $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

เรดอน Nikodym ทฤษฎีบทระบุว่าหากสำหรับทุก , แสดงโดยแล้วมีอยู่ไม่ใช่เชิงลบ Borel ฟังก์ชันเช่นนั้น สำหรับทั้งหมด $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

นี่คือวิธีที่ฉันชอบคิดนี้ ครั้งแรกสำหรับสองมาตรการให้มีกำหนดหมายถึง0 นี่คือความสัมพันธ์ที่เท่าเทียมกันที่ถูกต้องและเราบอกว่าและมีความเท่าเทียมกันในกรณีนี้ ทำไมสิ่งนี้จึงมีความสมดุลที่สมเหตุสมผลสำหรับการวัด มาตรการเป็นเพียงฟังก์ชั่น แต่โดเมนของพวกเขานั้นยากที่จะมองเห็น สิ่งที่เกี่ยวกับถ้าสองฟังก์ชั่นสามัญมีคุณสมบัตินี้คือ ? ดีให้นิยาม และทราบว่า ทุกที่ในการสนับสนุนของ $\mathcal M$ $\mu \sim \nu$ $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$ เรามีและด้านนอกของการสนับสนุนของ (ตั้งแต่และส่วนแบ่งการสนับสนุน) เพื่อให้ช่วยให้เรา rescaleลงในฉในขณะที่ @whuber ชี้ให้เห็นความคิดหลักที่นี่ไม่ใช่ว่านั้น "ปลอดภัย" ที่จะทำหรือเพิกเฉย แต่เมื่อแล้วมันไม่สำคัญว่าทำอะไรเราจึงสามารถกำหนดได้เอง (เช่น เป็นซึ่งไม่มีความหมายพิเศษที่นี่) และสิ่งต่างๆยังคงใช้ได้ นอกจากนี้ในกรณีนี้เราสามารถกำหนดฟังก์ชั่นแบบอะนาล็อกด้วยดังนั้น

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$ กรัม

ถัดไปสมมติว่าแต่ทิศทางอื่นไม่จำเป็นต้องถือ ซึ่งหมายความว่าคำนิยามเดิมของเราที่ยังคงทำงาน แต่ตอนนี้ไม่ทำงานเพราะมันจะมีหน่วยงานที่เกิดขึ้นจริงโดย0ดังนั้นเราสามารถ rescaleเป็นผ่านแต่เราไม่สามารถไปในทิศทางอื่นเพราะเราต้องการ rescale บางสิ่งเป็นสิ่งที่ไม่ใช่ศูนย์ $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

ตอนนี้ขอกลับไปและและแสดงว่า RND ของเราโดยฉถ้านี่หมายความว่าสัญชาตญาณคนหนึ่งสามารถ rescaled เข้าไปอีกและในทางกลับกัน แต่โดยทั่วไปแล้วเราต้องการเพียงแค่ไปในทิศทางเดียวกับสิ่งนี้ (กล่าวคือวัดค่าที่ดีเช่นวัด Lebesgue เป็นมาตรการที่เป็นนามธรรมมากขึ้น) ดังนั้นเราจึงต้องการเพื่อทำสิ่งที่มีประโยชน์ การลดขนาดเป็นหัวใจของ RND $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

กลับไปที่จุด @ whuber ในความคิดเห็นที่มีความละเอียดอ่อนเป็นพิเศษในการทำไมมันมีความปลอดภัยที่จะไม่สนใจปัญหาของ0/0นั่นเพราะมีมาตรการที่เรากำลังเท่านั้นที่เคยกำหนดสิ่งที่ขึ้นอยู่กับชุดของการวัดดังนั้นในชุดใดกับเราก็สามารถทำให้ RND เราใช้ค่าใด ๆ พูด1ดังนั้นไม่ใช่ว่ามีความปลอดภัยภายใน แต่ค่อนข้างที่ใดก็ตามที่เราจะมีเป็นชุดของการวัด wrtดังนั้นเราจึงสามารถกำหนด RND ของเราให้เป็นสิ่งที่ดีโดยไม่กระทบอะไรเลย $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$

ตัวอย่างเช่นสมมติว่าสำหรับบางตัว จากนั้น ดังนั้นเราจึงมีคือ RND (สิ่งนี้สามารถพิสูจน์ได้อย่างเป็นทางการมากขึ้นโดยการเปลี่ยนแปลงของทฤษฎีบทการวัด) นี่เป็นสิ่งที่ดีเพราะเราได้กู้คืนปัจจัยการปรับขนาดแล้ว $k \cdot \mu = \nu$ $k > 0$

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

นี่คือตัวอย่างที่สองเพื่อเน้นว่าการเปลี่ยน RND ในชุดการวัดไม่มีผลกับพวกเขาอย่างไร ปล่อยให้ , นั่นคือมาตรฐานปกติ PDF บวกถ้าอินพุตมีเหตุผลและให้เป็น RV ที่มีความหนาแน่นนี้ นี่หมายความว่า ดังนั้นที่จริงแล้วยังคงเป็นมาตรฐาน Gaussian RV มันไม่ได้ส่งผลกระทบต่อการกระจายในทางที่จะเปลี่ยนในเพราะมันเป็นชุดของการวัด wrt $0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$ \

เป็นตัวอย่างสุดท้ายสมมติว่าและและให้และเป็นค่าการแจกแจงตามลำดับ จำได้ว่า pmf เป็น RND ที่เกี่ยวกับการนับการวัดและเนื่องจากมีคุณสมบัติที่ปรากฎว่า $X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

เพื่อให้เราสามารถคำนวณ

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

ดังนั้นเนื่องจากสำหรับทั้งหมดในการสนับสนุนของเราสามารถ rescale การรวมกับการแจกแจงปัวซงในการรวมกับการแจกแจงทวินามแม้ว่าเพราะทุกอย่างแยกกันมันดูเหมือนเล็กน้อย ผลลัพธ์. $P(X = n) > 0$ $n$ $Y$

ฉันตอบคำถามทั่วไปของคุณเพิ่มเติม แต่ไม่ได้สัมผัสกับ divergences ของ KL สำหรับผมอย่างน้อยผมพบความแตกต่าง KL ง่ายมากที่จะแปลความหมายในแง่ของการทดสอบสมมติฐานเช่น @kjetil คำตอบข Halvorsen ของที่นี่ ถ้าและมีการวัดที่ครอบงำทั้งสองโดยใช้เราสามารถกู้คืนแบบฟอร์มด้วยความหนาแน่นดังนั้นสำหรับฉันฉันพบว่าง่ายขึ้น $P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— JLD
แหล่งที่มา

ฉันสนุกกับการแสดงออกนี้ (เพราะฉันสนุกกับการมีส่วนร่วมทั้งหมดของคุณ) แต่ที่ด้านล่างดูเหมือนว่าเป็นการยืนยัน (ซ้ำ) ยืนยันว่าทำให้รู้สึกบางอย่าง - แต่มันไม่ได้ มีบางอย่างเกิดขึ้นกับการวัดที่ไม่ได้เกิดขึ้นโดยอัตโนมัติกับฟังก์ชั่นของค่าจริง: คุณอาจเพิกเฉยต่อสิ่งที่เกิดขึ้นกับชุดของศูนย์การวัด นั่นเป็นวิธีที่คุณหลีกเลี่ยงการทำความเข้าใจกับในการตั้งค่าอนุพันธ์ Radon-Nikodym

0 / 0

$0/0$

0 / 0

$0/0$

— whuber

@whuber ขอบคุณมากสำหรับความคิดเห็นที่ช่วยได้จริงๆ ฉันพยายามอัปเดตถึงที่อยู่นั้นแล้ว

— jld