การแจกแจงความน่าจะเป็นพิเศษ

ถ้า $p(x)$ คือการกระจายความน่าจะเป็นที่ไม่ใช่ศูนย์ค่าบน $[0,+\infty)$ สำหรับสิ่งที่ประเภท (s) ของ $p(x)$ จะมีอยู่อย่างต่อเนื่อง $c\gt 0$ เช่นที่ $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ สำหรับทั้งหมด $0\lt\epsilon\lt 1$ ?

ความไม่เสมอภาคดังกล่าวข้างต้นเป็นจริง Kullback-Leibler แตกต่างระหว่างการกระจาย $p(x)$ และรุ่นที่ถูกบีบอัดของมัน ${(1+\epsilon)}p({x}{(1+\epsilon)})$ )ฉันพบว่าความไม่เท่าเทียมกันนี้มีไว้สำหรับการแจกแจงแบบเอ็กซ์โปเนนเชียลแกมม่าและไวบูลและฉันสนใจที่จะรู้ว่ามันใช้ได้กับการแจกแจงความน่าจะเป็นที่มีขนาดใหญ่ขึ้นหรือไม่

ความคิดใดที่ความไม่เท่าเทียมนั้นหมายถึงอะไร

— Sus20200
แหล่งที่มา

เนื่องจาก

ϵ

$\epsilon$ เป็นบวกที่จะถูกบีบอัด (ในทิศทาง x) แทนที่จะยืดออก

— Glen_b -Reinstate Monica

คำถามนี้ไม่ชัดเจน: ปริมาณของคุณคืออะไร? คุณต้องการความไม่เท่าเทียมกันนี้จะถือสำหรับทุก

, อย่างน้อยหนึ่ง

, หรือสิ่งอื่นใด เป็น

ได้รับเบื้องต้นหรือคุณหมายถึงควรมีอยู่อย่างน้อยหนึ่งค่าดังกล่าวของ

? และเมื่อคุณพูดถึงคลาสของการแจกแจงความน่าจะเป็นโดย "

" คุณหมายถึงการแจกแจงแบบเจาะจงหรือคุณอาจหมายถึงตระกูลพาราเมทริกของมัน?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

— whuber

@whuber ขอบคุณสำหรับความคิดเห็นของคุณ ฉันแก้ไขคำแถลงปัญหาเพื่อชี้แจงปัญหาที่กล่าวถึง ฉันหมายถึงอะไรที่

ความไม่เท่าเทียมกันข้างต้นมีอยู่? คำตอบอาจเป็นการแนะนำให้รู้จักกับตัวแปรครอบครัวของการแจกแจงหรือเสนอสมการเชิงอนุพันธ์สำหรับ

ที่เพียงพอและให้ความไม่เท่าเทียมกันที่ต้องการ

p (x)

$p(x)$

p (x)

$p(x)$

— Sus20200

ความไม่เท่าเทียมนี้จะใช้ได้กับ p (x) ใดที่ต่อเนื่องและมีการสนับสนุนอย่างไม่สิ้นสุด คุณกำลังคำนวณ KL divergence ภายในพาราเมทริกตระกูล (

ถ้าKL แตกต่างกันที่ 0 แสดงว่าอนุพันธ์เป็น 0 เอา

สูงสุดของความโค้งของ KL (สำหรับ

.) เราได้ผูกพันกับการทำงานเพิ่มเติมก็อาจจะเป็นไปได้ที่จะถูกผูกไว้ C จากคุณสมบัติของพี

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— กีโยม Dehaene

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

รอบคัดเลือกโซน

เขียน

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

ลอการิทึมและความสัมพันธ์ระหว่างและแนะนำให้แสดงทั้งและอาร์กิวเมนต์เป็น exponentials ด้วยเหตุนี้ให้กำหนด $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

สำหรับจริงทั้งหมดที่ด้านขวามือจะถูกกำหนดและเท่ากับใดก็ตามที่ 0 ขอให้สังเกตว่าการเปลี่ยนแปลงของตัวแปรทำให้เกิดและ (การให้เป็นความหนาแน่นของการแจกแจง) ว่ากฎความน่าจะเป็นทั้งหมดนั้นสามารถแสดงเป็น $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

ให้เราสมมติเมื่อY $e^{q(y)+y}\to 0$ $y\to\pm\infty$ กฎนี้ออกมาแจกแจงความน่าจะกับ spikes หลายอย่างมากมายในความหนาแน่นใกล้หรือ\โดยเฉพาะอย่างยิ่งหากท้ายของเป็นแบบโมโนโทนิกแสดงถึงการสันนิษฐานนี้แสดงว่ามันไม่รุนแรง $p$ $0$ $\infty$ $p$ $(1)$

เพื่อให้การทำงานกับลอการิทึมง่ายขึ้นให้สังเกตด้วยว่า

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

เนื่องจากการคำนวณต่อไปนี้จะดำเนินการได้ถึงทวีคูณของกำหนด $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

เราอาจรวมทั้งเปลี่ยนโดยกับสอดคล้องกับและบวกสอดคล้องกับบวก\ $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

การวิเคราะห์

วิธีหนึ่งที่ชัดเจนที่ความไม่เท่าเทียมสามารถล้มเหลวได้สำหรับอินทิกรัลเพื่อเบี่ยงเบนความแตกต่างของสิ่งนี้จะเกิดขึ้นถ้าเช่นนั้นจะต้องมีใด ๆในช่วงเวลาที่เหมาะสมของตัวเลขในเชิงบวกว่าขนาดเล็กไม่มีซึ่งในเป็นเหมือนศูนย์ แต่ไม่ได้ศูนย์ในช่วง . ที่จะก่อให้เกิด integrand ที่จะ ไม่มีที่สิ้นสุดกับความน่าจะเป็นในเชิงบวก $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

เพราะคำถามคือ unspecific เกี่ยวกับธรรมชาติของเราจะได้รับการจมอยู่กับปัญหาทางเทคนิคเกี่ยวกับวิธีการที่เรียบอาจจะมี ลองหลีกเลี่ยงปัญหาดังกล่าวโดยหวังว่าจะได้ข้อมูลเชิงลึกโดยสมมติว่าทุกแห่งมีอนุพันธ์มากมายเท่าที่เราจะสนใจใช้ (สองจะพอเพียงถ้าอย่างต่อเนื่อง.) เพราะเห็นว่าการค้ำประกันซากทางทิศชุด จำกัด ใด ๆ ก็หมายความว่าไม่เคยมีศูนย์เมื่อ0 $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

โปรดทราบว่าคำถามนี้เกี่ยวข้องกับพฤติกรรมของเมื่อเข้าใกล้ศูนย์จากด้านบน เนื่องจากอินทิกรัลนี้เป็นฟังก์ชั่นต่อเนื่องของในช่วงเวลาจึงได้เมื่อถูก จำกัด ช่วงบวกใด ๆทำให้เราสามารถเลือกเพราะเห็นได้ชัดว่า $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

ทำให้ความไม่เท่าเทียมทำงานได้ นี่คือเหตุผลที่เราต้องเกี่ยวข้องกับการคำนวณโมดูโลเท่านั้น $\epsilon^2$

วิธีการแก้

การใช้การเปลี่ยนแปลงของตัวแปรจากเป็น , จากเป็น , และเป็น , ลองคำนวณผ่านลำดับที่สองใน (หรือ ) โดยหวังว่าจะบรรลุ การทำให้เข้าใจง่าย ไปยังจุดสิ้นสุดที่กำหนด $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

จะเป็นการสั่งที่เหลือในการขยายตัวของเทย์เลอร์รอบปี $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

การเปลี่ยนตัวแปรในการแสดงหนึ่งซ้ายมือก็จะต้องหายไปเป็นข้อสังเกตในสมมติฐานดังต่อไปนี้(1)การเปลี่ยนตัวแปรกลับไปเป็นในอินทิกรัลขวามือจะให้ $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

ความไม่เท่าเทียมถือ (ภายใต้สมมติฐานทางเทคนิคต่าง ๆ ของเรา) ถ้าหากสัมประสิทธิ์ของทางด้านขวามือมี จำกัด $\delta^2$

การตีความ

นี่เป็นจุดที่ดีที่จะหยุดเพราะมันดูเหมือนจะเปิดเผยปัญหาสำคัญ:ถูก จำกัด ด้วยฟังก์ชันกำลังสองของอย่างแม่นยำเมื่อข้อผิดพลาดกำลังสองในการขยายตัวของเทย์เลอร์ไม่ ระเบิด (เทียบกับการจัดจำหน่าย) เป็นวิธี\ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

ลองตรวจสอบบางกรณีที่กล่าวถึงในคำถาม: การแจกแจงแบบเอ็กซ์โปเนนเชียลและแกมม่า (เอ็กซ์โพเนนเชียลเป็นกรณีพิเศษของแกมม่า) เราไม่ต้องกังวลเกี่ยวกับพารามิเตอร์ของสเกลเพราะพวกเขาเพียงแค่เปลี่ยนหน่วยการวัด เฉพาะพารามิเตอร์ที่ไม่ใช่สเกลเท่านั้น

ที่นี่เนื่องจากสำหรับ , การขยายตัวของเทย์เลอร์รอบ ๆคือเทย์เลอร์ทฤษฎีบทที่เหลือหมายถึงถูกครอบงำโดยสำหรับธุรกิจขนาดเล็กพอ\เนื่องจากความคาดหวังของนั้นมี จำกัด ความไม่เท่าเทียมกันจึงมีไว้สำหรับการแจกแจงแกมมา $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

การคำนวณที่คล้ายกันบ่งบอกถึงความไม่เท่าเทียมกันในการกระจาย Weibull กระจายครึ่งปกติการแจกแจง Lognormal ฯลฯ ในความเป็นจริงจะได้รับการโต้แย้งเราจะต้องละเมิดอย่างน้อยหนึ่งสมมติฐานบังคับให้เรามองไปที่การกระจายที่หายไปในบางช่วงเวลาหรือ ไม่แตกต่างกันอย่างต่อเนื่องเป็นสองเท่าหรือมีหลายโหมดอย่างไม่ จำกัด การทดสอบเหล่านี้ง่ายต่อการใช้กับตระกูลการแจกแจงทั่วไปที่ใช้ในการสร้างแบบจำลองทางสถิติ $p$

— whuber
แหล่งที่มา