ค่าที่คาดหวังของการกระจาย Dirichlet ที่แก้ไขคืออะไร (ปัญหาการรวม)

มันง่ายในการสร้างตัวแปรสุ่มที่มีการแจกแจงไดริชเลตโดยใช้ตัวแปรแกมม่าที่มีพารามิเตอร์สเกลเดียวกัน ถ้า:

$X_i \sim \text{Gamma}(\alpha_i, \beta)$

แล้ว:

$\left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n)$

ปัญหา จะเกิดอะไรขึ้นถ้าพารามิเตอร์ของสเกลไม่เท่ากัน

$X_i \sim \text{Gamma}(\alpha_i, \beta_i)$

แล้วการกระจายตัวของตัวแปรนี้คืออะไร?

$\left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \; ?$

สำหรับฉันมันคงเพียงพอที่จะรู้คุณค่าที่คาดหวังของการกระจายตัวนี้
ฉันต้องการสูตรพีชคณิตแบบปิดโดยประมาณที่สามารถประเมินได้อย่างรวดเร็วโดยคอมพิวเตอร์
สมมุติว่าการประมาณด้วยความเที่ยงตรง 0.01 นั้นเพียงพอแล้ว
คุณสามารถสันนิษฐานได้ว่า:

$\alpha_i, \beta_i \in \mathbb{N}$

หมายเหตุในระยะสั้นงานคือการหาการประมาณของอินทิกรัลนี้:

$f(\vec{\alpha}, \vec{\beta}) = \int_{\mathbb{R}^n_+} \;\frac{x_1}{\sum_j x_j} \cdot \prod_j \frac{\beta_j^{\alpha_j}}{\Gamma(\alpha_j)} x_j^{\alpha_j - 1} e^{-\beta_j x_j} \;\; dx_1\ldots dx_n$

— Łukasz Lew
แหล่งที่มา

@ Łukaszคุณพูดอะไรเพิ่มเติมเกี่ยวกับพารามิเตอร์

, และ

ไหม? เป็นไปได้ที่จะได้รับนิพจน์ที่แน่นอนสำหรับ

และด้วยเหตุนี้จึงประมาณความคาดหวังของอัตราส่วน แต่สำหรับการรวมกันของพารามิเตอร์หนึ่งสามารถใช้ประโยชน์จากการประมาณปกติหรือการอานม้าด้วยการทำงานที่น้อยลง ฉันไม่คิดว่าจะมีวิธีการประมาณสากลซึ่งเป็นเหตุผลว่าทำไมจึงยินดีต้อนรับข้อ จำกัด เพิ่มเติม

n

$n$

α_{i}

$\alpha_i$

β_{i}

$\beta_i$

\sum_{j} X_{j}

$\sum_j{X_j}$

— whuber

และ

มีความสัมพันธ์กันดังนั้นเราต้องประมาณอินทิกรัลเอง

มักจะเป็นขนาดเล็กจำนวนมากเช่น 1 หรือ 2 และบางครั้งเป็นใหญ่เป็น 10000 ในทำนองเดียวกัน wih

แต่ก็มักจะเป็น 10 ครั้งมีขนาดใหญ่กว่า

ฉัน

X_{1}

$X_1$

\sum_{j} X_{j}

$\sum_j X_j$

α_{i}

$\alpha_i$

β_{i}

$\beta_i$

α_{i}

$\alpha_i$

— Łukasz Lew

ปัญหาคือมีขนาดเล็ก

ฉัน

ถ้า

ทั้งหมดใหญ่แล้วค่าประมาณที่ดีของอินทิกรัลทั้งหมดคือ:

α_{i}

$\alpha_i$

α_{i}

$\alpha_i$

\frac{α_{1} / β_{1}}{\sum_{j} α_{j} / β_{j}}

$\frac{\alpha_1/\beta_1}{\sum_j \alpha_j/\beta_j}$

— Łukasz Lew

@ Łukaszหากคุณต้องการประเมินการแสดงออกของความคาดหวังเหตุใดคุณจึงต้องใช้สูตรพีชคณิต ฉันคิดว่าจะใช้เคล็ดลับเชิงตัวเลขเพื่อให้ได้ความคาดหวัง แต่ฉันต้องการความคิดเห็น :)

— deps_stats

ฉันต้องประเมินมันหลายครั้งในโปรแกรมของฉัน มันจะต้องเร็วมากเช่นไม่มีลูปและควรมีหน่วยงานไม่มากเกินไป

— Łukasz Lew

เป็นเพียงคำพูดเริ่มต้นหากคุณต้องการความเร็วในการคำนวณคุณมักจะต้องเสียสละความแม่นยำ "More precision" = "เวลามากขึ้น" โดยทั่วไป อย่างไรก็ตามนี่คือการประมาณอันดับสองควรปรับปรุงประมาณ "น้ำมันดิบ" ที่คุณแนะนำในความคิดเห็นของคุณด้านบน:

E (\frac{X_{j}}{\sum_{i} X_{i}}) \approx \frac{E [X_{j}]}{E [\sum_{i} X_{i}]} - \frac{c o v [\sum_{i} X_{i}, X_{j}]}{E [\sum_{i} X_{i}]^{2}} + \frac{E [X_{j}]}{E [\sum_{i} X_{i}]^{3}} V a r [\sum_{i} X_{i}]

$E\Bigg(\frac{X_{j}}{\sum_{i}X_{i}}\Bigg)\approx \frac{E[X_{j}]}{E[\sum_{i}X_{i}]} -\frac{cov[\sum_{i}X_{i},X_{j}]}{E[\sum_{i}X_{i}]^2} +\frac{E[X_{j}]}{E[\sum_{i}X_{i}]^3} Var[\sum_{i}X_{i}]$

= \frac{α_{j}}{\sum_{i} \frac{β_{j}}{β_{i}} α_{i}} \times [1 - \frac{1}{(\sum_{i} \frac{β_{j}}{β_{i}} α_{i})} + \frac{1}{(\sum_{i} \frac{α_{i}}{β_{i}})^{2}} (\sum_{i} \frac{α_{i}}{β_{i}^{2}})]

$= \frac{\alpha_{j}}{\sum_{i} \frac{\beta_{j}}{\beta_{i}}\alpha_{i}}\times\Bigg[1 - \frac{1}{\Bigg(\sum_{i} \frac{\beta_{j}}{\beta_{i}}\alpha_{i}\Bigg)} + \frac{1}{\Bigg(\sum_{i} \frac{\alpha_{i}}{\beta_{i}}\Bigg)^2}\Bigg(\sum_{i} \frac{\alpha_{i}}{\beta_{i}^2}\Bigg)\Bigg]$

EDIT An explanation for the above expansion was requested. The short answer is wikipedia. The long answer is given below.

write $f(x,y)=\frac{x}{y}$ . Now we need all the "second order" derivatives of $f$ . The first order derivatives will "cancel" because they will all involve multiples $X-E(X)$ and $Y-E(Y)$ which are both zero when taking expectations.

\frac{\partial^{2} f}{\partial x^{2}} = 0

$\frac{\partial^2 f}{\partial x^2}=0$

\frac{\partial^{2} f}{\partial x \partial y} = - \frac{1}{y^{2}}

$\frac{\partial^2 f}{\partial x \partial y}=-\frac{1}{y^2}$

\frac{\partial^{2} f}{\partial y^{2}} = 2 \frac{x}{y^{3}}

$\frac{\partial^2 f}{\partial y^2}=2\frac{x}{y^3}$

And so the taylor series up to second order is given by:

\frac{x}{y} \approx \frac{μ_{x}}{μ_{y}} + \frac{1}{2} (- \frac{1}{μ_{y}^{2}} 2 (x - μ_{x}) (y - μ_{y}) + 2 \frac{μ_{x}}{μ_{y}^{3}} (y - μ_{y})^{2})

$\frac{x}{y} \approx \frac{\mu_x}{\mu_y}+\frac{1}{2}\Bigg(-\frac{1}{\mu_y^2}2(x-\mu_x)(y-\mu_y) + 2\frac{\mu_x}{\mu_y^3}(y-\mu_y)^2 \Bigg)$

Taking expectations yields:

E [\frac{x}{y}] \approx \frac{μ_{x}}{μ_{y}} - \frac{1}{μ_{y}^{2}} E [(x - μ_{x}) (y - μ_{y})] + \frac{μ_{x}}{μ_{y}^{3}} E [(y - μ_{y})^{2}]

$E\Big[\frac{x}{y}\Big] \approx \frac{\mu_x}{\mu_y}-\frac{1}{\mu_y^2}E\Big[(x-\mu_x)(y-\mu_y)\Big] + \frac{\mu_x}{\mu_y^3}E\Big[(y-\mu_y)^2\Big]$

Which is the answer I gave. (although I initially forgot the minus sign in the second term)

— probabilityislogic
แหล่งที่มา

This looks like exactly what I need. Can you explain how you got this expansion? I tried in a lot of ways and was unable to do that ...

— Łukasz Lew