Laplace smoothing และ Dirichlet มาก่อน

11

ในบทความวิกิพีเดียเรื่อง Laplace smoothing (หรือการปรับให้เรียบขึ้น) กล่าวกันว่าจากมุมมองแบบเบย์

สิ่งนี้สอดคล้องกับค่าคาดหวังของการแจกแจงหลังโดยใช้การแจกแจง Dirichlet แบบสมมาตรพร้อมพารามิเตอร์เหมือนก่อน $\alpha$

ฉันสับสนเกี่ยวกับความจริงที่ว่า ใครช่วยให้ฉันเข้าใจว่าทั้งสองสิ่งนั้นเท่ากัน?

ขอบคุณ!

— DanielX2010
แหล่งที่มา

10

แน่ใจ นี่เป็นการสังเกตว่าการแจกแจงไดริชเลต์เป็นคอนจูเกตก่อนการแจกแจงพหุนาม ซึ่งหมายความว่าพวกเขามีรูปแบบการทำงานเดียวกัน บทความกล่าวถึงมัน แต่ฉันจะเน้นว่านี่เป็นไปตามรูปแบบการสุ่มตัวอย่างหลายตัวอย่าง ดังนั้นลงไปที่มัน ...

การสังเกตเป็นเรื่องเกี่ยวกับด้านหลังดังนั้นเรามาแนะนำข้อมูลบางอย่างซึ่งนับจำนวนรายการแตกต่างกัน เราสังเกตตัวอย่างทั้งหมด เราจะสมมติว่ามาจากการแจกแจงที่ไม่รู้จัก (ซึ่งเราจะใส่ก่อนหน้า -simplex) $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

ความน่าจะเป็นหลังของได้รับและ dataคือ $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

ความน่าจะเป็นคือการแจกแจงพหุนาม ทีนี้ลองเขียน pdf ของ: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

และ

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

ที่alpha)} การคูณเราพบว่า $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

ในคำอื่น ๆ หลังเป็นยัง Dirichlet คำถามคือเกี่ยวกับค่าเฉลี่ยหลัง เนื่องจากด้านหลังเป็น Dirichlet เราสามารถใช้สูตรสำหรับค่าเฉลี่ยของ Dirichletเพื่อค้นหาว่า

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

หวังว่านี่จะช่วยได้!

— อ๋อ
แหล่งที่มา

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ ดังนั้นจึงไม่ผิดที่จะบอกว่ามันเป็นสัดส่วนที่เกี่ยวกับแต่การเขียนความเท่าเทียมกันนั้นไม่จริงเลย

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— michal

ฉันสับสนเกี่ยวกับเรื่องนี้เป็นเวลานานและฉันต้องการแบ่งปันความตระหนักของฉัน ผู้คนเหล่านี้สร้างแรงบันดาลใจให้ Laplace smoothing โดย Dirichlet กำลังใช้ Posterior Mean ไม่ใช่ MAP สำหรับความเรียบง่ายสมมติว่าการแจกแจงแบบเบต้า (กรณีที่ง่ายที่สุดของ Dirichlet) ค่าเฉลี่ยหลังคือในขณะที่ MAP คือ2} ดังนั้นถ้ามีคนบอกว่าสอดคล้องกับการเพิ่ม 1 เข้ากับตัวเศษและ 2 กับตัวส่วนนั่นเป็นเพราะพวกเขากำลังใช้ Posterior Mean

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy

0

ในฐานะที่เป็นข้อความด้านข้างฉันต้องการเพิ่มอีกจุดหนึ่งให้กับจุดกำเนิดที่กล่าวมาซึ่งไม่เกี่ยวกับคำถามหลัก อย่างไรก็ตามเมื่อพูดถึง Dirichlet priors เกี่ยวกับการกระจายแบบพหุนามฉันคิดว่ามันมีค่าที่จะกล่าวถึงสิ่งที่จะเป็นรูปแบบของฟังก์ชันความน่าจะเป็นถ้าเราจะใช้ความน่าจะเป็นเป็นตัวแปรสร้างความรำคาญ

ที่มันชี้ให้เห็นได้อย่างถูกต้องโดย sydeulissie โดยที่เป็นสัดส่วนกับalpha-1} ตอนนี้ที่นี่ผมอยากจะคำนวณalpha) $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

การใช้ข้อมูลเฉพาะตัวสำหรับฟังก์ชันแกมม่าเรามี:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

ความน่าจะเป็นของข้อมูลที่เป็นหมวดหมู่ข้างต้นได้เสนอวิธีการที่แข็งแกร่งกว่าในการจัดการกับข้อมูลนี้สำหรับกรณีที่ขนาดตัวอย่างไม่ใหญ่พอ $N$

— Omidi
แหล่งที่มา