การทำความเข้าใจคอนจูเกตเบต้าก่อนการอนุมานแบบเบย์เกี่ยวกับความถี่

ต่อไปนี้เป็นข้อความที่ตัดตอนมาจาก Bolstad ของรู้เบื้องต้นเกี่ยวกับคชกรรมสถิติ

สำหรับสิ่งที่คุณผู้เชี่ยวชาญออกมีนี้อาจจะมีเล็ก ๆ น้อย ๆ แต่ผมไม่เข้าใจว่าผู้เขียนสรุปว่าเราไม่ต้องทำใด ๆ รวมในการคำนวณความน่าจะเป็นหลังมูลค่าของบาง\ผมเข้าใจการแสดงออกที่สองซึ่งเป็นสัดส่วนและสถานที่ที่เงื่อนไขทั้งหมดมาจาก ( โอกาส x ก่อน) นอกจากนี้ฉันเข้าใจว่าเราไม่ต้องกังวลเกี่ยวกับตัวส่วนเนื่องจากตัวเศษมีสัดส่วนโดยตรง แต่ย้ายไปยังสมการที่สามเราไม่ลืมเกี่ยวกับตัวส่วนของกฎเบย์ มันไปไหน และค่าที่คำนวณโดยฟังก์ชันแกมม่านั้นไม่ใช่ค่าคงที่ใช่หรือไม่ ค่าคงที่ไม่ได้ยกเลิกในทฤษฎีบทเบย์หรือไม่ $\pi$

— Jenna Maiz
แหล่งที่มา

มีค่าคงที่ที่เป็นไปได้เพียงค่าเดียวคือค่าที่ทำให้ฟังก์ชันมีความหนาแน่นของความน่าจะเป็น

— ซีอาน

คำตอบ:

ประเด็นก็คือเรารู้ว่าส่วนหลังเป็นสัดส่วนกับอะไรและเกิดขึ้นที่เราไม่จำเป็นต้องทำการรวมเพื่อให้ได้ตัวส่วน (คงที่) เพราะเรารับรู้ว่าการแจกแจงที่มีฟังก์ชันความหนาแน่นของความน่าจะเป็นเป็นสัดส่วนกับ (เช่นหลัง) เป็นการแจกแจงแบบเบต้า เนื่องจากค่าคงที่ normalizing สำหรับไฟล์ PDF รุ่นเบต้าคือเราได้รับไฟล์ PDF หลังโดยไม่ต้องรวมเข้าด้วยกัน และใช่ค่าคงตัว normalizing ในทฤษฎีบท Bayes เป็นค่าคงที่ (จากข้อมูลที่สังเกตและค่าที่สันนิษฐานไว้ก่อนหน้า) เช่นเดียวกับค่า normalizing สำหรับความหนาแน่นหลัง $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

— Björn
แหล่งที่มา

การตั้งค่า

คุณมีโมเดลนี้: ความหนาแน่นที่

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

และโดยเฉพาะอย่างยิ่งทราบว่า

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

รุ่นโดยนัย

ตอนนี้ การกระจายหลังเป็นสัดส่วนกับก่อนคูณด้วยความน่าจะเป็นกรัมเราสามารถละเว้นค่าคงที่ (เช่นสิ่งที่ไม่ใช่ ), ให้ผล: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

นี่คือ 'รูปร่าง' ของการแจกแจงแบบเบต้าพร้อมพารามิเตอร์และและเรารู้ว่าค่าคงที่ normalizing ที่สอดคล้องกันสำหรับการแจกแจงแบบเบต้าด้วยพารามิเตอร์เหล่านั้นควรเป็นx) หรือในแง่ของฟังก์ชันแกมมา กล่าวอีกนัยหนึ่งเราสามารถทำได้ดีกว่าความสัมพันธ์แบบสัดส่วนโดยไม่ต้องมีมรดกพิเศษใด ๆ และตรงไปที่ความเสมอภาค: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

ดังนั้นเราจึงสามารถใช้ความรู้เกี่ยวกับโครงสร้างของการแจกแจงแบบเบต้าเพื่อกู้คืนนิพจน์สำหรับคนหลังได้อย่างง่ายดายแทนที่จะต้องผ่านการรวมที่ยุ่งเหยิงและสิ่งที่คล้ายกัน

การเรียงลำดับของการได้รับรอบกับด้านหลังเต็มรูปแบบโดยการยกเลิกค่าคงที่ normalizing ของการกระจายข้อต่อซึ่งอาจทำให้เกิดความสับสน

รุ่นที่ชัดเจน

คุณสามารถบดขยี้สิ่งต่าง ๆ ออกมาเป็นขั้นตอนได้ซึ่งก็ชัดเจนกว่า

จริงๆแล้วมันไม่ได้นานกว่านั้นอีกแล้ว โปรดทราบว่าเราสามารถแสดงการแจกแจงร่วมเป็น และการกระจายตัวของเป็น

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

ดังนั้นเราสามารถแสดงด้านหลังโดยใช้ทฤษฎีบทของเบย์โดย ซึ่งเป็นสิ่งเดียวกันกับที่เราได้รับมาก่อนหน้านี้

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

— jtobin
แหล่งที่มา

หมายเหตุทั่วไป

เพื่อให้คำตอบที่ได้รับจาก @ Björnชัดเจนยิ่งขึ้นและในเวลาเดียวกันโดยทั่วไปเราควรจำไว้ว่าเรามาถึงทฤษฎีบท Bayesจาก

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes นั้น)

ที่หมายถึงข้อมูลที่สังเกตและที่ไม่รู้จักเราพารามิเตอร์ที่เราต้องการที่จะทำให้การหาข้อสรุปเกี่ยวกับความน่าจะเป็น - ในกรณีคำถามของพารามิเตอร์เป็นความถี่ที่ไม่รู้จัก\ตอนนี้ไม่ต้องกังวลว่าเรากำลังพูดถึงเวกเตอร์หรือสเกลาร์เพื่อให้ง่าย $X$ $\theta$ $\pi$

มาร์จิ้นในกรณีอย่างต่อเนื่องนำไปสู่

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

เมื่อการกระจายข้อต่อเท่ากับที่เราได้เห็นข้างต้น มันเป็นค่าคงที่เนื่องจากหลังจาก 'รวมตัวกัน' พารามิเตอร์จะขึ้นอยู่กับเงื่อนไขคงที่เท่านั้น $p(X,\theta)$ $likelihood \times prior$

ดังนั้นเราจึงสามารถกำหนดใหม่ Bayes ทฤษฎีบทเป็น

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ ด้วย $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

และมาถึงรูปแบบปกติของทฤษฎีบทของเบย์

การประยุกต์ใช้กับปัญหามือ

ตอนนี้เราพร้อมที่จะเชื่อมต่อสิ่งที่เรารู้ตั้งแต่ความในกรณีของคำถามที่มีรูปแบบ $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

โดยที่ ,และตำแหน่งรวบรวมคำคงที่จากความน่าจะเป็นทวินามและเบต้า ก่อน. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

ตอนนี้เราสามารถใช้คำตอบที่ได้รับจาก @ Björnเพื่อค้นหาว่าสิ่งนี้รวมกับฟังก์ชั่นเบต้า คูณด้วยชุดคำศัพท์คงที่ดังนั้น $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

โปรดทราบว่าคำใด ๆ ที่คงที่ในการแจกแจงแบบร่วมจะเป็นการยกเลิกเนื่องจากจะปรากฏในผู้เสนอชื่อและส่วนในเวลาเดียวกัน (เทียบกับคำตอบที่ @jtobin) ทำให้เราไม่ต้องกังวล

ดังนั้นเราจึงทราบว่าการแจกแจงหลังเป็นจริงการกระจายเบต้าซึ่งเราสามารถอัปเดตพารามิเตอร์ก่อนหน้านี้ และเพื่อมาถึงหลัง นี่คือเหตุผลที่เบต้ากระจายก่อนที่จะเรียกว่าคอนจูเกตก่อน $a' = a+y$ $b' = b+n-y$

— GWR
แหล่งที่มา

เหตุผลนี้คล้ายกับ jtobin รุ่นนัย เราจะดูเฉพาะบางส่วนของช่วงเวลาที่น่าจะเป็นก่อนที่มีพารามิเตอร์และรวบรวมทุกอย่างอื่นในค่าคงที่การทำให้เป็นมาตรฐาน ดังนั้นเรามองไปที่การรวมเป็นขั้นตอนสุดท้ายซึ่งถูกต้องตามกฎหมายเพราะค่าคงที่ยกเลิกเป็น jtobin ได้แสดงในรุ่นที่ชัดเจนของเขา

— gwr