ทุกคนสามารถอธิบายคำพ้องกันในรูปแบบที่ง่ายที่สุดได้ไหม?

23

ฉันพยายามทำความเข้าใจความคิดของนักบวชในสถิติ Bayesian มาระยะหนึ่งแล้ว แต่ฉันก็ไม่เข้าใจ ทุกคนสามารถอธิบายแนวคิดดังกล่าวด้วยคำศัพท์ที่ง่ายที่สุดที่เป็นไปได้หรืออาจใช้ตัวอย่าง "เสียนมาก่อน" เป็นตัวอย่าง?

bayesian conditional-probability conjugate-prior

— Jenna Maiz
แหล่งที่มา

23

ก่อนหน้าสำหรับพารามิเตอร์มักจะมีรูปแบบการทำงานเฉพาะบางอย่าง (เขียนในแง่ของความหนาแน่นโดยทั่วไป) สมมติว่าเรา จำกัด ตัวเองไว้เฉพาะครอบครัวหนึ่งแห่งการแจกแจงซึ่งในกรณีนี้การเลือกของเราก่อนลดการเลือกพารามิเตอร์ของตระกูลนั้น

ตัวอย่างเช่นพิจารณารูปแบบปกติ )เพื่อความง่ายเราลองใช้ $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ $\sigma^2$ ตามที่รู้จักกัน ส่วนนี้ของโมเดล - โมเดลสำหรับข้อมูล - กำหนดฟังก์ชันความน่าจะเป็น

เพื่อให้แบบจำลอง Bayesian ของเราสมบูรณ์เราจำเป็นต้องมีก่อน $\mu$ μ

ตามที่กล่าวไว้ข้างต้นโดยทั่วไปเราอาจระบุตระกูลการแจกจ่ายบางอย่างสำหรับก่อนหน้าของเรา $\mu$ แล้วเราจะต้องเลือกพารามิเตอร์ของการแจกแจงนั้น (ตัวอย่างเช่นบ่อยครั้งที่ข้อมูลก่อนหน้านี้อาจจะค่อนข้างคลุมเครือ - เหมือนกับที่เราต้องการ มากกว่ารูปแบบการใช้งานที่เฉพาะเจาะจงมากและเราอาจมีอิสระมากพอที่จะสร้างแบบจำลองสิ่งที่เราต้องการโดยการเลือกพารามิเตอร์ - พูดเพื่อให้ตรงกับค่าเฉลี่ยและความแปรปรวนก่อนหน้า)

หากปรากฎว่าหลังสำหรับนั้นมาจากที่เดียวกัน $\mu$ ตระกูลกับก่อนหน้านั้นก็จะถูกเรียกว่า "conjugate"

(สิ่งที่ทำให้กลายเป็นคอนจูเกตคือวิธีที่ผสมผสานกับความเป็นไปได้)

ดังนั้นในกรณีนี้เราจะเอา Gaussian มาก่อนสำหรับ (พูด ) ถ้าเราทำอย่างนั้นเราจะเห็นว่าด้านหลังของนั้นก็คือเกาส์ด้วย ดังนั้นแบบเกาส์เซียนก่อนเป็นคอนจูเกตก่อนหน้าสำหรับโมเดลของเราด้านบน $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$

นั่นคือทั้งหมดที่มีให้มันจริงๆ - ถ้าหลังมาจากครอบครัวเดียวกันกับก่อนหน้านี้มันเป็นคอนจูเกตก่อน

ในกรณีง่าย ๆ คุณสามารถระบุคอนจูเกตก่อนโดยตรวจสอบความน่าจะเป็น ตัวอย่างเช่นพิจารณาความเป็นไปได้ของทวินาม ปล่อยค่าคงที่, มันดูเหมือนความหนาแน่นเบต้าใน ; และเนื่องจากวิธีการที่อำนาจของและรวมกันมันจะคูณด้วยเบต้าก่อนที่จะให้ผลคูณของพลังของและ ... เพื่อให้เราเห็นได้ทันทีจากโอกาสที่ เบต้าจะเป็นคอนจูเกตก่อนสำหรับในโอกาสที่เป็นทวินาม $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

ในกรณีเกาส์เซียนมันง่ายที่สุดที่จะเห็นว่ามันจะเกิดขึ้นโดยพิจารณาจากความหนาแน่นของล็อกและความน่าจะเป็นของล็อก บันทึกความน่าจะเป็นกำลังสองในและผลรวมของสองกำลังสองคือสมการกำลังสองดังนั้นการบันทึกกำลังสอง - ก่อน + กำลังสองบันทึก - โอกาส - ให้กำลังสองด้านหลัง $\mu$

— Glen_b -Reinstate Monica
แหล่งที่มา

9

หากแบบจำลองของคุณเป็นของตระกูลเอกซ์โพเนนเชียลนั่นคือถ้าความหนาแน่นของการแจกแจงอยู่ในรูปแบบ

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$ ด้วยความเคารพไปยังวัดที่มีอำนาจเหนือได้รับ(เกอนับและ TC.) ที่

t \cdot s

$t\cdot s$ หมายถึงเกลาสินค้ามากกว่า

R^{d}

$\mathbb{R}^d$ และ

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$ มีฟังก์ชั่นที่วัดได้ที่ไพรเออร์ผันใน

θ

$\theta$ จะถูกกำหนดโดยความหนาแน่นของฟอร์ม

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$ [ด้วยความเคารพต่อมาตรการควบคุมที่เลือกโดยพลการ

d ν

$\text{d}\nu$ on

Θ

$\Theta$ ] กับ

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$ and

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$ ,

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

ตัวเลือกของมาตรการที่มีอิทธิพลเหนือนั้นเป็นตัวกำหนดสำหรับครอบครัวของนักบวช หากตัวอย่างหนึ่งเผชิญกับค่าเฉลี่ยปกติบน $\mu$ ตามคำตอบของ Glen_b การเลือกวัด Lebesgue $\text{d}\mu$ เป็นมาตรการที่มีอำนาจเหนือกว่า ถ้ามีคนเลือก $(1+\mu^2)^{-2}\text{d}\mu$ ในฐานะที่เป็นวัดที่มีอำนาจเหนือกว่านักบวชที่อยู่ในตระกูลของการแจกแจงที่มีความหนาแน่น

\exp {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in R

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ ด้วยความเคารพต่อมาตรการที่มีอิทธิพลเหนือนี้และจึงไม่ได้เป็นนักบวชปกติอีกต่อไป ความยากลำบากนี้เป็นหลักเช่นเดียวกับหนึ่งในการเลือกพารามิเตอร์เฉพาะของโอกาสและการเลือกสำหรับการวัด Lebesgue สำหรับพารามิเตอร์นี้ เมื่อเผชิญกับฟังก์ชั่นความน่าจะเป็นไม่มีการสืบทอด (หรือภายในหรือการอ้างอิง) ที่มีอิทธิพลเหนือการวัดในพื้นที่พารามิเตอร์

นอกการตั้งค่าครอบครัวแบบเอ็กซ์โพเนนเชียลไม่มีตระกูลการแจกแจงที่ไม่ใช่เรื่องไร้สาระที่มีการสนับสนุนคงที่ที่ช่วยให้นักบวชร่วมกันได้ นี้เป็นผลมาจากการDarmois-Pitman-คูปแมนแทรก

— ซีอาน
แหล่งที่มา

11

"in simplest possible terms?" Perhaps an explanation that does not assume prior knowledge of measures would be more useful to the OP.

3

alas, I am afraid conjugate priors are meaningless without a measure background (even though this is the best kept secret in the Universe).

— Xi'an

6

In my opinion, "simplest possible terms" is open to interpretation, and an explanation which makes use of advanced math such as measure theory might still be "simple" in some sense, maybe even "simpler" than an explanation which avoids such machinery. In any case, such an explanation might be very enlightening to someone who has the necessary background to understand it, and it is harmless to include an answer like this in a list of various ways to explain a topic. We write answers not just for OP but for all future readers.

— littleO

1

@LBogaardt Your criticism would carry more weight if you could link to one or more questions where you think this answer would be both on topic and at a more suitable level. Please bear in mind that "simple" is not a well-defined term and has differing subjective interpretations. Regardless, it would be invalid to conflate it with "mathematically unsophisticated," as suggested by your comments.

— whuber

2

Xi'an's answer is not useless to me. I learned something.

— littleO

2

I like using the notion of a "kernel" of a distribution. This is where you only leave in the parts that depend on the parameter. A few simple examples.

Normal kernel

p (μ | a, b) = K^{- 1} \times \exp (a μ^{2} + b μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$ Where

K

$K$ is the "normalising constant"

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ The connection with standard mean/variance parameters is

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$ and

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

Beta kernel

p (θ | a, b) = K^{- 1} \times θ^{a} (1 - θ)^{b}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$ Where

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

When we look at the likelihood function, we can do the same thing, and express it in "kernel form". For example with iid data

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = Q \times f (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

For some constant $Q$ and some function $f(\mu)$ . If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = [\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}}] \times \prod_{i = 1}^{n} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2} - 2 x_{i} μ + μ^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2}}{2}) \times \exp (μ \sum_{i = 1}^{n} x_{i} - μ^{2} \frac{n}{2}) = Q \times \exp (a μ^{2} + b μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$ , so a conjugate prior for this likelihood is also the normal distribution.

p (μ | a_{0}, b_{0}) = K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$ The posterior is then

p (μ | D, a_{0}, b_{0}) \propto K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ) \times Q \times \exp (a μ^{2} + b μ) = K_{0}^{- 1} \times Q \times \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ) \propto \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

— probabilityislogic
แหล่งที่มา

1

(+1) I appreciate the pseudo-data intuition!

— Xi'an

1

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— Thomas G.
แหล่งที่มา

How does this explain what a conjugate prior is?

— LBogaardt

ok I'll edit that.

— Thomas G.