วิธีที่ไม่เหมาะสมก่อนนำไปสู่การกระจายหลังที่เหมาะสมได้อย่างไร

เรารู้ว่าในกรณีที่มีการกระจายก่อนที่เหมาะสม

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

) $\propto P(X \mid \theta)P(\theta)$

เหตุผลปกติสำหรับขั้นตอนนี้ก็คือการกระจายตัวของ , นั้นคงที่เมื่อเทียบกับและสามารถถูกละเว้นได้เมื่อได้รับการแจกแจงหลัง $X$ $P(X)$ $\theta$

อย่างไรก็ตามในกรณีที่ไม่เหมาะสมมาก่อนคุณจะรู้ได้อย่างไรว่าการกระจายหลังมีอยู่จริง? ดูเหมือนจะมีบางสิ่งที่ขาดหายไปในข้อโต้แย้งที่เป็นวงกลม กล่าวอีกนัยหนึ่งถ้าฉันคิดว่ามีอยู่หลังฉันเข้าใจกลไกของการได้รับมา แต่ฉันดูเหมือนจะหายไปในทางทฤษฎีเหตุผลว่าทำไมมันถึงมีอยู่

ป.ล. ฉันยังรับรู้ว่ามีบางกรณีที่ก่อนหน้านี้ไม่เหมาะสมนำไปสู่การหลังที่ไม่เหมาะสม

— JSK
แหล่งที่มา

คำตอบ:

โดยทั่วไปเรายอมรับผู้โพสต์จากนักบวชที่ไม่เหมาะสมถ้า $\pi(\theta)$ มีอยู่และเป็นการแจกแจงความน่าจะเป็นที่ถูกต้อง (เช่นมันรวมเข้ากับ 1 มากกว่าการสนับสนุน) หลักนี้เดือดลงไป

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$

มีขอบเขต จำกัด หากเป็นกรณีนี้เราเรียกปริมาณนี้ว่า

และยอมรับว่าเป็นการแจกแจงหลังที่เราต้องการ อย่างไรก็ตามมันเป็นสิ่งสำคัญที่จะต้องทราบว่านี่ไม่ใช่การแจกแจงหลังและไม่เป็นการกระจายความน่าจะเป็นแบบมีเงื่อนไข (คำสองคำนี้มีความหมายเหมือนกันในบริบทที่นี่)

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$

π (θ ∣ X)

$\pi(\theta \mid X)$

ตอนนี้ฉันบอกว่าเรายอมรับการแจกแจง 'หลัง' จากนักบวชที่ไม่เหมาะสมตามที่กล่าวไว้ข้างต้น เหตุผลที่พวกเขาได้รับการยอมรับเป็นเพราะก่อนจะยังคงให้เรา 'คะแนน' ญาติในพื้นที่พารามิเตอร์; นั่นคืออัตราส่วน $\pi(\theta)$ นำความหมายมาสู่การวิเคราะห์ของเรา ความหมายที่เราได้รับจากนักบวชที่ไม่เหมาะสมในบางกรณีอาจไม่สามารถใช้ได้ในนักบวชที่เหมาะสม นี่คือเหตุผลที่เป็นไปได้สำหรับการใช้พวกเขา ดูคำตอบของ Sergio สำหรับการตรวจสอบแรงจูงใจในทางปฏิบัติสำหรับนักบวชที่ไม่เหมาะสมอย่างละเอียดยิ่งขึ้น $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

เป็นที่น่าสังเกตว่าปริมาณนี้มีคุณสมบัติทางทฤษฎีที่ต้องการเช่นกันDegroot & Schervish : $\pi(\theta \mid X)$

ไพรเออร์ที่ไม่เหมาะสมไม่ใช่การแจกแจงความน่าจะเป็นที่แท้จริง แต่ถ้าเราแกล้งว่าพวกมันเป็นเราจะคำนวณการแจกแจงหลังที่ประมาณผู้โปสเตอร์ที่เราจะได้รับจากการใช้คอนจูเกเตอร์คอนจูเกตที่เหมาะสม

ฉันรู้สึกสับสนเล็กน้อยในคำตอบของคุณ คุณบอกว่าเรายอมรับผู้โพสต์ด้านบนหากมีขอบเขต จำกัด นั่นหมายความว่าถ้าอินทิกรัลนั้นไม่ จำกัด ด้านหลังจะไม่แน่นอน? นอกจากนี้คุณดูเหมือนจะบอกเป็นนัยว่าเราใช้คนหลังในกรณีนี้ แต่มันไม่ใช่การกระจายที่แท้จริง - ใช่ไหม? ไม่มีกรณีที่มีการจำหน่ายจริงหรือ นอกจากนี้อัตราส่วนของนักบวชเกี่ยวข้องกับเรื่องนี้อย่างไร? ฉันไม่เห็นการเชื่อมต่อ

— Ben Elizabeth Ward

@BenElizabethWard If

π (θ ∣ X)

$\pi(\theta \mid X)$ มีอยู่แล้วอินทิกรัล

จะต้องมีอยู่ (และจะต้องมี จำกัด ) contrapositive เป็นความจริงเช่นกัน: ถ้า

ไม่อยู่ (เป็นอนันต์) แล้ว

ไม่อยู่ เมื่อมันมีอยู่และเป็นการแจกแจงความน่าจะเป็นที่ถูกต้อง

คือการแจกแจงความน่าจะเป็น อย่างไรก็ตามมันไม่ใช่การแจกแจงแบบหลังสำหรับ

มีความเป็นไปได้ของข้อมูลที่ได้รับ

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

)

ไม่มีโปสเตอร์หลังสำหรับสิ่งนั้นมาก่อน เรายอมรับ

ในการวิเคราะห์ของเราเพราะเป็นการประมาณ

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard อัตราส่วนถูกใช้เพื่อแสดงให้เห็นว่าก่อนหน้านี้ยังมีข้อมูลที่เป็นประโยชน์ที่เราอาจไม่สามารถโหลดลงในที่เหมาะสมก่อน ฉันจะแก้ไขคำตอบเพื่อรวมสิ่งนี้

@jsk

ไม่ใช่การแจกแจงความน่าจะเป็น แต่คำจำกัดความของการแจกแจงหลังนั้นต้องการ

เป็นการกระจายความน่าจะเป็นดังนั้นจึงเป็นการโกงที่จะเรียก

การกระจายหลังเมื่อมันเป็นการแจกแจงความน่าจะเป็น Degroot & Schervish พูดว่า '.. เราจะคำนวณการแจกแจงหลังที่ .. ' โดยที่พวกเขาสมมติว่าคุณตกลงที่จะ 'เสแสร้งว่าพวกเขา [นักบวชที่ไม่เหมาะสม] เป็น [นักบวชที่เหมาะสม] เป็น [นักบวชที่เหมาะสม]' ตามที่แสดงไว้ก่อนหน้านี้

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

เพื่อให้คำตอบสมบูรณ์และอยู่ในตัวเองเพื่อให้ผู้อ่านในอนาคตไม่จำเป็นต้องอ่านผ่านการแลกเปลี่ยนความคิดเห็นนี้คุณต้องการอัปเดตคำตอบของคุณหรือไม่

— jsk

มีคำตอบ "เชิงทฤษฎี" และคำตอบที่ "จริงจัง"

จากมุมมองทางทฤษฎีเมื่อก่อนไม่เหมาะสมคนหลังไม่มีอยู่ (ดูที่คำตอบของแมทธิวสำหรับคำแถลงเสียง) แต่อาจถูกประมาณโดยแบบฟอร์มที่ จำกัด

หากข้อมูลประกอบด้วยตัวอย่าง iid แบบมีเงื่อนไขจากการแจกแจงแบบ Bernoulli พร้อมพารามิเตอร์และมีการแจกแจงแบบเบต้าพร้อมพารามิเตอร์และการแจกแจงหลังของคือการแจกแจงแบบเบต้าด้วยพารามิเตอร์ ( การสังเกตความสำเร็จ ) และค่าเฉลี่ยของมันคือ $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ . ถ้าเราใช้การกระจายที่ไม่เหมาะสม (และไม่จริง) เบต้าก่อนกับ hypeparameters ก่อนและแกล้งทำเป็นว่าเราได้รับหลังที่เหมาะสมได้สัดส่วนกับ , คือ pdf ของการแจกแจงเบต้าพร้อมพารามิเตอร์และ $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ ยกเว้นปัจจัยคงที่ นี่เป็นรูปแบบที่ จำกัด ของส่วนหลังสำหรับเบต้าก่อนหน้าด้วยพารามิเตอร์และ (Degroot & Schervish ตัวอย่าง 7.3.13) $\alpha\to 0$ $\beta\to 0$

$\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

p (θ)

$p(\theta)$

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$

τ_{0}^{2}

$\tau^2_0$

\infty

$\infty$

$p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ $\theta\sim\mathcal{U}(a,b)$ $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

— เซร์คิโอ
แหล่งที่มา

คุณสามารถพูดเพิ่มเติมเกี่ยวกับสาเหตุที่ไม่มีในมุมมองทางทฤษฎีได้หรือไม่?

— jsk

ฉันไม่สามารถอธิบายได้ดีกว่า Matthew ในคำตอบและความคิดเห็นของเขา

— Sergio

p (θ ∣ x)

$p(\theta \mid x)$

p (x ∣ θ)

$p(x\mid \theta)$

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$

x

$x$

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$

y

$y$

x

$x$

ξ (.)

$\xi(.)$

อย่างไรก็ตามในกรณีที่ไม่เหมาะสมมาก่อนคุณจะรู้ได้อย่างไรว่าการกระจายหลังมีอยู่จริง?

หลังอาจไม่เหมาะสมเช่นกัน หากก่อนหน้านี้ไม่เหมาะสมและมีโอกาสที่จะแบน (เพราะไม่มีการสังเกตที่มีความหมาย) จากนั้นผู้หลังเท่ากับก่อนหน้านี้และยังไม่เหมาะสม

โดยปกติแล้วคุณมีข้อสังเกตบางอย่างและความเป็นไปได้ที่จะไม่ราบเรียบดังนั้นคนหลังจึงเหมาะสม

— นีลจี
แหล่งที่มา