การเปรียบเทียบระหว่างตัวประมาณ Bayes

พิจารณาการสูญเสียกำลังสองด้วยก่อนรับที่2) ปล่อยให้ โอกาส ค้นหาประมาณเบส์\ $L(\theta,\delta)=(\theta-\delta)^2$ $\pi(\theta)$ $\pi(\theta)\sim U(0,1/2)$ $f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0$ $\delta^\pi$

พิจารณาการสูญเสียกำลังสองน้ำหนัก โดยที่ กับก่อน theta) ปล่อยให้เป็นโอกาส ค้นหาประมาณเบส์\ $L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2$ $w(\theta)=\mathbb{I}_{(-\infty,1/2)}$ $\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)$ $f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0$ $\delta^\pi_1$

เปรียบเทียบและ $\delta^\pi$ $\delta^\pi_1$

ครั้งแรกที่ฉันสังเกตเห็นว่าและฉันคิดว่านั่นเป็นโอกาสที่มิฉะนั้นฉันจะไม่ได้รับหลังแล้ว ดังนั้นตัวประมาณค่า Bayes ที่เกี่ยวกับการสูญเสียกำลังสองคือ $f(x|\theta)\sim Beta(\theta,1)$

π (θ | x) \propto f (x | θ) π (θ) = θ x^{θ - 1} I_{[0, 1]} * 2 I_{(0, 1 / 2)} (θ) \sim B e t a (θ, 1)

$\pi(\theta|x)\propto f(x|\theta)\pi(\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}*2\mathbb{I}_{(0,1/2)}(\theta)\sim Beta(\theta,1)$

E [π (θ | x)] = \frac{θ}{θ + 1}

$\mathbb{E}[\pi(\theta|x)]=\frac{\theta}{\theta+1}$

ฉันกำลังดูในหนังสือThe Bayesian Choiceและมีทฤษฎีบทเกี่ยวกับตัวประมาณค่า Bayes ที่เกี่ยวข้องกับการสูญเสียกำลังสองและมันถูกกำหนดโดย

δ^{π} (x) = \frac{E^{π} [w (θ) θ | x]}{E^{π} [w (θ) | x]}

$\delta^\pi(x)=\frac{\mathbb{E}^\pi[w(\theta)\theta|x]}{\mathbb{E}^\pi[w(\theta)|x]}$

บางคนสามารถอธิบายให้ฉันคำนวณได้อย่างไร

สิ่งที่ฉันพยายามคือ:

δ^{π} (x) = \frac{\frac{\int θ w (θ) f (x | θ) π (θ) d θ}{\int w (θ) f (x | θ) π (θ) d θ}}{\frac{\int f (x | θ) π (θ) d θ}{\int w (θ) f (x θ) π (θ) d θ}}

$\delta^\pi(x)=\frac{\frac{\int \theta w(\theta)f(x|\theta)\pi(\theta)d\theta}{\int w(\theta)f(x|\theta)\pi(\theta)d\theta}}{\frac{\int f(x|\theta)\pi(\theta)d\theta}{\int w(\theta)f(x\theta)\pi(\theta)d\theta}}$

ฉันรู้ว่าการสนับสนุนคือแต่เมื่อฉันพยายามรวมเข้ากับตัวเศษ $[0,\frac{1}{2}]$

\int θ w (θ) f (x | θ) π (θ) d θ = \int_{0}^{\frac{1}{2}} θ θ x^{θ - 1} d θ = \frac{1}{x} \int_{0}^{\frac{1}{2}} θ^{2} x^{θ} d θ

$\int \theta w(\theta)f(x|\theta)\pi(\theta)d\theta=\int_0^\frac{1}{2}\theta\theta x^{\theta-1}d\theta=\frac{1}{x}\int_0^\frac{1}{2}\theta^2 x^\theta d\theta$

ฉันไม่ได้ผลลัพธ์ที่ดี

— ซีอาน
แหล่งที่มา

ไม่ได้เป็นไม่ติดลบที่นี่?

w (θ)

$w(\theta)$

— Juho Kokkala

ฉันไม่เข้าใจคำพูดของคุณเกี่ยวกับ "เพียงแค่สำหรับไม่ใช่เชิงลบ" เพราะ (1) ฟังก์ชั่นการสูญเสียจะไม่กลายเป็นลบและ (2) ฟังก์ชั่นการสูญเสียของคุณไม่สามารถลบได้

w (θ)

$w(\theta)$

— whuber

@whuber Gosh ตอนนี้ฉันรู้สำนวนของฉันแล้วฉันกำลังมองหาตัวบ่งชี้ที่สนับสนุน

คำตอบ:

ครั้งแรกที่ทราบว่าผมได้รับการแก้ไขถ้อยคำเดิมของคำถาม WRT ฟังก์ชั่นตัวชี้วัดในคำจำกัดความของความน่าจะเป็นของคุณที่พวกเขาจะต้องมีฟังก์ชั่นของไม่\ดังนั้นความน่าจะเป็นคือที่รวมเข้ากับหนึ่ง: $x$ $\theta$

f (x) = θ x^{θ - 1} I_{[0, 1]} (x)

$f(x)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x)$

\int_{0}^{1} θ x^{θ - 1} d x = 1

$\int_0^1 \theta x^{\theta-1}\text{d}x = 1$

ประการที่สองด้านหลังในไม่ใช่ฟังก์ชันเบต้าเนื่องจากระบุโดยGreenparker เนื่องจากข้อ จำกัด บนค่าของไม่ใช่การแจกแจงแบบแกมมา แต่เป็นการตัดปลายการแจกแจงแบบแกมม่า $\theta$

π (θ | x) \propto I_{[0, 1 / 2]} (θ) θ x^{θ - 1} \propto I_{[0, 1 / 2]} (θ) θ \exp {\log (x) θ}

$\pi(\theta|x)\propto\, \mathbb{I}_{[0,1/2]}(\theta)\theta x^{\theta-1}\propto \mathbb{I}_{[0,1/2]}(\theta)\,\theta \exp\{\log(x)\theta\}$

θ

$\theta$

ดังนั้นตัวประมาณเบย์คือความคาดหวังหลัง ที่อาจต้องใช้ฟังก์ชันแกมมาที่ไม่สมบูรณ์แต่สามารถรับได้ในรูปแบบปิดโดยการรวมโดยส่วนหนึ่ง: ตั้งแต่

\begin{aligned} E [θ | x] & = \int_{0}^{1 / 2} θ \times θ \exp {\log (x) θ} d θ / \int_{0}^{1 / 2} θ \exp {\log (x) θ} d θ \\ = \int_{0}^{1 / 2} θ^{2} \exp {\log (x) θ} d θ / \int_{0}^{1 / 2} θ \exp {\log (x) θ} d θ \end{aligned}

$\begin{align*}\mathbb{E}[\theta|x] &= \int_0^{1/2} \theta\times\theta \exp\{\log(x)\theta\}\text{d}\theta \Big/ \int_0^{1/2} \theta \exp\{\log(x)\theta\}\text{d}\theta\\&= \int_0^{1/2} \theta^2 \exp\{\log(x)\theta\}\text{d}\theta \Big/ \int_0^{1/2} \theta \exp\{\log(x)\theta\}\text{d}\theta\\\end{align*}$

\int_{0}^{1 / 2} θ^{k} \exp {- α θ} d θ = \frac{- 1}{α} {[θ^{k} \exp {- α θ}]}_{0}^{1 / 2} + \frac{k}{α} \int_{0}^{1 / 2} θ^{k - 1} \exp {- α θ} d θ

$\int_0^{1/2} \theta^k \exp\{-\alpha\theta\}\text{d}\theta = \frac{-1}{\alpha}\left[\theta^k \exp\{-\alpha\theta\}\right]_0^{1/2} + \frac{k}{\alpha}\int_0^{1/2} \theta^{k-1} \exp\{-\alpha\theta\}\text{d}\theta$

\int_{0}^{1 / 2} \exp {- α θ} d θ = \frac{1 - \exp {- α / 2}}{α}

$\int_0^{1/2} \exp\{-\alpha\theta\}\text{d}\theta = \frac{1-\exp\{-\alpha/2\}}{\alpha}$

สุดท้ายตามที่ระบุในหนังสือของฉันจริง ๆ การย่อใน เทียบเท่ากับการย่อขนาดซึ่งเทียบเท่ากับการย่อในซึ่งมีจำนวนการแทนที่เดิมก่อนหน้าด้วยใหม่ก่อนหน้าที่จะต้องมีการเปลี่ยนความหนาแน่นให้เป็นปกตินั่นคือ $\delta$

\int w (θ) (θ - δ)^{2} π (θ | x) d θ

$\int w(\theta)(\theta-\delta)^2 \pi(\theta|x) \text{d}\theta$

δ

$\delta$

\int w (θ) (θ - δ)^{2} π (θ) f (x | θ) d θ

$\int w(\theta)(\theta-\delta)^2 \pi(\theta)f(x|\theta) \text{d}\theta$

δ

$\delta$

\int (θ - δ)^{2} w (θ) π (θ) f (x | θ) d θ

$\int (\theta-\delta)^2 w(\theta)\pi(\theta)f(x|\theta) \text{d}\theta$

π

$\pi$

w (θ) π (θ)

$w(\theta)\pi(\theta)$

π_{1} (θ) = w (θ) π (θ) / \int w (θ) π (θ) d θ

$\pi_1(\theta)=w(\theta)\pi(\theta) \Big/\int w(\theta)\pi(\theta)\text{d}\theta$

— ซีอาน
แหล่งที่มา

คำตอบของคุณสำหรับส่วนการสูญเสียข้อผิดพลาดกำลังสองนั้นผิด

π (θ | x) \propto f (x | θ) π (θ) = 2 θ x^{θ - 1} I_{(0, 1 / 2)} (θ) .

$\pi(\theta|x) \propto f(x|\theta) \pi(\theta) = 2\theta x^{\theta-1}I_{(0,1/2)}(\theta).$

นี่คือการจัดจำหน่ายใน , ไม่ได้ในและตัวแปรสุ่มหลังเป็น\ดังนั้นคำตอบของคุณไม่ถูกต้องและคำตอบที่ถูกต้องคือค่าเฉลี่ยด้านหลังของการแจกแจงนั้น $Beta(\theta,1)$ $x$ $\theta$ $\theta$

สำหรับส่วนที่สอง

(ฟังก์ชั่นลดน้ำหนักก่อนหน้านี้คือแต่คุณอ้างถึงมันเป็นฉันกำลังเปลี่ยนสัญกรณ์กลับไปที่ ) $\pi_1$ $\pi$ $\pi_1$

ให้โดยที่คือค่าคงที่ normalizing คุณจำเป็นต้องคำนวณ $\pi'(\theta) = cw(\theta) \pi_1(\theta)$ $c$

\begin{aligned} δ^{π_{1}} (x) & = \frac{E^{π_{1}} [w (θ) θ | x]}{E^{π_{1}} [w (θ | x)]} \\ = \frac{\int w (θ) θ f (x | θ) π_{1} (θ) d θ}{\int w (θ) f (x | θ) π_{1} (θ) d θ} \\ = \frac{\int θ f (x | θ) π^{'} (θ) d θ}{\int f (x | θ) π^{'} (θ) d θ} \\ = E^{π^{'}} [θ | x] \end{aligned}

$\begin{align*} \delta^{\pi_1}(x) & = \dfrac{E^{\pi_1}[w(\theta) \theta |x ]}{E^{\pi_1}[w(\theta|x)]}\\ & = \dfrac{\int w(\theta) \theta f(x|\theta) \pi_1(\theta)\, d\theta}{\int w(\theta) f(x|\theta)\pi_1(\theta)\, d\theta}\\ & = \dfrac{\int \theta f(x|\theta) \pi'(\theta) \,d\theta}{\int f(x|\theta) \pi'(\theta) \, d\theta}\\ & = E^{\pi'}[\theta|x] \end{align*}$

ดังนั้นสำหรับฟังก์ชั่นการสูญเสียกำลังสองน้อยที่สุดยกน้ำหนักทฤษฎีบทบอกว่าการประมาณค่าของเบย์เป็นค่าเฉลี่ยหลังเทียบกับค่าที่แตกต่างกันก่อนหน้า ก่อนหน้านี้เป็น

π^{'} (θ) \propto w (θ) π_{1} (θ) .

$\pi'(\theta) \propto w(\theta) \pi_1(\theta).$

คง normalizing เป็นtheta)] $\int_{\theta} w(\theta) \pi(\theta) d\theta = E_{\pi_1}[w(\theta)]$

\begin{aligned} E_{π_{1}} [w (θ)] & = \int_{0}^{1 / 2} I_{0, 1} (θ) d (θ) = \frac{1}{2} . \end{aligned}

$\begin{align*} E_{\pi_1}[w(\theta)] & = \int_{0}^{1/2} I_{0,1}(\theta) d(\theta) = \frac{1}{2}. \end{align*}$

ดังนั้นก่อนที่จะเป็นtheta) นี่คือสิ่งเดียวกันก่อนที่คุณมีในคำถามแรก $\pi'(\theta) = 2I_{(0,1/2)}(\theta)$

ดังนั้นคำตอบสำหรับสถานการณ์ (ไม่ว่าจะเป็นอะไร) จะเหมือนกัน คุณสามารถค้นหาการหนึ่งที่นี่ แม้ว่ามันอาจจะเพียงพอที่จะทำให้ถูกต้องในรูปแบบของคำตอบและไม่สมบูรณ์ครบถ้วน

— Greenparker
แหล่งที่มา