ทำความเข้าใจเกี่ยวกับการทำนายแบบเบย์

9

ฉันกำลังเรียนหลักสูตร Intro to Bayes และฉันมีความยากลำบากในการเข้าใจการกระจายการทำนาย ฉันเข้าใจว่าทำไมพวกเขาถึงมีประโยชน์และฉันคุ้นเคยกับคำจำกัดความ แต่มีบางสิ่งที่ฉันไม่ค่อยเข้าใจ

1) วิธีรับการแจกแจงการทำนายที่ถูกต้องสำหรับเวกเตอร์ของการสังเกตใหม่

สมมติว่าเราได้สร้างแบบจำลองตัวอย่าง $p(y_i | \theta)$ สำหรับข้อมูลและก่อน $p(\theta)$ . สมมติว่าข้อสังเกต $y_i$ มีความเป็นอิสระตามเงื่อนไข $\theta$ .

เราสังเกตข้อมูลบางอย่างแล้ว $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ และเราอัปเดตก่อนหน้าของเรา $p(\theta)$ เพื่อหลัง $p(\theta | \mathcal{D})$ .

หากเราต้องการทำนายเวกเตอร์ของการสังเกตใหม่ $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$ ฉันคิดว่าเราควรพยายามทำนายการใช้สูตรนี้

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ ซึ่งไม่เท่ากับ

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ ดังนั้นการสังเกตการณ์ที่คาดการณ์ไว้จะไม่เป็นอิสระใช่มั้ย

บอกว่า $\theta | \mathcal{D} \sim$ เบต้า ( $a,b$ ) และ $p(y_i | \theta) \sim$ ทวินาม ( $n, \theta$ ) สำหรับการแก้ไข $n$ . ในกรณีนี้ถ้าฉันต้องการจำลองใหม่ 6 $\tilde{y}$ ถ้าฉันเข้าใจสิ่งนี้ถูกต้องมันคงผิดที่จะจำลอง 6 การจับฉลากเป็นอิสระจากการแจกแจงแบบเบต้า - ทวินาม ถูกต้องหรือไม่ ฉันไม่รู้ว่าจะตีความได้อย่างไรว่าข้อสังเกตนั้นไม่ได้เกิดขึ้นอย่างอิสระและฉันไม่แน่ใจว่าฉันเข้าใจสิ่งนี้อย่างถูกต้อง

จำลองจากคำทำนายหลัง

หลายครั้งเมื่อเราจำลองข้อมูลจากตัวทำนายหลังเราทำตามรูปแบบนี้:

สำหรับ $b$ จาก 1 ถึง $B$ :

1) ตัวอย่าง $\theta^{(b)}$ จาก $p(\theta | \mathcal{D})$ .

2) จากนั้นจำลองข้อมูลใหม่ $\mathcal{N}^{(b)}$ จาก $p(\mathcal{N} | \theta^{(b)})$ .

ฉันไม่ค่อยรู้วิธีพิสูจน์โครงร่างนี้ทำงานแม้ว่าจะดูเป็นธรรมชาติ นอกจากนี้ยังมีชื่อหรือไม่ ฉันพยายามค้นหาข้ออ้างและลองใช้ชื่ออื่น แต่ฉันไม่มีโชค

ขอบคุณ!

bayesian prediction

— Fred L.
แหล่งที่มา

ฉันถามคำถามที่คล้ายกันที่stats.stackexchange.com/questions/72570/แต่ดูเหมือนว่าคุณจะได้รับคะแนนโหวตเพิ่มขึ้นจนถึงตอนนี้

— จอห์น

4

สมมติว่า $X_1,\dots,X_n,X_{n+1}$ เป็นอิสระตามเงื่อนไขที่ระบุว่า $\Theta=\theta$ . จากนั้น

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$ ซึ่งความเท่าเทียมกันครั้งแรกตามมาจากกฎความน่าจะเป็นทั้งหมดข้อที่สองตามจากกฎผลิตภัณฑ์และส่วนที่สามจากความเป็นอิสระตามเงื่อนไขที่สันนิษฐาน: กำหนดมูลค่าของ

Θ

$\Theta$ เราไม่ต้องการค่าของ

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$ เพื่อตรวจสอบการกระจายของ

X_{n + 1}

$X_{n+1}$ .

รูปแบบการจำลองนั้นถูกต้อง: สำหรับ $i=1,\dots,N$ วาด $\theta^{(i)}$ จากการกระจายของ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ แล้ววาด $x_{n+1}^{(i)}$ จากการกระจายของ $X_{n+1}\mid\Theta=\theta^{(i)}$ . นี่เป็นตัวอย่างให้คุณ $\{x_{n+1}^{(i)}\}_{i=1}^N$ จากการกระจายของ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$ .

— เซน
แหล่งที่มา

จะเป็นอย่างไรถ้าคุณได้รับการคาดการณ์ด้านหลังหลายช่วงเวลา? ฉันได้ใช้

θ^{(i)}

$\theta^{\left(i\right)}$ แต่ละ

x_{n + j}

$x_{n+j}$ แต่ฉันเห็นได้ว่าทำไมการวาดทีต้าใหม่

— John

2

ฉันจะพยายามไปตามสัญชาตญาณที่อยู่เบื้องหลังการสร้างการกระจายการทำนายหลังทีละขั้นตอน

ปล่อย $y$ เป็นเวกเตอร์ของข้อมูลที่สังเกตได้ซึ่งมาจากการแจกแจงความน่าจะเป็น $p(y|\theta)$ และปล่อยให้ $\tilde y$ เป็นเวกเตอร์ของค่านิยมในอนาคต (หรือตัวอย่างหมด) ที่เราต้องการทำนาย เราคิดว่า $\tilde y$ มาจากการกระจายตัวเช่นเดียวกับ $y$ . อาจเป็นการดึงดูดให้ใช้การประมาณการที่ดีที่สุดของเรา $\theta$ --- เช่นการประเมิน MLE หรือ MAP --- เพื่อรับข้อมูลเกี่ยวกับการแจกจ่ายนี้ อย่างไรก็ตามการทำเช่นนั้นย่อมเพิกเฉยต่อความไม่แน่นอนของเราเกี่ยวกับ $\theta$ . ดังนั้นวิธีการที่เหมาะสมในการดำเนินการคือการเฉลี่ยมากกว่าการกระจายหลัง $\theta$ คือ $p(\theta|y)$ . แจ้งให้ทราบด้วยว่า $\tilde y$ เป็นอิสระจาก $y$ รับ $\theta$ เนื่องจากถือว่าเป็นตัวอย่างอิสระที่ดึงมาจากการแจกแจงแบบเดียวกันกับ $y$ . ดังนั้น,

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

การกระจายการทำนายหลังของ $\tilde y$ ดังนั้น

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

ที่ไหน $\Theta$ คือการสนับสนุนจาก $\theta$ .

ตอนนี้เราจะได้ตัวอย่างจาก $p(\tilde y|y)$ ? บางครั้งวิธีที่คุณอธิบายบางครั้งเรียกว่าวิธีการจัดองค์ประกอบซึ่งทำงานดังนี้:

สำหรับ s = 1,2, ... , S ทำ

วาด $\theta^{(s)}$ จาก $p(\theta|y)$

วาด $\tilde y^{(s)}$ จาก $p(\tilde y|\theta^{(s)})$

ในสถานการณ์ส่วนใหญ่เราได้รับความสนใจ $p(\theta|y)$ เพื่อให้มีเพียงขั้นตอนที่สองเท่านั้น

เหตุผลที่ทำให้งานนี้ค่อนข้างง่าย: โปรดทราบก่อนว่า $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ . ดังนั้นการสุ่มตัวอย่างพารามิเตอร์เวกเตอร์ $\theta^{(s)}$ จาก $p(\theta|y)$ และจากนั้นใช้เวกเตอร์นี้เพื่อสุ่มตัวอย่าง $\tilde y^{(s)}$ จาก $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ ผลผลิตตัวอย่างจากการกระจายข้อต่อ $p(\tilde y, \theta|y)$ . มันตามมาว่าค่าตัวอย่าง $\tilde y^{(s)}, s=1,2,...,S$ เป็นตัวอย่างจากการกระจายส่วนต่าง $p(\tilde y|y)$ .

— baruuum
แหล่งที่มา

1

เพื่อตอบคำถามแรกของคุณ: ใช่การสังเกตนั้นไม่เป็นอิสระหากคุณไม่ทราบคุณค่าของ $\theta$ . บอกเด็ก ๆ ว่าคุณสังเกตเห็นว่า $\tilde{y}_1$ มีค่าค่อนข้างสูง มันอาจเป็นข้อบ่งชี้ว่าค่าที่ไม่รู้จักของ $\theta$ ตัวเองนั้นสุดขีดและดังนั้นคุณควรคาดหวังว่าการสังเกตอื่น ๆ จะสุดขั้วเช่นกัน

— hr0nix
แหล่งที่มา