การสร้างแบบจำลองแบบเบย์โดยใช้ตัวแปรหลายตัวแปรร่วมกับ covariate

สมมติว่าคุณมีตัวแปรอธิบายโดยที่แทนพิกัดที่กำหนด คุณยังมีตัวแปรตอบสนองขวา) ตอนนี้เราสามารถรวมตัวแปรทั้งสองเป็น: ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ $s$ ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

ในกรณีนี้เราเลือก $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ และ $T$ เป็นเมทริกซ์ความแปรปรวนร่วมที่อธิบาย ความสัมพันธ์ระหว่าง $X$ และY $Y$ สิ่งนี้อธิบายค่า $X$ และ $Y$ ที่ $s$ เท่านั้น เนื่องจากเรามีคะแนนเพิ่มเติมจากที่ตั้งอื่นสำหรับ $X$ และ $Y$ เราจึงสามารถอธิบายค่าเพิ่มเติมของ ${\bf{W}}(s)$ ด้วยวิธีต่อไปนี้:

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

คุณจะสังเกตเห็นว่าเราได้จัดเรียงองค์ประกอบของ $\bf{X}$ และ $\bf{Y}$ เพื่อให้ได้ $X(s_i)$ ในคอลัมน์และหลังจากนั้นเชื่อมต่อ $Y(s_i)$ เข้าด้วยกัน แต่ละองค์ประกอบ $H(\phi)_{ij}$ เป็นฟังก์ชันที่สัมพันธ์กัน $\rho(s_i, s_j)$ และ $T$ อยู่ด้านบน เหตุผลที่เรามีความแปรปรวนร่วม $T\otimes H(\phi)$ เป็นเพราะเราคิดว่ามันเป็นไปได้ที่จะแยกเมทริกซ์ความแปรปรวนเป็น $C(s, s')=\rho(s, s') T$ T

คำถามที่ 1: เมื่อฉันคำนวณเงื่อนไข ${\bf{Y}}\mid{\bf{X}}$ สิ่งที่ฉันกำลังทำจริง ๆ คือสร้างชุดของค่าของ $\bf{Y}$ ตาม $\bf{X}$ ถูกต้องไหม ฉันมี $\bf{Y}$ ดังนั้นฉันจะให้ความสนใจมากขึ้นในการทำนายจุดใหม่ $y(s_{0})$ {0}) ในกรณีนี้ฉันควรกำหนดเมทริกซ์ $H^{*}(\phi)$ เป็น

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

ที่ $\boldsymbol{h}(\phi)$ เป็นเวกเตอร์ $\rho(s_{0} - s_{j};\phi)$ พี) ดังนั้นเราสามารถสร้างเวกเตอร์ (โดยไม่มีการจัดเรียงใหม่):

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

และตอนนี้ฉันเพิ่งจัดเรียงใหม่เพื่อรับการกระจายแบบร่วมและรับตามเงื่อนไข $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

ถูกต้องหรือไม่

คำถามที่ 2: สำหรับการทำนายกระดาษที่ฉันกำลังอ่านระบุว่าฉันต้องใช้การแจกแจงแบบมีเงื่อนไขนี้และได้รับหลัง การกระจายแต่ฉันไม่แน่ใจว่าจะได้รับการแจกแจงหลังสำหรับพารามิเตอร์ บางทีฉันอาจใช้การกระจายที่ฉันคิดว่า เหมือนกับจากนั้นก็ใช้ทฤษฎีบทของเบย์เพื่อรับ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

คำถามที่ 3: ในตอนท้ายของบทย่อยผู้เขียนพูดว่า:

การทำนายเราไม่ได้มี(s_0) สิ่งนี้ไม่ได้สร้างปัญหาใหม่ใด ๆ เนื่องจากอาจถือว่าเป็นตัวแปรแฝงและรวมอยู่ในซึ่งจะส่งผลให้เกิดการดึงเพิ่มเติมภายในการทำซ้ำแต่ละครั้งของกิ๊บส์และเป็นการเพิ่มเข้าไปเล็กน้อยในงานคำนวณ ${\bf{X}}(s_0)$ $\bf{x}'$

ย่อหน้านั้นหมายถึงอะไร

อย่างไรก็ตามขั้นตอนนี้สามารถพบได้ในบทความนี้ (หน้า 8) แต่อย่างที่คุณเห็นฉันต้องการรายละเอียดเพิ่มเติมเล็กน้อย

ขอบคุณ!

— โรเบิร์ตสมิ ธ
แหล่งที่มา

โหวตในการโยกย้ายต่อคำขอของ OP

ฉันจะบอกว่าถูกต้องทั้งคำตอบของคุณสำหรับคำถามที่ 1 และ 2 คำถามที่ 3 หมายความว่าไม่ได้ตรวจสอบนั้นถือเป็นพารามิเตอร์เพิ่มเติมที่ด้านบนของโดยใช้เงื่อนไขแบบเต็มขณะที่ก่อนหน้านี้เกี่ยวกับ(s_0)

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— ซีอาน

คำถามที่ 1:จากรูปแบบความน่าจะเป็นแบบร่วมของคุณ การกระจายตามเงื่อนไขของได้รับเป็นปกติด้วยค่าเฉลี่ย และเมทริกซ์ความแปรปรวนร่วม -

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (สูตรเหล่านั้นจะถูกคัดลอกคำต่อคำจากหน้า Wikipedia บนบรรทัดฐานหลายตัวแปร )เช่นเดียวกันกับตั้งแต่เป็นเวกเตอร์ปกติอีกตัวหนึ่ง

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

คำถามที่ 2:การทำนายถูกกำหนดเป็น คือโดยการรวมพารามิเตอร์โดยใช้การแจกแจงด้านหลังของ posteriors เหล่านั้นได้รับข้อมูลปัจจุบัน(s_0)) ดังนั้นจึงมีคำตอบเต็ม ๆ อีกเล็กน้อย เห็นได้ชัดว่าถ้าคุณต้องการจำลองจากการทำนายความคิดในการจำลองจากและจากใช้ได้ $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

คำถามที่ 3:ในกรณีที่จะไม่ได้สังเกตคู่สามารถทำนายได้จากที่อื่นทำนาย $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

เมื่อทำการจำลองจากการทำนายนี้เนื่องจากไม่มีอยู่ในรูปแบบที่จัดการได้ตัวอย่าง Gibbsสามารถเรียกใช้ที่จำลองซ้ำ ๆ

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

หรือรวมขั้นตอนที่ 4 และ 5 เข้าด้วยกันในขั้นตอนเดียว

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— ซีอาน
แหล่งที่มา