ประเมินการกระจายการทำนายหลังในการถดถอยเชิงเส้นแบบเบย์

10

ฉันสับสนเกี่ยวกับวิธีการประเมินการกระจายการทำนายหลังสำหรับการถดถอยเชิงเส้นแบบเบย์ผ่านกรณีพื้นฐานที่อธิบายไว้ที่นี่ในหน้า 3 และคัดลอกด้านล่าง

p (\tilde{y} ∣ y) = \int p (\tilde{y} ∣ β, σ^{2}) p (β, σ^{2} ∣ y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

กรณีพื้นฐานคือตัวแบบการถดถอยเชิงเส้น:

y = X β + ϵ, y \sim N (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

ถ้าเราใช้ทั้งเครื่องแบบก่อนหน้าโดยมีมาตราส่วน-Invก่อนหน้าบนหรือค่าผกผันแกมมาปกติก่อนหน้า (ดูที่นี่ ) การกระจายการทำนายหลังเป็นแบบวิเคราะห์และเป็นนักเรียน t $\beta$ $\chi^2$ $\sigma^2$

แล้วรุ่นนี้ล่ะ?

y = X β + ϵ, y \sim N (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

เมื่อแต่เป็นที่รู้จักกันในชื่อการกระจายการทำนายหลังเป็นหลายตัวแปรเกาส์ โดยปกติแล้วคุณไม่รู้แต่ต้องประมาณ บางทีคุณอาจพูดว่าเส้นทแยงมุมและทำให้เส้นทแยงมุมเป็นฟังก์ชันของโควาเรียในบางวิธี นี้จะกล่าวถึงในบทที่ถดถอยเชิงเส้นของ Gelman ของคชกรรมวิเคราะห์ข้อมูล $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

มีรูปแบบการวิเคราะห์สำหรับการแจกแจงการคาดการณ์หลังในกรณีนี้หรือไม่? ฉันสามารถเพียงแค่ประมาณค่าของฉันเป็นนักเรียนหลายตัวแปร? หากคุณประมาณค่าความแปรปรวนมากกว่าหนึ่งการกระจายตัวยังคงเป็นหลายตัวแปรของนักเรียนหรือไม่

ฉันกำลังถามเพราะพูดว่าฉันมีอยู่แล้ว ฉันต้องการทราบว่ามีแนวโน้มที่จะถูกทำนายโดยเช่นการถดถอยเชิงเส้น A, การถดถอยเชิงเส้น B หรือไม่ $\tilde y$

— bill_e
แหล่งที่มา

1

หากคุณมีตัวอย่างหลังจากการแจกแจงหลังคุณสามารถประเมินการกระจายการทำนายด้วยการประมาณ Monte Carlo

— niandra82

อ่าขอบคุณฉันสามารถทำเช่นนั้นได้เสมอ ไม่มีสูตรการวิเคราะห์ในกรณีนี้หรือไม่?

— bill_e

ลิงก์เสียโดยวิธี คงจะดีมากถ้าคุณรวมการอ้างอิงไว้ด้วยวิธีอื่น

— Maxim.K

6

หากคุณถือว่าเครื่องแบบอยู่ก่อนหน้าดังนั้นส่วนหลังของคือ ด้วย ในการค้นหาการกระจายแบบทำนายคำเราต้องการข้อมูลเพิ่มเติม ถ้าและเป็นเงื่อนไขที่ไม่ขึ้นอยู่กับได้รับแล้ว แต่โดยทั่วไปแล้วสำหรับรุ่นประเภทนี้และนั้นไม่ได้มีความเป็นอิสระตามเงื่อนไข $\beta$ $\beta$

β | y \sim N (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y and V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y \sim N (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) \sim N ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ หากเป็นกรณีนี้ สิ่งนี้ถือว่าและเป็นที่รู้กันทั้งหมด ในขณะที่คุณชี้ให้เห็นพวกเขามักจะไม่ทราบและจะต้องมีการประมาณ สำหรับโมเดลทั่วไปที่มีโครงสร้างนี้เช่นอนุกรมเวลาและโมเดลเชิงพื้นที่โดยทั่วไปจะไม่มีรูปแบบปิดสำหรับการแจกแจงทำนาย

\tilde{y} | y \sim N (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— jaradniemi
แหล่งที่มา

2

ภายใต้นักบวชปรกติที่ไม่ได้ให้ข้อมูลหรือมีหลายตัวแปรคุณมีแบบฟอร์มการวิเคราะห์เป็นการกระจายของนักเรียนหลายตัวแปรสำหรับคลาสสิกการถดถอยแบบหลายตัวแปร ฉันเดาว่าการพัฒนาในเอกสารนี้เกี่ยวข้องกับคำถามของคุณ (คุณอาจชอบภาคผนวก A :-)) ฉันมักจะเปรียบเทียบผลลัพธ์กับการแจกแจงการคาดการณ์หลังที่ได้รับโดยใช้ WinBUGS และรูปแบบการวิเคราะห์: พวกเขาจะเทียบเท่าอย่างแน่นอน ปัญหาจะยากเมื่อคุณมีเอฟเฟกต์แบบสุ่มเพิ่มเติมในโมเดลผสมผลกระทบโดยเฉพาะในการออกแบบที่ไม่สมดุล

โดยทั่วไปแล้วด้วยการถดถอยแบบคลาสสิก y และỹมีความเป็นอิสระตามเงื่อนไข (ส่วนที่เหลือเป็น iid)! แน่นอนถ้าไม่ใช่กรณีนั้นทางออกที่เสนอที่นี่ไม่ถูกต้อง

ใน R (ที่นี่คำตอบสำหรับนักบวชแบบเอกสิทธิ์) สมมติว่าคุณทำโมเดล lm (ชื่อ "model") ของการตอบสนองอย่างใดอย่างหนึ่งในแบบจำลองของคุณและเรียกมันว่า "model" นี่คือวิธีรับการแจกแจงทำนายหลายตัวแปร

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

ตอนนี้ควิกไทล์ของ ysim คือช่วงค่าเผื่อที่คาดหวังจากการแจกแจงแบบคาดเดาได้คุณสามารถใช้การแจกแจงแบบสุ่มเพื่อทำสิ่งที่คุณต้องการได้โดยตรง

— ปิแอร์เลอบรุน
แหล่งที่มา