การถดถอยแบบเบย์: ทำอย่างไรเมื่อเปรียบเทียบกับการถดถอยแบบมาตรฐาน

ฉันมีคำถามบางอย่างเกี่ยวกับการถดถอยแบบเบย์:

ได้รับการถดถอยมาตรฐาน $y = \beta_0 + \beta_1 x + \varepsilon$ εหากฉันต้องการเปลี่ยนสิ่งนี้เป็นการถดถอยแบบเบย์ฉันต้องมีการแจกแจงก่อนหน้าทั้งคู่สำหรับ $\beta_0$ และ $\beta_1$ (หรือไม่ได้ทำงานด้วยวิธีนี้)?
ในการถดถอยมาตรฐานหนึ่งจะพยายามที่จะลดเหลือที่จะได้รับค่าเดียวสำหรับ $\beta_0$ และ $\beta_1$ 1สิ่งนี้จะเกิดขึ้นได้อย่างไรในการถดถอยแบบเบย์

ฉันดิ้นรนมากที่นี่:

ด้านหลัง = ก่อน \times ความเป็นไปได้

$\text{posterior} = \text{prior} \times \text{likelihood}$

ความน่าจะเป็นมาจากชุดข้อมูลปัจจุบัน (ดังนั้นจึงเป็นพารามิเตอร์การถดถอยของฉัน แต่ไม่ได้เป็นค่าเดียว แต่เป็นการกระจายความเป็นไปได้ใช่มั้ย) ก่อนหน้ามาจากการวิจัยก่อนหน้า (สมมุติว่า) ดังนั้นฉันได้สมการนี้:

Y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

ด้วย $\beta_1$ เป็นโอกาสหรือหลังของฉัน (หรือนี่เป็นเพียงความผิดทั้งหมด)?

ฉันไม่เข้าใจว่าการถดถอยมาตรฐานเปลี่ยนเป็น Bayes อย่างไร

regression bayesian

— TinglTanglBob
แหล่งที่มา

คำตอบ:

แบบจำลองการถดถอยเชิงเส้นอย่างง่าย

Y_{ผม} = α + β x_{ผม} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

สามารถเขียนได้ในรูปแบบของความน่าจะเป็นที่อยู่เบื้องหลัง

μ_{ผม} = α + β x_{ผม} Y_{ผม} ~ ยังไม่มีข้อความ (μ_{ผม}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

คือตัวแปรตามดังนี้กระจายปกติ parametrized โดยเฉลี่ยที่เป็นฟังก์ชั่นเชิงเส้นของ parametrized โดยและค่าเบี่ยงเบนมาตรฐานσหากคุณประเมินรุ่นดังกล่าวใช้สี่เหลี่ยมน้อยธรรมดาที่คุณจะได้ไม่ต้องกังวลเกี่ยวกับการกำหนดความน่าจะเป็นเพราะคุณกำลังมองหาค่าที่เหมาะสมของพารามิเตอร์โดยการลดข้อผิดพลาดที่กำลังสองของค่าติดตั้งให้เป็นค่าที่คาดการณ์ไว้ ในอีกทางหนึ่งคุณสามารถประมาณโมเดลดังกล่าวโดยใช้การประมาณโอกาสสูงสุด $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$ คุณจะมองหาค่าที่ดีที่สุดของพารามิเตอร์โดยการเพิ่มฟังก์ชั่นความน่าจะเป็นสูงสุด

\underset{α, β, σ}{a R ก. ม. a x} Π_{ผม = 1}^{n} ยังไม่มีข้อความ (Y_{ผม}; α + β x_{ผม}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

ที่เป็นฟังก์ชั่นความหนาแน่นของการกระจายปกติประเมินจุด parametrized โดยวิธีและส่วนเบี่ยงเบนมาตรฐานσ $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

ในวิธีการแบบเบย์แทนการเพิ่มฟังก์ชั่นโอกาสเพียงอย่างเดียวเราจะถือว่าการแจกแจงก่อนหน้าสำหรับพารามิเตอร์และใช้ทฤษฎีบทแบบเบย์

ด้านหลัง α ความเป็นไปได้ \times ก่อน

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

ฟังก์ชันความน่าจะเป็นเป็นเช่นเดียวกับข้างบน แต่สิ่งที่เปลี่ยนแปลงคือคุณถือว่าการกระจายก่อนหน้านี้บางส่วนสำหรับพารามิเตอร์โดยประมาณและรวมไว้ในสมการ $\alpha,\beta,\sigma$

\underset{ด้านหลัง}{\underset{⏟}{ฉ (α, β, σ | Y, X)}} α \underset{ความเป็นไปได้}{\underset{⏟}{Π_{ผม = 1}^{n} ยังไม่มีข้อความ (Y_{ผม} | α + β x_{ผม}, σ)}} \underset{ไพรเออร์}{\underset{⏟}{ฉ_{α} (α) ฉ_{β} (β) ฉ_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"อะไรคือการกระจาย" เป็นคำถามที่แตกต่างกันเนื่องจากมีตัวเลือกไม่ จำกัด จำนวน สำหรับพารามิเตอร์คุณสามารถยกตัวอย่างเช่นสมมติแจกแจงปกติ parametrized โดยบางhyperparametersหรือ -distributionถ้าคุณต้องการที่จะคิดหางหนักหรือการกระจายชุดถ้าคุณไม่ต้องการที่จะทำให้สมมติฐานมาก แต่คุณต้องการที่จะคิดว่า พารามิเตอร์สามารถเป็นนิรนัย "อะไรก็ได้ในช่วงที่กำหนด" เป็นต้นสำหรับคุณต้องสมมติว่ามีการแจกแจงก่อนหน้าบางอย่างที่ถูก จำกัด ให้มีค่ามากกว่าศูนย์แล้วเนื่องจากค่าเบี่ยงเบนมาตรฐานต้องเป็นค่าบวก สิ่งนี้อาจนำไปสู่การกำหนดรูปแบบตามที่แสดงด้านล่างโดย John K. Kruschke $\alpha,\beta$ $t$ $\sigma$

(ที่มา: http://www.indiana.edu/~kruschke/BMLR/ )

ในขณะที่มีโอกาสมากที่สุดที่คุณกำลังมองหาค่าที่ดีที่สุดเพียงครั้งเดียวสำหรับแต่ละพารามิเตอร์ในแนวทาง Bayesian โดยใช้ทฤษฎีบท Bayes คุณจะได้รับการแจกแจงหลังของพารามิเตอร์ ประมาณการสุดท้ายจะขึ้นอยู่กับข้อมูลที่มาจากข้อมูลของคุณและจากไพรเออร์แต่ข้อมูลเพิ่มเติมที่มีอยู่ในข้อมูลของคุณที่มีอิทธิพลน้อยไพรเออร์

โปรดสังเกตว่าเมื่อใช้ชุดนักบวชพวกเขาใช้รูปแบบหลังจากปล่อยค่าคงที่ปกติ สิ่งนี้ทำให้ทฤษฎีบทของเบย์เป็นสัดส่วนกับความน่าจะเป็นฟังก์ชั่นเพียงอย่างเดียวดังนั้นการกระจายด้านหลังจะไปถึงค่าสูงสุดที่จุดเดียวกับค่าประมาณโอกาสสูงสุด สิ่งที่ตามประมาณการภายใต้เครื่องแบบไพรเออร์จะเป็นเช่นเดียวกับโดยใช้สี่เหลี่ยมน้อยสามัญตั้งแต่การลดข้อผิดพลาด Squared สอดคล้องกับการเพิ่มความน่าจะเป็นปกติ $f(\theta) \propto 1$

ในการประเมินแบบจำลองด้วยวิธี Bayesian ในบางกรณีคุณสามารถใช้conjugate priorsเพื่อให้การกระจายหลังสามารถใช้งานได้โดยตรง (ดูตัวอย่างที่นี่ ) อย่างไรก็ตามในกรณีส่วนใหญ่การกระจายหลังจะไม่สามารถใช้ได้โดยตรงและคุณจะต้องใช้วิธีมาร์คอฟเชนมอนติคาร์โลเพื่อประเมินแบบจำลอง (ตรวจสอบตัวอย่างของการใช้อัลกอริทึม Metropolis-Hastings เพื่อประเมินพารามิเตอร์ของการถดถอยเชิงเส้น) สุดท้ายหากคุณสนใจเพียงแค่การประมาณค่าพารามิเตอร์คุณสามารถใช้การประมาณค่าด้านหลังสูงสุดเช่น

\underset{α, β, σ}{a R ก. ม. a x} ฉ (α, β, σ | Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

สำหรับคำอธิบายโดยละเอียดเพิ่มเติมของการถดถอยโลจิสติกคุณสามารถตรวจสอบโมเดล Loges ของ Bayesian - คำอธิบายที่เข้าใจง่าย? ด้าย.

สำหรับการเรียนรู้เพิ่มเติมคุณสามารถตรวจสอบหนังสือต่อไปนี้:

Kruschke, J. (2014) ทำการวิเคราะห์ข้อมูลแบบเบย์: บทเรียนเกี่ยวกับ R, JAGS และ Stan สื่อวิชาการ

Gelman, A. , Carlin, JB, Stern, HS, และ Rubin, DB (2004) การวิเคราะห์ข้อมูลแบบเบย์ แชปแมน & ฮอล / CRC

— ทิม
แหล่งที่มา

$\beta_i$ $\beta_i$

+1 อีกสิ่งหนึ่งที่อาจเป็นประโยชน์ในการชี้ให้เห็นชัดเจนถึงความสัมพันธ์ระหว่าง Bayesian และ OLS คือวิธีการที่ OLS สามารถเข้าใจได้ว่าเป็นค่าเฉลี่ยด้านหลังภายใต้แฟลตก่อน (อย่างน้อยเท่าที่ฉันเข้าใจ) คงจะดีมากถ้าคุณสามารถอธิบายอย่างละเอียดในคำตอบของคุณ

— อะมีบาพูดว่า Reinstate Monica

@ Amoeba เป็นจุดที่ดีฉันจะคิดเกี่ยวกับมัน แต่ในอีกแง่หนึ่งฉันไม่ต้องการที่จะให้คำตอบอย่างเปิดเผยนานเกินไปดังนั้นจึงมีประเด็นที่ต้องพูดถึงรายละเอียด

— ทิม

@amoeba FYI ฉันได้เพิ่มความคิดเห็นสั้น ๆ เกี่ยวกับเรื่องนั้น

— ทิม

$D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

W ~ ยังไม่มีข้อความ (0, σ_{W}^{2} {ผม}_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Y_{ผม} ~ ยังไม่มีข้อความ (W^{T} x_{ผม}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

$Y_i \perp Y_j | w, i \neq j$

$a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

พี (W) α ประสบการณ์ {- \frac{ข}{2} W^{เสื้อ} W}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

พี (D | W) α ประสบการณ์ {- \frac{a}{2} (Y - A W)^{T} (Y - A W)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

$y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

พี (W | D) α พี (D | W) พี (W)

$p(w|D) \propto p(D|w) p(w)$

หลังจากการคำนวณจำนวนมากเราพบว่า

พี (W | D) ~ ยังไม่มีข้อความ (W | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

$\Lambda$

Λ = a A^{T} A + ข {ผม}_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} Y

$\mu = a \Lambda^{-1} A^T y$

$\mu$ $w_{MAP}$

$\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{ข}{a} {ผม}_{d})^{- 1} A^{T} Y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

$w_{MLE}$

W_{M L E} = (A^{T} A)^{- 1} A^{T} Y

$w_{MLE} = (A^T A)^{-1} A^T y$

$\mu$ $\lambda = \frac{b}{a}$

สำหรับการกระจายหลังทำนาย:

พี (Y | x, D) = \int พี (Y | x, D, W) พี (W | x, D) d W = \int พี (Y | x, W) พี (W | D) d W

เป็นไปได้ที่จะคำนวณว่า

Y | x, D ~ ยังไม่มีข้อความ (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

การอ้างอิง: Lunn และคณะ หนังสือ BUGS

สำหรับการใช้เครื่องมือ MCMC เช่น JAGS / Stan check การวิเคราะห์ข้อมูล Does Bayesianของ Kruschke

— jpneto
แหล่งที่มา

ขอบคุณ jpneto ฉันรู้สึกว่านี่เป็นคำตอบที่ดี แต่ฉันยังไม่เข้าใจเพราะขาดความรู้ทางคณิตศาสตร์ แต่ฉันจะอ่านอีกครั้งแน่นอนหลังจากได้รับทักษะคณิตศาสตร์

— TinglTanglBob

นี่เป็นสิ่งที่ดีมาก แต่การสันนิษฐานว่าความแม่นยำเป็นที่รู้จักกันค่อนข้างแปลก ไม่ใช่เรื่องธรรมดาที่จะถือว่าการกระจายแกมม่าผกผันสำหรับความแปรปรวนนั่นคือการแจกแจงแกมม่าเพื่อความแม่นยำหรือไม่?

— DeltaIV

w

$w$

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

@ DeltaIV: แน่นอนเมื่อเรามีความไม่แน่นอนเกี่ยวกับพารามิเตอร์ที่เราสามารถสร้างแบบจำลองที่มีก่อน ข้อสันนิษฐานของความแม่นยำที่เป็นที่รู้จักคือทำให้การค้นหาโซลูชันการวิเคราะห์ง่ายขึ้น โดยทั่วไปโซลูชันการวิเคราะห์เหล่านั้นเป็นไปไม่ได้และเราต้องใช้การประมาณเช่น MCMC หรือเทคนิคการแปรผันบางอย่าง

— jpneto