ข้อสงสัยเกี่ยวกับการกำเนิดสมการการถดถอยแบบเกาส์ในเอกสาร

ฉันกำลังอ่านบทความนี้และฉันมีปัญหาในการติดตามสมการสำหรับการถดถอยแบบเกาส์กระบวนการ พวกเขาใช้การตั้งค่าและสัญกรณ์ของรัสมุสและวิลเลียมส์ ดังนั้นสารเติมแต่งศูนย์เฉลี่ยนิ่งและกระจายตามปกติเสียงที่มีความแปรปรวนจะสันนิษฐาน: $\sigma^2_{noise}$

y = f (x) + ϵ, ϵ \sim N (0, σ_{n o i s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

GP ก่อนที่มีค่าเฉลี่ยศูนย์จะถือว่าเป็นซึ่งหมายความว่า ,เป็นเวกเตอร์แบบเกาส์ที่มีค่าเฉลี่ย 0 และเมทริกซ์ความแปรปรวนร่วม $f(\mathbf{x})$ $\forall \ d\in N$ $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$

Σ_{d} = (\begin{matrix} k (x_{1}, x_{1}) & k (x_{1}, x_{d}) \\ ⋱ \\ k (x_{d}, x_{1}) & k (x_{d}, x_{d}) \end{matrix})

$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$

จากนี้ไปเราจะสันนิษฐานว่าเป็นที่รู้จักกันในนามพารามิเตอร์ จากนั้นเห็นได้ชัดว่า Eq. (4) ของกระดาษ:

p (f, f^{*}) = N (0, (\begin{matrix} K_{f, f} & K_{f^{*}, f} \\ K_{f^{*}, f} & K_{f^{*}, f^{*}} \end{matrix}))

$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$

มาที่นี่ข้อสงสัย:

สมการ (5):

$p (y | f) = N (f, σ_{n o i s e}^{2} I)$ $p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$
$E[\mathbf{f}]=0$ แต่ฉันเดา เพราะเมื่อฉันมีเงื่อนไขในแล้ว โดยที่เป็นเวกเตอร์คงที่และมีเพียง เป็นแบบสุ่ม แก้ไข? $E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$ $\mathbf{f}$ $\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$ $\mathbf{c}$ $\boldsymbol{\epsilon}$
อย่างไรก็ตามมันเป็นสมการ (6) ซึ่งคลุมเครือกว่าสำหรับฉัน:

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f)}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$
นั่นไม่ใช่รูปแบบปกติของทฤษฎีบทของเบย์ ทฤษฎีบทของเบย์

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f, f^{*})}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$
ฉันเข้าใจว่าทำไมสมการทั้งสองจึงเหมือนกัน: โดยสังหรณ์ใจเวกเตอร์การตอบสนองขึ้นอยู่กับเวกเตอร์แฝงที่สอดคล้องกันดังนั้นการปรับเงื่อนไขใน หรือควรนำไปสู่การแจกแจงแบบเดียวกัน อย่างไรก็ตามนี่เป็นสัญชาตญาณไม่ใช่ข้อพิสูจน์! คุณช่วยฉันแสดงว่าทำไม $\mathbf{y}$ $\mathbf{f}$ $\mathbf{f}$ $(\mathbf{f},\mathbf{f^*})$

$p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$

regression bayesian gaussian-process

— DeltaIV
แหล่งที่มา

หากเราแก้ไขความไม่แน่นอนทั้งหมดในมาจากเสียงรบกวน ดังนั้นสำหรับสมการ (5) ในบทความที่เรามีว่าได้รับเรามีในแต่ละเสียงอิสระจุดที่มีความแปรปรวนและค่าเฉลี่ยเป็นศูนย์0เราเพิ่มค่าเฉลี่ยเริ่มต้นและรับคำตอบ $\mathbf{f}$ $\mathbf{y}$ $\mathbf{f}$ $\sigma_{noise}^2$ $0$
วิธีหนึ่งในการพิสูจน์ความเท่าเทียมกันที่แนะนำ คือการหาการแจกแจงที่ ด้านซ้ายและด้านขวาของคุณภาพ ทั้งคู่เป็นเกาส์นทางด้านซ้ายเรารู้คำตอบแล้ว สำหรับด้านขวาเราดำเนินการในลักษณะเดียวกัน ให้เราหาการกระจายเงื่อนไข*) จากผลจากส่วนแรกเรารู้ว่า: การใช้กฎความน่าจะเป็นมันง่ายที่จะรวมจาก $p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$ $(\mathbf{y}, \mathbf{y}^*)$ $p (y, y^{*} | f, f^{*}) = N ((f, f^{*}), σ_{n o i s e}^{2} I) .$ $p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$ $\mathbf{y}^*$ $(\mathbf{y}, \mathbf{y}^*)$ เนื่องจากเมทริกซ์ความแปรปรวนร่วมเป็นเส้นทแยงมุมและเวกเตอร์และเป็นอิสระ โดยการทำเช่นนี้เราจะได้รับ: $\mathbf{y}$ $\mathbf{y}^*$ $p (y | f, f^{*}) = N (f, σ_{n o i s e}^{2} I) = p (y | f) .$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$

— Alexey Zaytsev
แหล่งที่มา