การประมาณค่าความแปรปรวนร่วมหลังของเกาวาสหลายตัวแปร

15

ฉันต้องการ "เรียนรู้" การกระจายตัวของเกาวาสแบบไบวารีที่มีตัวอย่างน้อย แต่เป็นสมมติฐานที่ดีเกี่ยวกับการแจกแจงก่อนหน้าดังนั้นฉันจึงต้องการใช้วิธีแบบเบส์

ฉันกำหนดก่อนหน้านี้:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

และการแจกแจงของฉันให้สมมติฐาน

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

ตอนนี้ฉันรู้ขอบคุณที่นี่ว่าในการประมาณค่าเฉลี่ยของข้อมูล

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

ฉันสามารถคำนวณ:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

ตอนนี้คำถามมาฉันอาจผิด แต่ดูเหมือนว่าฉันเป็นเพียงเมทริกซ์ความแปรปรวนร่วมสำหรับพารามิเตอร์ที่ประมาณไม่ใช่ความแปรปรวนร่วมประมาณของข้อมูลของฉัน สิ่งที่ฉันต้องการจะคำนวณด้วย $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

เพื่อให้มีการกระจายที่ระบุอย่างสมบูรณ์เรียนรู้จากข้อมูลของฉัน

เป็นไปได้ไหม มันได้รับการแก้ไขแล้วโดยการคำนวณและจะแสดงเพียงในทางที่ผิดสูตรข้างต้น (หรือฉันเพียงแค่ misentrepreting มัน) หรือไม่? การอ้างอิงจะได้รับการชื่นชม ขอบคุณมาก. $\mathbf{\Sigma_n}$

แก้ไข

จากความคิดเห็นที่ก็ปรากฏว่าวิธีการของผมก็คือ "ผิด" ในความรู้สึกที่ฉันถูกสมมติให้มีการแปรปรวนคงที่ที่กำหนดโดยΣสิ่งที่ฉันต้องการคือการใส่ก่อนหน้าไว้ในนั้นด้วยแต่ฉันไม่รู้ว่าฉันควรใช้การกระจายแบบใด $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
แหล่งที่มา

คุณได้ระบุความแปรปรวนร่วมของข้อมูลของคุณเป็น

- และคุณยังไม่ได้ระบุการกระจายก่อนหน้านี้สำหรับที่จะได้รับการปรับปรุงจาก?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

ฉันเห็นประเด็นของคุณ ด้วยวิธีการของฉันโดยทั่วไปฉันสันนิษฐานว่าความแปรปรวนเป็นค่าคงที่และระบุไว้ ถ้าฉันต้องการที่จะประเมินมันฉันต้องการก่อน

ตอนนี้ปัญหาของฉันก็คือว่ามันไม่ชัดเจนว่าจะกำหนดมันและสิ่งที่จะเป็นการกระจายที่เหมาะสมสำหรับมัน แต่ตอนนี้ดูเหมือนว่าจะออกจากขอบเขตของคำถามแรก .

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

จากนั้นเปลี่ยนคำถาม :-)

— Corone

11

คุณสามารถทำการปรับปรุงแบบเบย์สำหรับโครงสร้างความแปรปรวนร่วมได้ในลักษณะเดียวกันกับที่คุณอัพเดตค่าเฉลี่ย คอนจูเกตก่อนหน้าเมทริกซ์ความแปรปรวนร่วมของหลายตัวแปร - ปกติคือการกระจายอินเวอร์ส - วิชวอทดังนั้นจึงเหมาะสมที่จะเริ่มต้นที่นั่น

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

จากนั้นเมื่อคุณได้ตัวอย่างของความยาวคุณสามารถคำนวณค่าความแปรปรวนร่วมตัวอย่าง $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

จากนั้นสามารถใช้เพื่ออัปเดตการประมาณค่าความแปรปรวนร่วมของคุณได้

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

คุณอาจเลือกที่จะใช้ค่าเฉลี่ยนี้เป็นค่าประมาณของความแปรปรวนร่วม (Posterior Mean Estimator)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

หรือคุณอาจเลือกที่จะใช้โหมด (ตัวประมาณ Posteriori สูงสุด)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
แหล่งที่มา

ขอบคุณมาก. ตอนนี้ฉันคิดว่าจะมีอะไรเปลี่ยนแปลงในกระบวนการประมาณของฉัน เป็นขั้นตอนแรกที่ฉันควรจะประเมินความแปรปรวนร่วม

กับขั้นตอนของคุณแล้วการกระจายของฉันที่กำหนดสมมติฐานประมาณ woulb จะ

และตั้งแต่

เป็นที่คาดกันและมีการกระจายตัวของตัวเองผมค่อนข้างแน่ใจว่านี้ อย่างใดจะเปลี่ยนสูตรก่อนหน้าของฉันในการคำนวณ

(ในขณะที่มันเกิดขึ้นในเกาส์ MLE เมื่อใช้แปรปรวนตัวอย่าง)

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— unziberla

วิธีการที่คุณจะอธิบายแทนการใช้

ดังนั้นฉันจึงมีคุณค่าที่แท้จริงสำหรับความแปรปรวนร่วมราวกับว่าฉันรู้มาก่อน ในวิธีการที่พบบ่อยนี้อาจฟังดูผิด แต่อาจมีบางสิ่งที่ฉันขาดไปจากความจริงที่ว่าฉันถือว่าก่อนหน้านี้เป็นที่รู้จักและทำให้ขั้นตอนนั้นถูกต้องหรือไม่

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— unziberla

7

ตกลงฉันพบทางออกที่แท้จริงสำหรับปัญหาของฉัน ฉันกำลังโพสต์ไว้แม้ว่าคำตอบที่ถูกต้องสำหรับคำถาม (ใส่ผิด) คือคำตอบที่เลือก

โดยทั่วไปแล้วคำถามของฉันจะอธิบายวิธีการประมาณค่าเฉลี่ยที่รู้ถึงความแปรปรวนร่วมและคำตอบวิธีการประมาณค่าความแปรปรวนร่วมที่รู้ค่าเฉลี่ย แต่ปัญหาที่แท้จริงของฉันคือการประเมินด้วยพารามิเตอร์ที่ไม่รู้จักทั้งสอง

ผมพบคำตอบในวิกิพีเดียมีรากศัพท์อธิบายที่นี่ คอนจูเกตของตัวแปรหลายตัวแปรก่อนหน้านี้คือ Normal-inverse-Wishart ซึ่งโดยพื้นฐานแล้วจะกระจายไปตามเกณฑ์ปกติหลายตัวแปร

พารามิเตอร์ก่อนหน้านี้ที่จำเป็นต้องระบุคือเพื่อกำหนดค่าเฉลี่ย, เพื่อกำหนดความแปรปรวนร่วมและสองค่าสเกลาร์และที่ฉันจะบอกว่ากำหนดความมั่นใจของเราในการประมาณค่าพารามิเตอร์สองอันดับแรกตามลำดับ $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

การกระจายการปรับปรุงหลังจากสังเกตตัวอย่างของ -variate Normal มีรูปแบบ $n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

ที่ไหน

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

so my desired estimated parameters are

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
แหล่งที่มา