วิธีการตรวจสอบคุณสมบัติของเมทริกซ์ความแปรปรวนร่วมเมื่อปรับโมเดลปกติหลายตัวแปรโดยใช้ความน่าจะเป็นสูงสุด

22

สมมติว่าฉันมีรูปแบบดังต่อไปนี้

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

ที่ , เป็นเวกเตอร์ของตัวแปรอธิบายเป็นพารามิเตอร์ของฟังก์ชันเชิงเส้น - ไม่ใช่และโดยที่ตามธรรมชาติคือคูณเมทริกซ์ $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

เป้าหมายคือตามปกติในการประมาณการ $\theta$ และΣ $\Sigma$ ตัวเลือกที่ชัดเจนคือวิธีความน่าจะเป็นสูงสุด Log-โอกาสสำหรับรุ่นนี้ (สมมติว่าเรามีตัวอย่าง $(y_i,x_i),i=1,...,n$ ) ลักษณะเช่น

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

ตอนนี้ดูเหมือนง่ายบันทึกความน่าจะเป็นมีการระบุใส่ข้อมูลและใช้อัลกอริทึมบางอย่างสำหรับการเพิ่มประสิทธิภาพที่ไม่ใช่เชิงเส้น ปัญหาคือวิธีการตรวจสอบให้แน่ใจว่า $\Sigma$ เป็นผลบวกแน่นอน การใช้ตัวอย่างoptimใน R (หรืออัลกอริทึมการเพิ่มประสิทธิภาพที่ไม่ใช่เชิงเส้นอื่น ๆ ) จะไม่รับประกันฉันว่า $\Sigma$ นั้นแน่นอนแน่นอน

ดังนั้นคำถามคือจะมั่นใจได้อย่างไรว่า $\Sigma$ ยังคงเป็นไปในทางบวกแน่นอน? ฉันเห็นทางออกที่เป็นไปได้สองข้อ:

ซ่อมแซม $\Sigma$ เป็น $RR'$ โดยที่ $R$ คือเมทริกซ์รูปสามเหลี่ยมบนหรือสมมาตร จากนั้น $\Sigma$ จะเป็นค่าบวกแน่นอนเสมอและ $R$ สามารถควบคุมได้
ใช้ความน่าจะเป็นของโปรไฟล์ สืบทอดมาสูตรสำหรับ $\hat\theta(\Sigma)$ และ $\hat{\Sigma}(\theta)$ theta) เริ่มต้นด้วย $\theta_0$ และวน $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ จนกระทั่งการบรรจบกัน

มีวิธีอื่นอีกหรือไม่และวิธีการเกี่ยวกับ 2 วิธีนี้พวกเขาจะทำงานได้มาตรฐานหรือไม่ ดูเหมือนว่าจะเป็นปัญหามาตรฐาน แต่การค้นหาอย่างรวดเร็วไม่ได้ให้คำแนะนำใด ๆ แก่ฉัน ฉันรู้ว่าการประมาณแบบเบย์จะเป็นไปได้เช่นกัน แต่ในตอนนี้ฉันไม่ต้องการมีส่วนร่วม

maximum-likelihood optimization covariance

— mpiktas
แหล่งที่มา

ฉันมีปัญหาเดียวกันในอัลกอริทึม Kalman แต่ปัญหามีความซับซ้อนมากขึ้นและไม่ง่ายที่จะใช้เคล็ดลับแฮมิลตัน ฉันสงสัยว่าสิ่งที่ง่ายกว่านั้นคือการใช้หรือไม่ วิธีนี้ฉันบังคับให้รหัสไม่ให้ข้อผิดพลาดและไม่เปลี่ยนวิธีแก้ไข สิ่งนี้ยังมีประโยชน์ในการบังคับให้คำนี้มีสัญญาณเหมือนกันกับส่วนสุดท้ายของความน่าจะเป็น ความคิดใด ๆ

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

สมมติว่าในการสร้างเมทริกซ์ความแปรปรวนร่วมคุณจะดูแลปัญหาความสมมาตรโดยอัตโนมัติบันทึกความน่าจะเป็นของคุณจะเป็นเมื่อไม่แน่นอนแน่นอนเนื่องจากคำใน ใช่มั้ย เพื่อป้องกันข้อผิดพลาดที่เป็นตัวเลขหากฉันจะคำนวณล่วงหน้าและหากไม่เป็นบวกให้สร้างโอกาสในการบันทึกเท่ากับ - ไม่เช่นนั้นจะดำเนินการต่อ คุณต้องคำนวณดีเทอร์มีแนนต์ดังนั้นนี่ไม่ได้เป็นการคิดต้นทุนเพิ่มเติมสำหรับคุณ $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— มาโคร
แหล่งที่มา

5

ตามที่ปรากฎว่าคุณสามารถใช้โอกาสสูงสุดของโปรไฟล์เพื่อให้แน่ใจว่าคุณสมบัติที่จำเป็น คุณสามารถพิสูจน์ได้ว่าสำหรับ ,ถูกขยายให้ใหญ่สุดโดย $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

ที่ไหน

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

จากนั้นก็เป็นไปได้ที่จะแสดงให้เห็นว่า

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

ดังนั้นเราจะต้องเพิ่มให้สูงสุดเท่านั้น

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

โดยธรรมชาติในกรณีนี้จะตอบสนองคุณสมบัติที่จำเป็นทั้งหมด หลักฐานจะเหมือนกันสำหรับกรณีที่เป็นเส้นตรงซึ่งสามารถพบได้ในการวิเคราะห์อนุกรมเวลาโดย JD Hamilton หน้า 295 ดังนั้นฉันจึงข้ามพวกเขา $\Sigma$ $f$

— mpiktas
แหล่งที่มา

3

parameterization ทางเลือกสำหรับเมทริกซ์ความแปรปรวนเป็นในแง่ของค่าลักษณะเฉพาะและ "Givens" มุม\ $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

นั่นคือเราสามารถเขียน

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

โดยที่คือ orthonormal และ $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

กับ0 $\lambda_1 \geq ... \geq \lambda_p \geq 0$

ในขณะเดียวกันสามารถกำหนดพารามิเตอร์เฉพาะในแง่มุม , , โดยที่และ . [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(รายละเอียดที่จะเพิ่ม)

[1]: Hoffman, Raffenetti, Ruedenberg "ลักษณะทั่วไปของมุมออยเลอร์ถึง N ‐ เมทริกซ์ฉากมุมฉากมิติ" เจคณิตศาสตร์ สรวง 13, 528 (1972)

— charles.y.zheng
แหล่งที่มา

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

2

$\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
แหล่งที่มา

องค์ประกอบเส้นทแยงมุมด้านล่างในการตั้งค่านี้สามารถเป็นอะไรก็ได้ที่ฉันต้องการตราบใดที่เส้นทแยงมุมเป็นบวก? เมื่อทำการจำลองเมทริกซ์ด้วยวิธีนี้จะไม่ได้หมายความว่าทั้งหมดจะเป็นเชิงบวกแน่นอน

— sztal

Λ

$\Lambda$