วิธีการตรวจสอบคุณสมบัติของเมทริกซ์ความแปรปรวนร่วมเมื่อปรับโมเดลปกติหลายตัวแปรโดยใช้ความน่าจะเป็นสูงสุด
สมมติว่าฉันมีรูปแบบดังต่อไปนี้ yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i ที่ , เป็นเวกเตอร์ของตัวแปรอธิบายเป็นพารามิเตอร์ของฟังก์ชันเชิงเส้น - ไม่ใช่และโดยที่ตามธรรมชาติคือคูณเมทริกซ์yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK×KK×KK\times K เป้าหมายคือตามปกติในการประมาณการθθ\thetaและΣΣΣ\Sigmaตัวเลือกที่ชัดเจนคือวิธีความน่าจะเป็นสูงสุด Log-โอกาสสำหรับรุ่นนี้ (สมมติว่าเรามีตัวอย่าง(yi,xi),i=1,...,n(yi,xi),i=1,...,n(y_i,x_i),i=1,...,n ) ลักษณะเช่น l(θ,Σ)=−n2log(2π)−n2logdetΣ−∑i=1n(yi−f(xi,θ))′Σ−1(y−f(xi,θ)))l(θ,Σ)=−n2log(2π)−n2logdetΣ−∑i=1n(yi−f(xi,θ))′Σ−1(y−f(xi,θ)))l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta))) ตอนนี้ดูเหมือนง่ายบันทึกความน่าจะเป็นมีการระบุใส่ข้อมูลและใช้อัลกอริทึมบางอย่างสำหรับการเพิ่มประสิทธิภาพที่ไม่ใช่เชิงเส้น ปัญหาคือวิธีการตรวจสอบให้แน่ใจว่าΣΣ\Sigmaเป็นผลบวกแน่นอน การใช้ตัวอย่างoptimใน R (หรืออัลกอริทึมการเพิ่มประสิทธิภาพที่ไม่ใช่เชิงเส้นอื่น ๆ ) จะไม่รับประกันฉันว่าΣΣ\Sigmaนั้นแน่นอนแน่นอน ดังนั้นคำถามคือจะมั่นใจได้อย่างไรว่าΣΣ\Sigmaยังคงเป็นไปในทางบวกแน่นอน? ฉันเห็นทางออกที่เป็นไปได้สองข้อ: ซ่อมแซมΣΣ\Sigmaเป็น RR′RR′RR'โดยที่RRRคือเมทริกซ์รูปสามเหลี่ยมบนหรือสมมาตร จากนั้นΣΣ\Sigmaจะเป็นค่าบวกแน่นอนเสมอและRRRสามารถควบคุมได้ ใช้ความน่าจะเป็นของโปรไฟล์ สืบทอดมาสูตรสำหรับθ^(Σ)θ^(Σ)\hat\theta(\Sigma)และΣ^(θ)Σ^(θ)\hat{\Sigma}(\theta)theta) เริ่มต้นด้วยθ0θ0\theta_0และวนΣ^j=Σ^(θ^j−1)Σ^j=Σ^(θ^j−1)\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1}) , θ^j=θ^(Σ^j−1)θ^j=θ^(Σ^j−1)\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})จนกระทั่งการบรรจบกัน มีวิธีอื่นอีกหรือไม่และวิธีการเกี่ยวกับ 2 วิธีนี้พวกเขาจะทำงานได้มาตรฐานหรือไม่ ดูเหมือนว่าจะเป็นปัญหามาตรฐาน แต่การค้นหาอย่างรวดเร็วไม่ได้ให้คำแนะนำใด ๆ แก่ฉัน ฉันรู้ว่าการประมาณแบบเบย์จะเป็นไปได้เช่นกัน แต่ในตอนนี้ฉันไม่ต้องการมีส่วนร่วม