การใช้การสลายตัวของค่าเอกฐานเพื่อคำนวณความแปรปรวนร่วมแปรปรวนเมทริกซ์จากตัวแบบการถดถอยเชิงเส้น

ฉันมีเมทริกซ์การออกแบบของ p regressors, การสังเกต n และฉันพยายามคำนวณเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมตัวอย่างของพารามิเตอร์ ฉันพยายามคำนวณโดยตรงโดยใช้ svd

ฉันใช้ R เมื่อฉันใช้เมทริกซ์การออกแบบฉันจะได้สามองค์ประกอบ: เมทริกซ์ $U$ ซึ่งเป็น $n \times p$เมทริกซ์ $D$ ซึ่งเป็น $1\times 3$ (ค่าลักษณะเฉพาะน่าจะเป็น) และเมทริกซ์ $V$ ซึ่งเป็น $3\times 3$. ฉันทแยงมุม$D$ทำให้มันเป็น $3\times 3$ เมทริกซ์ที่มี 0 อยู่ในแนวทแยงมุม

คาดคะเนสูตรการแปรปรวนร่วมคือ: $V D^2 V'$แต่เมทริกซ์ไม่ตรงและไม่เป็นมันได้ใกล้เคียงกับ R vcovที่สร้างขึ้นในฟังก์ชั่น ใครบ้างมีคำแนะนำ / การอ้างอิง? ฉันยอมรับว่าฉันไม่มีทักษะเล็กน้อยในพื้นที่นี้

ก่อนอื่นให้จำไว้ว่าภายใต้สมมติฐานของตัวแปรเชิงพหุตัวแปรของตัวแบบการถดถอยเชิงเส้นเรามีสิ่งนั้น

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

ตอนนี้ถ้า $X = U D V^T$ โดยที่ด้านขวามือคือ SVD ของ X จากนั้นเราจะได้มัน $X^T X = V D U^T U D V = V D^2 V^T$. ดังนั้น

$$(X^T X)^{-1} = V D^{-2} V^T .$$

เรายังขาดการประมาณค่าความแปรปรวนซึ่งก็คือ

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

แม้ว่าฉันจะไม่ได้ตรวจสอบ แต่หวังว่าvcovจะกลับมา$\hat{\sigma}^2 V D^{-2} V^T$.

หมายเหตุ:คุณเขียน$V D^2 V^T$, ซึ่งเป็น $X^T X$แต่เราต้องการค่าผกผันสำหรับเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วม ยังทราบด้วยว่า$R$เพื่อทำการคำนวณนี้คุณต้องทำ

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

สังเกตว่าการคูณเมทริกซ์ที่เราใช้แทนเพียง%*% ด้านบนคือการประมาณความแปรปรวนของเสียง*var.est

(นอกจากนี้ฉันได้ตั้งสมมติฐานว่า $X$ เป็นแบบเต็มและ $n \geq p$ตลอด. หากไม่เป็นเช่นนั้นคุณจะต้องทำการแก้ไขเล็กน้อยด้านบน)