การตีความความแปรปรวนร่วมของสัมประสิทธิ์การถดถอยคืออะไร?

ฟังก์ชัน lm ใน R สามารถพิมพ์ค่าความแปรปรวนร่วมประมาณของสัมประสิทธิ์การถดถอย ข้อมูลนี้ให้อะไรกับเรา? ตอนนี้เราสามารถตีความแบบจำลองได้ดีขึ้นหรือวินิจฉัยปัญหาที่อาจเกิดขึ้นในแบบจำลองได้หรือไม่

r multiple-regression least-squares

— MSS
แหล่งที่มา

การตีความเช่นเดียวกับความแปรปรวนร่วมอื่น ๆ - การแปรปรวนเชิงเส้น? การใช้งานหลักคือการคำนวณความแปรปรวนของความแตกต่างที่น่าสนใจเช่นการทดสอบความแตกต่าง

— kjetil b halvorsen

คำตอบ:

การใช้เมทริกซ์ความแปรปรวนร่วมขั้นพื้นฐานที่สุดคือการหาข้อผิดพลาดมาตรฐานของการประมาณค่าการถดถอย หากนักวิจัยสนใจเฉพาะข้อผิดพลาดมาตรฐานของพารามิเตอร์การถดถอยแต่ละตัวพวกเขาสามารถนำสแควร์รูทของเส้นทแยงมุมมารับข้อผิดพลาดมาตรฐานของแต่ละบุคคลได้

อย่างไรก็ตามบ่อยครั้งที่คุณอาจสนใจการรวมกันเชิงเส้นของพารามิเตอร์การถดถอย ตัวอย่างเช่นถ้าคุณมีตัวแปรตัวบ่งชี้สำหรับกลุ่มที่กำหนดคุณอาจสนใจในค่าเฉลี่ยกลุ่มซึ่งจะเป็น

P $\beta_0 + \beta_{\rm grp}$

จากนั้นเพื่อค้นหาข้อผิดพลาดมาตรฐานสำหรับค่าเฉลี่ยโดยประมาณของกลุ่มคุณจะมี

, $\sqrt{X^\top S X}$

$X$ $S$ $X = (1,1)$ $1$ $1$

นอกจากนี้เมทริกซ์ความแปรปรวนร่วม (หรือมากกว่านั้นเมทริกซ์สหสัมพันธ์ซึ่งถูกระบุโดยไม่ซ้ำกันจากเมทริกซ์ความแปรปรวนร่วม แต่ไม่ใช่ในทางกลับกัน) จะมีประโยชน์มากสำหรับการวินิจฉัยแบบจำลองบางอย่าง หากตัวแปรสองตัวมีความสัมพันธ์กันสูงวิธีหนึ่งที่จะคิดเกี่ยวกับมันคือโมเดลกำลังมีปัญหาในการหาว่าตัวแปรใดที่รับผิดชอบผลกระทบ (เพราะสัมพันธ์กันอย่างใกล้ชิด) สิ่งนี้มีประโยชน์สำหรับกรณีที่หลากหลายเช่นการเลือกชุดย่อยของ covariates เพื่อใช้ในแบบจำลองการทำนาย หากตัวแปรสองตัวมีความสัมพันธ์กันสูงคุณอาจต้องการใช้หนึ่งในสองตัวแปรในแบบจำลองการทำนายของคุณ

— Cliff AB
แหล่งที่มา

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

สัมประสิทธิ์การถดถอยมีสองชนิดคือ

$\beta$ $c$
$b$ $\hat \beta$ $c$

$X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

$b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

$b_1$ $b_1$

$\mathrm{Cov}\left(b_1,b_2\right)$

สำหรับสิ่งที่ใช้จริงคำตอบของ Cliff AB เป็นบทสรุปที่ดี

— shadowtalker
แหล่งที่มา

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@ โฮเบอร์ขอบคุณและฉันก็เขียน "สหสัมพันธ์" ณ จุดหนึ่ง ฉันจะทำความสะอาดเมื่อฉันลงโทรศัพท์

— shadowtalker

เนื่องจากฉันอาจไม่กลับไปที่เธรดนี้สักพัก +1 ล่วงหน้าสำหรับการแก้ไข!

— whuber

ทำผิดพลาดเหมือนกันในคำอธิบายของฉัน!

— หน้าผา AB

@ ตอนนี้ฉันจริง ๆ แล้วสองคาดเดาความเข้าใจของฉันเองของความแปรปรวนร่วม ปัญหาของฉันคือฉันไม่ได้เน้นความจริงที่ว่าเครื่องชั่งอาจแตกต่างกันหรือฉันขาดสิ่งอื่นใด ฉันเจอคำอธิบาย "กล่อง" ของคุณและฉันไม่เห็นว่ามันจะเป็นเช่นไร

— shadowtalker