การถดถอยเชิงเส้นหลายตัวแปรกับแบบจำลองการถดถอยหลายตัวแปร

ในการตั้งค่าการถดถอยแบบไม่รวมตัวแปรเราพยายามทำแบบจำลอง

ที่เวกเตอร์ของการสังเกตและเมทริกซ์การออกแบบด้วยทำนาย การแก้ปัญหาคือ(X$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

ในการตั้งค่าการถดถอยหลายตัวแปรเราพยายามสร้างแบบจำลอง

ที่เป็นเมทริกซ์ของการสังเกตและตัวแปรแฝงที่แตกต่างกันการแก้ปัญหาคือ(X$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

คำถามของฉันเป็นอย่างไรที่แตกต่างจากการดำเนินการถดถอยเชิงเส้นที่แตกต่างกันอย่างไร ? ฉันอ่านที่นี่ว่าในกรณีหลังเราคำนึงถึงความสัมพันธ์ระหว่างตัวแปรตาม แต่ฉันไม่เห็นจากคณิตศาสตร์$p$

ในการตั้งค่าของการถดถอยเชิงเส้นหลายตัวแปรคลาสสิกเรามีรูปแบบ:

โดยที่แทนตัวแปรอิสระหมายถึงตัวแปรตอบสนองหลายตัวและเป็นคำที่มีเสียงรบกวน iid Gaussian เสียงรบกวนมีค่าเฉลี่ยเป็นศูนย์และสามารถมีความสัมพันธ์ข้ามตัวแปรการตอบสนอง วิธีแก้ปัญหาความน่าจะเป็นสูงสุดสำหรับน้ำหนักนั้นเทียบเท่ากับวิธีกำลังสองน้อยที่สุด (โดยไม่คำนึงถึงสหสัมพันธ์เสียง) [1] [2]:$X$$Y$$\epsilon$

สิ่งนี้เทียบเท่ากับการแก้ปัญหาการถดถอยแยกต่างหากสำหรับตัวแปรตอบกลับแต่ละตัว สิ่งนี้สามารถเห็นได้จากข้อเท็จจริงที่ว่าคอลัมน์ th ของ (มีน้ำหนักสำหรับตัวแปรเอาต์พุต th) สามารถรับได้โดยการคูณโดยคอลัมน์ที่ของ (มีค่าของตัวแปรตอบสนองที่ )$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

อย่างไรก็ตามการถดถอยเชิงเส้นหลายตัวแปรแตกต่างจากการแก้ปัญหาการถดถอยแยกจากกันเนื่องจากขั้นตอนการอนุมานทางสถิติมีความสัมพันธ์กันระหว่างตัวแปรตอบสนองหลายตัวแปร (เช่นดู [2], [3], [4]) ตัวอย่างเช่นเมทริกซ์ความแปรปรวนร่วมทางเสียงปรากฏขึ้นในการแจกแจงตัวอย่างสถิติการทดสอบและการประมาณช่วงเวลา

ความแตกต่างอื่นเกิดขึ้นถ้าเราอนุญาตให้ตัวแปรตอบกลับแต่ละชุดมีตัวแปร covariates ของตัวเอง:

โดยที่แสดงถึงตัวแปรตอบสนองที่และและแสดงถึงชุดของ covariates และคำที่มีเสียงรบกวน ดังที่กล่าวมาข้อกำหนดด้านเสียงสามารถมีความสัมพันธ์ข้ามตัวแปรการตอบสนอง ในการตั้งค่านี้มีตัวประมาณที่มีประสิทธิภาพมากกว่าสี่เหลี่ยมจัตุรัสน้อยที่สุดและไม่สามารถลดลงเพื่อแก้ปัญหาการถดถอยแยกสำหรับตัวแปรตอบสนองแต่ละตัว ตัวอย่างเช่นดู [1]$Y_i$$i$$X_i$$\epsilon_i$

อ้างอิง

1. Zellner (1962) วิธีที่มีประสิทธิภาพในการประมาณค่าการถดถอยและการทดสอบที่ไม่เกี่ยวข้อง
2. Helwig (2017) การถดถอยเชิงเส้นหลายตัวแปร [สไลด์]
3. ฟ็อกซ์และไวส์เบิร์ก (2011) ตัวแบบเชิงเส้นหลายตัวแปรใน R [ภาคผนวกถึง: ตัว Companion R กับการถดถอยแบบประยุกต์]
4. Maitra (2013) แบบจำลองการถดถอยเชิงเส้นหลายตัวแปร [สไลด์]