ทางเลือกของการหาค่าสัมประสิทธิ์ OLS

ในอีกคำถามหนึ่งของฉันผู้ตอบใช้ค่าสัมประสิทธิ์ OLS ต่อไปนี้:

เรามีรูปแบบ:ที่ไม่มีการตรวจสอบ จากนั้นเรามี:ที่และ ]
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ $PLIM {\hat{β}}_{1} = β_{1} + γ \frac{ค โอ โวลต์ (X_{1}^{* * * *}, Z)}{V a R (X_{1}^{* * * *})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

มันดูแตกต่างจากปกติที่ฉันเคยเห็นในเศรษฐมิติ มีการแสดงออกที่ชัดเจนของที่มานี้หรือไม่ มีชื่อสำหรับเมทริกซ์หรือไม่? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— ไฮเซนเบิร์ก
แหล่งที่มา

ฉันค่อนข้างแน่ใจว่ามันได้อธิบายไว้ในบันทึกการบรรยายของ Hansen แต่ตอนนี้ฉันยังไม่มีมันอยู่ในมือ

— FooBar

$\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ เมทริกซ์คือเมทริกซ์ "ตัวทำลาย" หรือเมทริกซ์ "ตัวสร้างส่วนที่เหลือ" ที่เกี่ยวข้องกับเมทริกซ์ $\mathbf X$ . มันถูกเรียกว่า "annihilator" เพราะ $\mathbf M\mathbf X =0$ (สำหรับตัวมันเอง $X$ แน่นอนว่าเมทริกซ์) ถูกเรียกว่า "เครื่องทำที่เหลือ" เพราะ $\mathbf M \mathbf y =\mathbf {\hat e}$ ในการถดถอย $\mathbf y = \mathbf X \beta + \mathbf e$ .

มันเป็นเมทริกซ์สมมาตรและ idempotent มันถูกใช้ในการพิสูจน์ทฤษฎีบทเกาส์ - มาร์คอฟ

ยิ่งไปกว่านั้นมันถูกใช้ในทฤษฎีบท Frisch – Waugh – Lovellซึ่งสามารถรับผลลัพธ์สำหรับ "การแบ่งพาร์ติชันถดถอย" ซึ่งบอกว่าในรูปแบบ (ในรูปแบบเมทริกซ์)

y = X_{1} β_{1} + X_{2} β_{2} + ยู

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

เรามีสิ่งนั้น

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

ตั้งแต่ $\mathbf M_2$ เป็น idempotent เราสามารถเขียนใหม่ข้างต้นโดย

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

และตั้งแต่ $M_2$ ยังเป็นสมมาตรที่เรามี

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

แต่นี่เป็นตัวประมาณกำลังสองน้อยที่สุดจากตัวแบบ

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

และนอกจากนี้ยังมี $\mathbf M_2\mathbf y$ เป็นสิ่งตกค้างจากการถดถอย $\mathbf y$ บนเมทริกซ์ $\mathbf X_2$ เท่านั้น

ในคำอื่น ๆ : 1) ถ้าเราถดถอย $\mathbf y$ บนเมทริกซ์ $\mathbf X_2$ เท่านั้นแล้วถอยหลังส่วนที่เหลือจากการประมาณค่านี้ในเมทริกซ์ $\mathbf M_2\mathbf X_1$ เพียง $\hat \beta_1$ ค่าประมาณที่เราจะได้รับจะเท่ากับทางคณิตศาสตร์เท่ากับค่าที่เราจะได้รับถ้าเราถดถอย $\mathbf y$ ทั้ง $\mathbf X_1$ และ $\mathbf X_2$ พร้อมกันในเวลาเดียวกันเป็นหลายถดถอยปกติ

ทีนี้สมมติว่า $\mathbf X_1$ ไม่ใช่เมทริกซ์ แต่มีเพียงหนึ่ง regressor พูด $\mathbf x_1$ . แล้วก็ $\mathbf M_2 \mathbf x_1$ คือเศษเหลือจากการถดถอยตัวแปร $X_1$ บน regressor matrix $\mathbf X_2$ . และนี่คือสัญชาตญาณที่นี่: $\hat \beta_1$ ทำให้เรามีผลกระทบที่ "ส่วนหนึ่งของ $X_1$ ที่ไม่ได้อธิบายโดย $\mathbf X_2$ "มีต่อ" ส่วนของ $Y$ ที่เหลือไม่ได้อธิบายโดย $\mathbf X_2$ "

นี่คือส่วนที่เป็นสัญลักษณ์ของพีชคณิต Least-Squares คลาสสิก

— Alecos Papadopoulos
แหล่งที่มา

เริ่มตอบ แต่ฉันมีจำนวนมากทับซ้อนกับคำตอบนี้ คุณสามารถหาข้อมูลนี้ได้มากมายในบทที่ 3.2.4 ของ "การวิเคราะห์เศรษฐมิติ" ครั้งที่ 7 โดย Bill Greene

— cc7768

@ cc7768 ใช่มันเป็นแหล่งที่ดีสำหรับพีชคณิตกำลังสองน้อยที่สุด แต่อย่าลังเลที่จะโพสต์เนื้อหาเพิ่มเติม ยกตัวอย่างเช่นคำตอบของฉันครอบคลุมเฉพาะคำถามที่สองของ OP

— Alecos Papadopoulos

@AlcosPapadopoulos คุณบอกว่าถ้าเราถดถอย

M_{2} y

$\mathbf M_2y$ บน

X_{1}

$\mathbf X_1$ เรายังได้รับ

{\hat{β}}_{1}

$\hat \beta_1$ . แต่ไม่ใช่สมการที่บอกว่าถอยหลัง

M_{2} y

$\mathbf M_2y$ บน

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$ แทน?

— ไฮเซนเบิร์ก

@ Heisenberg ถูกต้อง สะกดผิด แก้ไขและเพิ่มอีกเล็กน้อย

— Alecos Papadopoulos