การประมาณค่าสัมประสิทธิ์การถดถอยไม่เกี่ยวข้องกันหรือไม่?

พิจารณาการถดถอยง่าย (ปกติไม่ได้สันนิษฐาน):ที่คือมีค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน\ประมาณการสแควร์น้อยที่สุดของและไม่เกี่ยวข้องกันหรือไม่?

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

นี่คือการพิจารณาที่สำคัญในการออกแบบการทดลองที่จะสามารถเป็นที่น่าพอใจจะไม่มี (หรือน้อยมาก) ความสัมพันธ์ระหว่างประมาณการและข ขาดดังกล่าวของความสัมพันธ์สามารถทำได้โดยการควบคุมค่าของx_i$\hat a$$\hat b$$X_i$

---

ในการวิเคราะห์ผลกระทบของในการประมาณค่า (ซึ่งเป็นเวกเตอร์แถวของความยาว ) จะถูกรวมเข้าในแนวตั้งเป็นเมทริกซ์ซึ่งเป็นเมทริกซ์การออกแบบซึ่งมีแถวมากเท่าที่มีข้อมูลและ ) สองคอลัมน์ สอดคล้องกันจะถูกรวมเป็นเวกเตอร์ยาวหนึ่งคอลัมน์ ( ) ในข้อตกลงเหล่านี้การเขียนสำหรับค่าสัมประสิทธิ์การประกอบโมเดลคือ$X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

กำลัง (ปกติ) สันนิษฐานว่าจะเป็นตัวแปรสุ่มอิสระที่มีความแปรปรวนเป็นค่าคงที่สำหรับบางอย่างไม่ทราบ0 ขึ้นอยู่กับการสำรวจจะถูกนำไปเป็นหนึ่งในสำนึกของเวกเตอร์ตัวแปรสุ่มY$Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

โซลูชัน OLS คือ

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

สมมติว่าเมทริกซ์ผกผันนี้มีอยู่ ดังนั้นการใช้คุณสมบัติพื้นฐานของการคูณเมทริกซ์และความแปรปรวนร่วม

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

เมทริกซ์มีเพียงสองแถวและคอลัมน์ที่สองที่สอดคล้องกับพารามิเตอร์แบบB) ความสัมพันธ์ของกับเป็นสัดส่วนกับองค์ประกอบปิดเส้นทแยงมุมของซึ่งตามกฎของ Cramerเป็นสัดส่วนกับผลิตภัณฑ์จุดของทั้งสองคอลัมน์ของXเนื่องจากหนึ่งในคอลัมน์คือทั้งหมดวินาทีซึ่งผลคูณดอทกับคอลัมน์อื่น ๆ (ประกอบด้วย ) คือผลรวมของพวกเขาเราจึงพบ$\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$$X_i$

$\hat a$และไม่เกี่ยวข้องถ้าเพียงผลรวม (หรือเท่ากับค่าเฉลี่ย) ของเป็นศูนย์$\hat b$$X_i$

สภาพตั้งฉากนี้มักจะทำได้โดยrecentering (โดยการลบของพวกเขาเฉลี่ยจากกัน) แม้ว่านี่จะไม่เปลี่ยนแปลงประมาณลาดก็ไม่เปลี่ยนประมาณตัดหมวก ไม่ว่าจะมีความสำคัญหรือไม่นั้นขึ้นอยู่กับแอพพลิเคชั่น$X_i$$\hat b$$\hat a$

---

การวิเคราะห์นี้นำไปใช้กับการถดถอยหลายครั้ง: เมทริกซ์การออกแบบจะมีคอลัมน์สำหรับตัวแปรอิสระ (คอลัมน์เพิ่มเติมประกอบด้วยวินาที) และจะเป็นเวกเตอร์ที่มีความยาวแต่ไม่เช่นนั้นทุกอย่างจะผ่านเหมือนเดิม $p+1$$p$$1$$\beta$$p+1$

ในภาษาทั่วไปสองคอลัมน์ของเรียกว่าorthogonalเมื่อผลคูณของจุดเป็นศูนย์ เมื่อคอลัมน์หนึ่งของ (พูดคอลัมน์ ) เป็น orthogonal สำหรับคอลัมน์อื่น ๆ ทั้งหมดมันเป็นความจริงเกี่ยวกับพีชคณิตที่แสดงให้เห็นได้อย่างง่ายดายว่ารายการนอกแนวทแยงมุมทั้งหมดในแถวและคอลัมน์ของเป็นศูนย์ (นั่นคือองค์ประกอบของและสำหรับทั้งหมดเป็นศูนย์) ดังนั้น$X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

ค่าสัมประสิทธิ์การถดถอยสองค่าประมาณและไม่ได้รับการเมื่อใดก็ตาม (หรือทั้งสองอย่าง) ของคอลัมน์ที่สอดคล้องกันของเมทริกซ์การออกแบบนั้นมีมุมฉากกับคอลัมน์อื่นทั้งหมด$\hat\beta_i$$\hat\beta_j$

การออกแบบการทดลองมาตรฐานจำนวนมากประกอบด้วยการเลือกค่าของตัวแปรอิสระเพื่อสร้างคอลัมน์มุมฉากร่วมกัน สิ่งนี้ "แยก" การประมาณผลลัพธ์ที่เกิดจากการรับประกัน - ก่อนที่จะมีการรวบรวมข้อมูลใด ๆ ! - ว่าการประมาณการนั้นจะไม่เกี่ยวข้องกัน (เมื่อคำตอบมีการแจกแจงแบบปกติสิ่งนี้แสดงถึงการประมาณการจะเป็นอิสระซึ่งทำให้การตีความของพวกเขาง่ายขึ้นมาก)