เหตุใดความชัน 1 เสมอเมื่อทำการถดถอยข้อผิดพลาดในส่วนที่เหลือโดยใช้ OLS

ฉันกำลังทดสอบความสัมพันธ์ระหว่างข้อผิดพลาดและส่วนที่เหลือโดยใช้การจำลองแบบง่าย ๆ ในอาร์สิ่งหนึ่งที่ฉันพบคือไม่ว่าขนาดตัวอย่างหรือความแปรปรวนข้อผิดพลาดฉันได้สำหรับความชันเสมอเมื่อคุณพอดีกับโมเดล$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

นี่คือการจำลองที่ฉันทำ:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eและrมีความสัมพันธ์สูง (แต่ไม่สมบูรณ์) แม้กระทั่งสำหรับกลุ่มตัวอย่างขนาดเล็ก แต่ฉันไม่สามารถเข้าใจได้ว่าทำไมสิ่งนี้ถึงเกิดขึ้นโดยอัตโนมัติ คำอธิบายทางคณิตศาสตร์หรือเรขาคณิตจะได้รับการชื่นชม

คำตอบของ whuber นั้นยอดเยี่ยมมาก! (+1) ฉันใช้ปัญหากับสัญกรณ์ที่ฉันคุ้นเคยมากที่สุดและคิดว่าการได้มา (น่าสนใจน้อยลงและกิจวัตรมากขึ้น) อาจคุ้มค่าที่จะรวมไว้ที่นี่

ปล่อยให้เป็นแบบจำลองการถดถอยสำหรับX ∈ R n × pและϵเสียง จากนั้นการถดถอยของปีกับคอลัมน์ของXมีสมการปกติX T ( Y - X β ) = 0 ,ประมาณการผลผลิตβ = ( X T X ) - 1 X T$y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ ดังนั้นการถดถอยมีเหลือสำหรับH = X ( X T X ) - 1 X T $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

การถดถอยกับrทำให้ได้ผลลัพธ์โดยประมาณที่กำหนดโดย ( r T r ) - 1 r T$\epsilon$$r$

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

$1^T r = 0$

$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

$\beta x$$e$$Y$$bx$$Y-bx$$r$

$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$$1$

---

$r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$