โดยการสร้างคำผิดพลาดในแบบจำลอง OLS นั้นไม่มีความสัมพันธ์กับค่าที่สังเกตของ X covariates สิ่งนี้จะเป็นจริงสำหรับข้อมูลที่สังเกตแม้ว่าตัวแบบจะให้ค่าประมาณแบบเอนเอียงที่ไม่สะท้อนค่าที่แท้จริงของพารามิเตอร์เพราะข้อสันนิษฐานของแบบจำลองถูกละเมิด (เช่นปัญหาตัวแปรที่ละเว้นหรือปัญหาที่มีสาเหตุเชิงย้อนกลับ) ค่าที่ทำนายนั้นเป็นหน้าที่ของ covariates ทั้งหมดดังนั้นพวกมันจึงไม่ได้มีความสัมพันธ์กับเทอมที่ผิดพลาด ดังนั้นเมื่อคุณพล็อตส่วนที่เหลือเทียบกับค่าที่คาดการณ์พวกเขาควรดูแบบสุ่มเพราะพวกเขาไม่ได้ถูกจำแนกโดยการสร้างตัวประมาณ ในทางตรงกันข้ามมันเป็นไปได้ทั้งหมด (และน่าจะเป็นจริง) สำหรับคำผิดพลาดของโมเดลที่สัมพันธ์กับ Y ในทางปฏิบัติ ตัวอย่างเช่นเมื่อใช้ตัวแปร dichotomous X ยิ่งค่า Y ที่แท้จริงนั้นมาจากใดE(Y | X = 1)หรือE(Y | X = 0)ส่วนที่เหลือก็จะมากขึ้น นี่คือสัญชาตญาณเดียวกันกับข้อมูลจำลองใน R ที่เรารู้ว่าแบบจำลองนั้นไม่เอนเอียงเพราะเราควบคุมกระบวนการสร้างข้อมูล:
rm(list=ls())
set.seed(21391209)
trueSd <- 10
trueA <- 5
trueB <- as.matrix(c(3,5,-1,0))
sampleSize <- 100
# create independent x-values
x1 <- rnorm(n=sampleSize, mean = 0, sd = 4)
x2 <- rnorm(n=sampleSize, mean = 5, sd = 10)
x3 <- 3 + x1 * 4 + x2 * 2 + rnorm(n=sampleSize, mean = 0, sd = 10)
x4 <- -50 + x1 * 7 + x2 * .5 + x3 * 2 + rnorm(n=sampleSize, mean = 0, sd = 20)
X = as.matrix(cbind(x1,x2,x3,x4))
# create dependent values according to a + bx + N(0,sd)
Y <- trueA + X %*% trueB +rnorm(n=sampleSize,mean=0,sd=trueSd)
df = as.data.frame(cbind(Y,X))
colnames(df) <- c("y", "x1", "x2", "x3", "x4")
ols = lm(y~x1+x2+x3+x4, data = df)
y_hat = predict(ols, df)
error = Y - y_hat
cor(y_hat, error) #Zero
cor(Y, error) #Not Zero
เราได้ผลลัพธ์เดียวกันโดยไม่มีสหสัมพันธ์กับตัวแบบเอนเอียงตัวอย่างเช่นถ้าเราละเว้น x1.
ols2 = lm(y~x2+x3+x4, data = df)
y_hat2 = predict(ols2, df)
error2 = Y - y_hat2
cor(y_hat2, error2) #Still zero
cor(Y, error2) #Not Zero
