ในการถดถอยเชิงเส้นเหตุใดเราจึงควรรวมเทอมกำลังสองเมื่อเราสนใจเฉพาะเงื่อนไขการโต้ตอบ

สมมติว่าฉันสนใจโมเดลการถดถอยเชิงเส้นสำหรับ

ในบันทึกรายวิชาของอาจารย์ (ซึ่งฉันไม่ได้ติดต่อด้วย) จะกล่าวถึง: เมื่อรวมถึงคำศัพท์เชิงโต้ตอบคุณควรรวมคำศัพท์ระดับปริญญาที่สองของพวกเขาไว้ด้วย กล่าวคือ

ทำไมหนึ่งควรรวมถึงข้อกำหนดระดับที่สองเมื่อเราสนใจเฉพาะการโต้ตอบ?

มันขึ้นอยู่กับเป้าหมายของการอนุมาน หากคุณต้องการอนุมานว่ามีการโต้ตอบอยู่หรือไม่ในบริบทเชิงสาเหตุ (หรือโดยทั่วไปถ้าคุณต้องการตีความสัมประสิทธิ์การโต้ตอบ) คำแนะนำนี้จากอาจารย์ของคุณจะสมเหตุสมผลและมันมาจาก ความจริงที่ว่าmisspecification ของรูปแบบการทำงานที่สามารถนำไปสู่ข้อสรุปที่ผิดเกี่ยวกับการมีปฏิสัมพันธ์

นี่คือตัวอย่างง่ายๆที่ไม่มีการโต้ตอบระหว่างคำ $x_1$ และ $x_2$ ในสมการโครงสร้างของ $y$แต่ถ้าคุณไม่รวมคำกำลังสองของ $x_1$คุณจะสรุปผิดอย่างนั้น $x_1$ โต้ตอบกับ $x_2$ เมื่อในความเป็นจริงมันไม่ได้

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

สิ่งนี้สามารถตีความได้ว่าเป็นกรณีของตัวแปรอคติที่ละเว้นและที่นี่ $x_1^2$เป็นตัวแปรที่ละเว้น หากคุณย้อนกลับไปและรวมคำที่ยกกำลังสองในการถดถอยของคุณการโต้ตอบที่ชัดเจนจะหายไป

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

แน่นอนว่าการใช้เหตุผลนี้ไม่เพียง แต่จะนำมาใช้กับข้อตกลงกำลังสอง แต่ยังขาดความชัดเจนของรูปแบบการทำงานโดยทั่วไป เป้าหมายที่นี่คือการสร้างแบบจำลองฟังก์ชั่นการคาดการณ์ตามเงื่อนไขอย่างเหมาะสมเพื่อประเมินการมีปฏิสัมพันธ์ หากคุณ จำกัด ตัวเองในการสร้างแบบจำลองด้วยการถดถอยเชิงเส้นคุณจะต้องรวมคำที่ไม่เชิงเส้นเหล่านี้ด้วยตนเอง แต่ทางเลือกคือการใช้การสร้างแบบจำลองการถดถอยที่ยืดหยุ่นมากขึ้นเช่นเคอร์เนลริดจ์การถดถอยเป็นต้น

ทั้งสองรุ่นที่คุณระบุไว้ในคำตอบสามารถแสดงอีกครั้งเพื่อให้ชัดเจนว่าผลกระทบของ$X_1$ ถูกอ้างถึงว่าขึ้นอยู่กับ $X_2$ (หรือวิธีอื่น ๆ ) ในแต่ละรุ่น

โมเดลแรกสามารถแสดงซ้ำได้เช่นนี้:

ซึ่งแสดงให้เห็นว่าในรุ่นนี้ $X1$ จะถือว่ามีผลเชิงเส้นบน $Y$ การควบคุมผลกระทบของ $X_2$) แต่ขนาดของเอฟเฟกต์เชิงเส้นนี้ - ถูกจับโดยค่าสัมประสิทธิ์ความชันของ $X_1$ - เปลี่ยนเป็นเส้นตรงเป็นฟังก์ชันของ $X_2$. ตัวอย่างเช่นผลกระทบของ$X_1$ บน $Y$ อาจเพิ่มขนาดเมื่อค่าของ $X_2$ เพิ่มขึ้น.

โมเดลที่สองสามารถแสดงซ้ำได้เช่นนี้:

ซึ่งแสดงให้เห็นว่าในรูปแบบนี้ผลกระทบของ $X_1$ บน $Y$ การควบคุมผลกระทบของ $X_2$) ถือว่าเป็นกำลังสองมากกว่าเชิงเส้น เอฟเฟกต์กำลังสองนี้ถูกจับโดยรวมทั้งสองอย่าง$X_1$ และ $X_1^2$ในรูปแบบ ในขณะที่ค่าสัมประสิทธิ์ของ$X_1^2$ จะถือว่าเป็นอิสระจาก $X_2$สัมประสิทธิ์ของ $X_1$ จะถือว่าขึ้นอยู่กับเส้นตรง $X_2$.

การใช้แบบจำลองทั้งสองจะบอกเป็นนัยว่าคุณกำลังตั้งสมมติฐานที่แตกต่างอย่างสิ้นเชิงเกี่ยวกับลักษณะของผลกระทบของ $X_1$ บน $Y$ การควบคุมผลกระทบของ $X_2$)

โดยปกติแล้วคนจะพอดีกับรุ่นแรก จากนั้นพวกเขาอาจพล็อตสิ่งที่เหลือจากแบบจำลองนั้น$X_1$ และ $X_2$ในทางกลับกัน หากส่วนที่เหลือเปิดเผยรูปแบบสมการกำลังสองในส่วนที่เหลือเป็นฟังก์ชั่นของ$X_1$ และ / หรือ $X_2$แบบจำลองสามารถเพิ่มได้ตามลำดับเพื่อให้มี $X_1^2$ และ / หรือ $X_2^2$ (และอาจเป็นการโต้ตอบของพวกเขา)

โปรดทราบว่าฉันลดความซับซ้อนของสัญกรณ์ที่คุณใช้เพื่อความสอดคล้องและทำให้ข้อความแสดงข้อผิดพลาดชัดเจนทั้งสองรุ่น