การเพิ่ม IV ที่ 2 ทำให้ IV ที่ 1 มีความหมายได้อย่างไร?

64

ฉันมีสิ่งที่อาจเป็นคำถามง่าย ๆ แต่มันทำให้ฉันงุนงงตอนนี้ดังนั้นฉันหวังว่าคุณจะสามารถช่วยฉันออก

ฉันมีรูปแบบการถดถอยกำลังสองน้อยที่สุดโดยมีตัวแปรอิสระหนึ่งตัวและตัวแปรตามหนึ่งตัว ความสัมพันธ์ไม่สำคัญ ตอนนี้ฉันเพิ่มตัวแปรอิสระตัวที่สอง ตอนนี้ความสัมพันธ์ระหว่างตัวแปรอิสระตัวแรกกับตัวแปรตามกลายเป็นสิ่งสำคัญ

มันทำงานอย่างไร นี่อาจแสดงให้เห็นถึงปัญหาบางอย่างกับความเข้าใจของฉัน แต่สำหรับฉัน แต่ฉันไม่เห็นว่าการเพิ่มตัวแปรอิสระตัวที่สองนี้สามารถสร้างความสำคัญครั้งแรกได้อย่างไร

— EvKohl
แหล่งที่มา

4

นี่เป็นหัวข้อที่ถูกกล่าวถึงอย่างกว้างขวางในเว็บไซต์นี้ นี่อาจเป็นเพราะ collinearity ทำการค้นหา "collinearity" และคุณจะพบกระทู้ที่เกี่ยวข้องหลายสิบรายการ ผมขอแนะนำให้อ่านบางคำตอบที่จะstats.stackexchange.com/questions/14500/...

— มาโคร

3

ความเป็นไปได้ที่ซ้ำกันของตัวทำนายที่สำคัญจะไม่สำคัญในการถดถอยโลจิสติกหลายครั้ง มีหลายเธรดซึ่งเป็นสำเนาที่มีประสิทธิภาพ - นั่นคือสิ่งที่ใกล้เคียงที่สุดที่ฉันสามารถหาได้ในเวลาไม่เกินสองนาที

— มาโคร

3

นี่เป็นปัญหาตรงข้ามของหนึ่งในเธรด @ แมโครที่เพิ่งค้นพบ แต่เหตุผลนั้นคล้ายกันมาก

— Peter Flom

3

@Macro ฉันคิดว่าคุณพูดถูกว่านี่อาจจะซ้ำกัน แต่ฉันคิดว่าปัญหาที่นี่แตกต่างจากคำถาม 2 ข้อด้านบนเล็กน้อย OP ไม่ได้อ้างถึงความสำคัญของ model-as-a-all และไม่กลายเป็นตัวแปรที่ไม่มีนัยสำคัญ w / เพิ่มเติม IV ฉันสงสัยว่านี่ไม่ได้เกี่ยวกับความหลากหลาย แต่เกี่ยวกับพลังหรือการปราบปราม

— gung - Reinstate Monica

3

ยัง @gung ปราบปรามในรูปแบบเชิงเส้นเพียงเกิดขึ้นเมื่อมี collinearity - ความแตกต่างเป็นเรื่องเกี่ยวกับการตีความเพื่อให้ "นี้ไม่เกี่ยวกับพหุ แต่เกี่ยวกับการปราบปรามอาจจะ" ตั้งค่าขั้วทำให้เข้าใจผิด

— มาโคร

78

แม้ว่า collinearity (ของตัวแปรทำนาย) เป็นคำอธิบายที่เป็นไปได้ แต่ฉันอยากจะแนะนำว่ามันไม่ใช่คำอธิบายที่ให้ความกระจ่างเพราะเรารู้ว่า collinearity นั้นเกี่ยวข้องกับ "ข้อมูลทั่วไป" ในกลุ่มผู้ทำนายดังนั้นจึงไม่มีอะไรลึกลับหรือตอบโต้เกี่ยวกับด้าน ผลของการแนะนำตัวทำนายความสัมพันธ์ที่สองลงในแบบจำลอง

ให้เราพิจารณากรณีของผู้ทำนายสองคนที่เป็นมุมฉากอย่างแท้จริง : ไม่มีความเป็นคู่กันในหมู่พวกเขา การเปลี่ยนแปลงที่สำคัญในเรื่องสำคัญยังคงเกิดขึ้นได้

กำหนดตัวแปรตัวทำนายและและให้ตั้งชื่อตัวทำนาย การถดถอยของเทียบกับจะล้มเหลวอย่างมีนัยสำคัญเมื่อความแปรปรวนในรอบค่าเฉลี่ยไม่ลดลงอย่างเห็นได้ชัดเมื่อใช้เป็นตัวแปรอิสระ เมื่อรูปแบบที่มีความเกี่ยวข้องอย่างมากกับสองตัวแปร ,แต่สถานการณ์ที่มีการเปลี่ยนแปลง โปรดจำไว้ว่าการถดถอยหลายครั้งของเทียบกับและเทียบเท่า $X_1$ $X_2$ $Y$ $Y$ $X_1$ $Y$ $X_1$ $X_2$ $Y$ $X_1$ $X_2$

แยกถอยหลังและกับ 2 $Y$ $X_1$ $X_2$
ถอยหลังเหลือกับเหลือ $Y$ $X_1$

เหลือจากขั้นตอนแรกได้ลบผลกระทบของ 2เมื่อมีความสัมพันธ์อย่างใกล้ชิดกับสิ่งนี้สามารถเปิดเผยความแปรปรวนจำนวนเล็กน้อยที่ถูกหลอกลวงก่อนหน้านี้ ถ้านี้รูปแบบที่มีความเกี่ยวข้องกับเราได้รับผลอย่างมีนัยสำคัญ $X_2$ $X_2$ $Y$ $X_1$

ทั้งหมดนี้อาจจะชี้แจงด้วยตัวอย่างที่เป็นรูปธรรม ในการเริ่มต้นให้ใช้Rเพื่อสร้างตัวแปรอิสระสองมุมฉากพร้อมกับข้อผิดพลาดแบบสุ่มอิสระ : $\varepsilon$

n <- 32
set.seed(182)
u <-matrix(rnorm(2*n), ncol=2)
u0 <- cbind(u[,1] - mean(u[,1]), u[,2] - mean(u[,2]))
x <- svd(u0)$u
eps <- rnorm(n)

( svdขั้นตอนนี้ทำให้มั่นใจได้ว่าทั้งสองคอลัมน์ของเมทริกซ์x(แทนและ ) เป็นแบบมุมฉากโดยพิจารณาความเป็นเส้นตรงเป็นคำอธิบายที่เป็นไปได้ของผลที่ตามมาใด ๆ ) $X_1$ $X_2$

จากนั้นสร้างเป็นชุดเชิงเส้นของและข้อผิดพลาด ฉันได้ปรับค่าสัมประสิทธิ์เพื่อสร้างพฤติกรรมต่อต้านการใช้งานง่าย: $Y$ $X$

y <-  x %*% c(0.05, 1) + eps * 0.01

นี่คือการรับรู้ของโมเดลกับราย $Y \sim_{iid} N(0.05 X_1 + 1.00 X_2, 0.01^2)$ $n=32$

ดูการถดถอยทั้งสองที่เป็นปัญหา ก่อนอื่นถอยหลังเทียบกับเท่านั้น: $Y$ $X_1$

> summary(lm(y ~ x[,1]))
...
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.002576   0.032423  -0.079    0.937
x[, 1]       0.068950   0.183410   0.376    0.710

ค่า p ที่สูงถึง 0.710 แสดงว่านั้นไม่มีนัยสำคัญอย่างสมบูรณ์ $X_1$

ถัดไปถอยหลังกับและ : $Y$ $X_1$ $X_2$

> summary(lm(y ~ x))
...
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.002576   0.001678  -1.535    0.136    
x1           0.068950   0.009490   7.265 5.32e-08 ***
x2           1.003276   0.009490 105.718  < 2e-16 ***

ทันใดนั้นในการปรากฏตัวของ , มีความสำคัญอย่างยิ่งตามที่ระบุโดยค่า p- ใกล้ศูนย์สำหรับตัวแปรทั้งสอง $X_2$ $X_1$

เราสามารถเห็นภาพพฤติกรรมนี้ได้โดยใช้เมทริกซ์กระจายของตัวแปร , และพร้อมกับส่วนที่เหลือที่ใช้ในการอธิบายลักษณะสองขั้นตอนของการถดถอยหลายแบบด้านบน เนื่องจากและเป็น orthogonal ค่าจะเท่ากับดังนั้นจึงไม่จำเป็นต้องวาดใหม่ เราจะรวมส่วนที่เหลือของเทียบกับในเมทริกซ์สแคทเทอร์พล็อต $X_1$ $X_2$ $Y$ $X_1$ $X_2$ $X_1$ $X_1$ $Y$ $X_2$

lmy <- lm(y ~ x[,2])
d <- data.frame(X1=x[,1], X2=x[,2], Y=y, RY=residuals(lmy))
plot(d)

นี่คือการเรนเดอร์ของมัน (พร้อม prettification เล็กน้อย):

เมทริกซ์ของกราฟิกนี้มีสี่แถวและสี่คอลัมน์ซึ่งฉันจะนับถอยหลังจากด้านบนและจากซ้ายไปขวา

หมายเหตุ:

scatterplot ในแถวที่สองและคอลัมน์แรกยืนยันตั้งฉากของการทำนายเหล่านี้: น้อยเส้นสี่เหลี่ยมเป็นแนวนอนและความสัมพันธ์เป็นศูนย์ $(X_1, X_2)$
scatterplot ในแถวที่สามและคอลัมน์แรกแสดงถึงความสัมพันธ์เล็กน้อย แต่ไม่มีนัยสำคัญอย่างสมบูรณ์รายงานโดยการถดถอยแรกของกับ 1(ค่าสัมประสิทธิ์สหสัมพันธ์, , เพียง ) $(X_1, Y)$ $Y$ $X_1$ $\rho$ $0.07$
scatterplot ในแถวที่สามและคอลัมน์ที่สองแสดงให้เห็นถึงความสัมพันธ์ที่แข็งแกร่งระหว่างและตัวแปรอิสระที่สอง (ค่าสัมประสิทธิ์สหสัมพันธ์เท่ากับ ) $(X_2, Y)$ $Y$ $0.996$
แถวที่สี่ตรวจสอบความสัมพันธ์ระหว่างส่วนที่เหลือของ (ถดถอยกับ ) และตัวแปรอื่น ๆ : $Y$ $X_2$
- ขนาดในแนวตั้งแสดงให้เห็นว่าสิ่งตกค้างที่มี (ค่อนข้าง) ค่อนข้างเล็ก: เราไม่สามารถเห็นได้อย่างง่ายดายพวกเขาใน scatterplot ของกับ 2 $Y$ $X_2$
- ส่วนที่เหลือมีความสัมพันธ์อย่างยิ่งกับ ( ) การถดถอยต่อได้เปิดโปงพฤติกรรมที่ซ่อนอยู่ก่อนหน้านี้ $X_1$ $\rho = 0.80$ $X_2$
- โดยการก่อสร้างไม่มีความสัมพันธ์ที่เหลืออยู่ระหว่างสิ่งตกค้างและ 2 $X_2$
- มีความสัมพันธ์กันเล็กน้อยระหว่างกับสิ่งตกค้างเหล่านี้ ( ) นี้แสดงให้เห็นว่าเหลือสามารถปฏิบัติตนอย่างสิ้นเชิงที่แตกต่างกว่าตัวเอง นั่นคือวิธีที่สามารถเปิดเผยได้ในทันทีในฐานะผู้สนับสนุนที่สำคัญต่อการถดถอย $Y$ $\rho = 0.09$ $Y$ $X_1$

ในที่สุดก็เป็นที่น่าสังเกตว่าทั้งสองประมาณการของค่าสัมประสิทธิ์ (ทั้งสองเท่ากับไม่ไกลจากค่าที่ตั้งใจไว้ที่ ) เห็นด้วยเพียงเพราะและเป็น orthogonal ยกเว้นในการทดลองออกแบบมันเป็นเรื่องยากสำหรับ orthogonality ที่จะถืออย่างแน่นอน การออกเดินทางจาก orthogonality มักจะทำให้ค่าประมาณสัมประสิทธิ์การเปลี่ยนแปลง $X_1$ $0.06895$ $0.05$ $X_1$ $X_2$

— whuber
แหล่งที่มา

ดังนั้นฉันเข้าใจว่า

อธิบายความแปรปรวนที่

ไม่ได้ สิ่งนี้ต้องการให้

มีความหมายมากกว่า

หรือไม่? หรือ

สามารถทำให้มีนัยสำคัญโดยไม่มีนัยสำคัญของ

หรือไม่?

X_{1}

$X_1$

X_{2}

$X_2$

X_{2}

$X_2$

X_{1}

$X_1$

X_{1}

$X_1$

X_{2}

$X_2$

— Ronald

@ Ronald ฉันเชื่อว่าคำตอบสำหรับคำถามของคุณไม่ใช่และใช่ตามลำดับ คุณสามารถค้นหาโดยการแก้ไขตัวอย่างในคำตอบนี้: เปลี่ยนค่าสัมประสิทธิ์ (0.05 และ 0.01) ในโมเดลและจำนวนเคส (

) เพื่อดูว่าเกิดอะไรขึ้น

n = 32

$n=32$

— whuber

23

ฉันคิดว่าปัญหานี้ได้รับการพูดคุยกันก่อนหน้านี้ในเว็บไซต์นี้อย่างละเอียดถี่ถ้วนถ้าคุณเพิ่งรู้ว่าจะดู ดังนั้นฉันอาจจะเพิ่มความคิดเห็นในภายหลังด้วยการเชื่อมโยงกับคำถามอื่น ๆ หรืออาจแก้ไขเพื่อให้คำอธิบายที่สมบูรณ์กว่านี้หากฉันไม่พบ

มีความเป็นไปได้พื้นฐานสองประการ: ประการแรก IV อื่น ๆ อาจดูดซับความแปรปรวนที่เหลืออยู่บางส่วนและเพิ่มกำลังของการทดสอบทางสถิติของ IV เริ่มต้น ความเป็นไปได้ที่สองคือคุณมีตัวแปรตัวต้าน นี้เป็นเรื่องที่มากเคาน์เตอร์ แต่คุณสามารถหาข้อมูลบางอย่างที่นี่ * ที่นี่หรือนี้ด้าย CV ที่ดีเยี่ยม

_{* โปรดทราบว่าคุณต้องอ่านตลอดทางจนถึงด้านล่างเพื่อไปยังส่วนที่อธิบายตัวแปรตัวต้านคุณสามารถข้ามไปที่นั่นได้ แต่คุณจะได้รับการบริการที่ดีที่สุดโดยการอ่านทั้งหมด}

แก้ไข: ตามที่สัญญาไว้ฉันกำลังเพิ่มคำอธิบายที่ละเอียดยิ่งขึ้นเกี่ยวกับประเด็นที่ว่า IV อื่นสามารถดูดซับความแปรปรวนที่เหลือบางส่วนและทำให้เพิ่มพลังของการทดสอบทางสถิติของ IV เริ่มต้น @whuber เพิ่มตัวอย่างที่น่าประทับใจ แต่ฉันคิดว่าฉันอาจเพิ่มตัวอย่างฟรีที่อธิบายปรากฏการณ์นี้ในลักษณะที่แตกต่างกันซึ่งอาจช่วยให้บางคนเข้าใจปรากฏการณ์ได้ชัดเจนยิ่งขึ้น นอกจากนี้ฉันแสดงให้เห็นว่า IV ที่สองไม่จำเป็นต้องมีความเกี่ยวข้องมากขึ้น (แม้ว่าในทางปฏิบัติมันมักจะเกิดขึ้นกับปรากฏการณ์นี้)

Covariates ในตัวแบบการถดถอยสามารถทดสอบด้วย -tests โดยการหารการประมาณพารามิเตอร์ด้วยข้อผิดพลาดมาตรฐานหรือพวกเขาสามารถทดสอบกับการทดสอบแบบโดยการแบ่งพาร์ติชันของผลบวกของกำลังสอง เมื่อใช้ Type III SS วิธีการทดสอบทั้งสองนี้จะเทียบเท่ากัน (สำหรับประเภท SS และการทดสอบที่เกี่ยวข้องเพิ่มเติมอาจช่วยอ่านคำตอบของฉันได้ที่นี่: วิธีตีความ Type I SS ) สำหรับผู้ที่เพิ่งเริ่มเรียนรู้เกี่ยวกับวิธีการถดถอยการทดสอบแบบมักเป็นจุดสนใจเพราะพวกเขาดูเหมือนจะเข้าใจง่ายขึ้น อย่างไรก็ตามนี่เป็นกรณีที่ฉันคิดว่าการดูตาราง ANOVA มีประโยชน์มากกว่า ลองเรียกคืนตาราง ANOVA พื้นฐานสำหรับโมเดลการถดถอยอย่างง่าย: $t$ $F$ $t$

\begin{array}{lllll} Source & SS & df & MS & F \\ x_{1} & \sum ({\hat{y}}_{i} - \bar{y})^{2} & 1 & \frac{{SS}_{x_{1}}}{{df}_{x_{1}}} & \frac{{MS}_{x_{1}}}{{MS}_{r e s}} \\ Residual & \sum (y_{i} - {\hat{y}}_{i})^{2} & N - (1 + 1) & \frac{{SS}_{r e s}}{{df}_{r e s}} \\ Total & \sum (y_{i} - \bar{y})^{2} & N - 1 \end{array}

$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_i-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(1+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$

นี่เป็นค่าเฉลี่ยของ , เป็นค่าสังเกตของสำหรับหน่วย (เช่นผู้ป่วย) , คือค่าคาดการณ์ของแบบจำลองสำหรับหน่วยและคือจำนวนของหน่วยงานในการศึกษา หากคุณมีรูปแบบการถดถอยหลายแบบที่มีค่ามุมฉากสองตัวตาราง ANOVA อาจถูกสร้างขึ้นเช่น: $\bar y$ $y$ $y_i$ $y$ $i$ $\hat y_i$ $i$ $N$

\begin{array}{lllll} แหล่ง & เอสเอส & DF & นางสาว & F \\ x_{1} & Σ ({\hat{Y}}_{x_{1 ผม} {\bar{x}}_{2}} - \bar{Y})^{2} & 1 & \frac{{เอสเอส}_{x_{1}}}{{DF}_{x_{1}}} & \frac{{นางสาว}_{x_{1}}}{{นางสาว}_{R อี s}} \\ x_{2} & Σ ({\hat{Y}}_{{\bar{x}}_{1} x_{2 ผม}} - \bar{Y})^{2} & 1 & \frac{{เอสเอส}_{x_{2}}}{{DF}_{x_{2}}} & \frac{{นางสาว}_{x_{2}}}{{นางสาว}_{R อี s}} \\ เหลือ & Σ (Y_{ผม} - {\hat{Y}}_{ผม})^{2} & ยังไม่มีข้อความ - (2 + 1) & \frac{{เอสเอส}_{R อี s}}{{DF}_{R อี s}} \\ รวม & Σ (Y_{ผม} - \bar{Y})^{2} & ยังไม่มีข้อความ - 1 \end{array}

$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_{x_{1i}\bar x_2}-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &x_2 &\sum(\hat y_{\bar x_1x_{2i}}-\bar y)^2 &1 &\frac{\text{SS}_{x_2}}{\text{df}_{x_2}} &\frac{\text{MS}_{x_2}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(2+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$

นี่ , ตัวอย่างเช่นเป็นค่าที่คาดการณ์ไว้สำหรับหน่วยถ้าค่าสังเกตสำหรับเป็นค่าสังเกตของจริง แต่ค่าสังเกตสำหรับเป็นค่าเฉลี่ยของ 2แน่นอนว่าเป็นไปได้ที่เป็นค่าที่สังเกตได้ของ $\hat y_{x_{1i}\bar x_2}$ $i$ $x_1$ $x_2$ $x_2$ $\bar x_2$ $x_2$ สำหรับการสังเกตซึ่งในกรณีนี้จะไม่มีการปรับเปลี่ยน แต่โดยทั่วไปจะไม่เป็นเช่นนั้น โปรดทราบว่าวิธีการสร้างตาราง ANOVA นี้จะใช้ได้เฉพาะในกรณีที่ตัวแปรทั้งหมดเป็นมุมฉาก นี่เป็นกรณีที่ง่ายมากที่สร้างขึ้นเพื่อวัตถุประสงค์ในการเก็บข้อมูล

หากเรากำลังพิจารณาสถานการณ์ที่มีการใช้ข้อมูลเดียวกันเพื่อให้พอดีกับโมเดลทั้งที่มีและไม่มีดังนั้นค่าสังเกตและจะเหมือนกัน ดังนั้น SS ทั้งหมดจะต้องเหมือนกันในทั้งสองตาราง ANOVA นอกจากนี้หากและเป็นมุมฉากซึ่งกันและกันดังนั้นจะเหมือนกันในทั้งสองตาราง ANOVA เช่นกัน แล้วมันจะมีผลบวกของกำลังสองที่เกี่ยวข้องกับในตารางได้อย่างไร? พวกเขามาจากไหนถ้ารวม SS และ $x_2$ $y$ $\bar y$ $x_1$ $x_2$ $SS_{x_1}$ $x_2$ $SS_{x_1}$ เหมือนกัน? คำตอบก็คือว่าพวกเขามาจากละเอียดยังนำจากละเอียด $SS_\text{res}$ $\text{df}_{x_2}$ $\text{df}_\text{res}$

ตอนนี้การทดสอบ - คือหารด้วยทั้งสองกรณี เนื่องจากเหมือนกันความแตกต่างในความสำคัญของการทดสอบนี้มาจากการเปลี่ยนแปลงของซึ่งมีการเปลี่ยนแปลงในสองวิธี: มันเริ่มต้นด้วย SS น้อยลงเพราะบางส่วนถูกจัดสรรให้กับแต่สิ่งเหล่านั้นคือ หารด้วย df ที่น้อยลงเนื่องจากบางส่วนขององศาอิสระถูกจัดสรรเป็นเช่นกัน การเปลี่ยนแปลงในความสำคัญ / พลังงานของการทดสอบ (และเทียบเท่า $F$ $x_1$ $MS_{x_1}$ $MS_\text{res}$ $MS_{x_1}$ $MS_\text{res}$ $x_2$ $x_2$ $F$ -test, ในกรณีนี้) เกิดจากการเปลี่ยนแปลงของสองสิ่งนี้ หากมีเอสเอสจะได้รับเมื่อเทียบกับ DF ที่จะได้รับแล้วจะลดลงทำให้เกี่ยวข้องกับที่เพิ่มขึ้นและจะกลายเป็นความสำคัญมากขึ้น $t$ $x_2$ $x_2$ $MS_\text{res}$ $F$ $x_1$ $p$

เอฟเฟกต์ของไม่จำเป็นต้องมีขนาดใหญ่กว่าเพื่อให้เกิดสิ่งนี้ แต่ถ้าไม่เป็นเช่นนั้นการเปลี่ยนแปลงของค่า value จะค่อนข้างเล็ก วิธีเดียวที่มันจะจบลงสลับกันระหว่างความไม่สำคัญและความสำคัญคือถ้าค่า value เกิดขึ้นเพียงเล็กน้อยทั้งสองด้านของอัลฟา นี่คือตัวอย่างเขียนใน: $x_2$ $x_1$ $p$ $p$ R

x1 = rep(1:3, times=15)
x2 = rep(1:3, each=15)
cor(x1, x2)     # [1] 0
set.seed(11628)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
model1  = lm(y~x1)
model12 = lm(y~x1+x2)

anova(model1)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  3.9568 0.05307 .
# Residuals 43 57.745  1.3429                  
#  ...
anova(model12)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  4.2471 0.04555 *
# x2         1  5.198  5.1979  4.1546 0.04785 *
# Residuals 42 52.547  1.2511                  
#  ...

ความจริงแล้วไม่จำเป็นต้องมีนัยสำคัญเลย พิจารณา: $x_2$

set.seed(1201)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
anova(model1)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  3.8461 0.05636 .
# ...
anova(model12)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  4.0740 0.04996 *
# x2         1  3.162  3.1620  3.5478 0.06656 .
# ...

สิ่งเหล่านี้เป็นที่ยอมรับว่าไม่มีอะไรเหมือนตัวอย่างที่น่าทึ่งในโพสต์ของ @ whuber แต่พวกเขาอาจช่วยให้ผู้คนเข้าใจว่าเกิดอะไรขึ้นที่นี่

— gung - Reinstate Monica
แหล่งที่มา

1

(+1) สำหรับ "ครั้งแรกที่อื่น ๆ IV อาจดูดซับบางส่วนของความแปรปรวนที่เหลือและทำให้เพิ่มพลังของการทดสอบทางสถิติของ IV เริ่มต้น" ซึ่ง @whuber ให้เป็นตัวอย่างที่ดีของ

— มาโคร

(+1) ในตอนแรกคุณให้สามลิงก์ อันแรก (อันภายนอก) เสียแล้ว (ข้อผิดพลาด 404) นอกเหนือจากนั้น: คุณบอกว่ามี "ความเป็นไปได้สองแบบพื้นฐาน": IV ที่สองที่เพิ่มเข้ามาจะเพิ่มพลังในการทดสอบ IV แรก (และนี่เป็นสถานการณ์ที่อธิบายโดย Whuber และโดย Wayne ในคำตอบของพวกเขา) หรือมีตัวแปร supressor (อันไหน btw? ครั้งแรกหรือครั้งที่สอง?) คำถามของฉัน: เป็นสองสถานการณ์ที่แตกต่างกันจริงๆเหรอ? หรือว่ามันเป็นสิ่งเดียวกันโดยสิ้นเชิงบางทีอาจดูแตกต่างกันบ้าง? มันจะดีถ้าคุณสามารถขยายที่

— อะมีบาพูดว่า Reinstate Monica

@ amoeba, ttnphns พูดถึงที่นี่: ผลการปราบปรามในการถดถอย: คำจำกัดความและคำอธิบายภาพ / ภาพและฉันพูดคุยเกี่ยวกับการปราบปรามที่นี่: X และ Y ไม่สัมพันธ์กัน แต่ X เป็นตัวทำนายที่สำคัญของ Y ในการถดถอยหลายครั้ง มันหมายความว่าอะไร?

— gung - Reinstate Monica

@ gung ขอบคุณสำหรับการตอบกลับ Ttnphns เริ่มต้นด้วยการให้ลิงค์ไปยังกระดาษอภิปรายการปราบปรามและผลกระทบที่เกี่ยวข้องอื่น ๆ และกระดาษนี้อ้างว่า "คำจำกัดความที่ยอมรับกันโดยทั่วไปของตัวแปรต้าน (Tzelgov & Henik, 1991) [คือ]" ตัวแปรที่เพิ่มความถูกต้องทำนาย ของตัวแปรอื่น (หรือชุดของตัวแปร) โดยการรวมไว้ในสมการถดถอย” " เสียงเหมือนสิ่งที่ OP ที่นี่ถามเกี่ยวกับนั่นคือเหตุผลที่ฉันสับสนโดยคุณบอกว่าอาจมีสองเหตุผลที่แตกต่างกัน

— อะมีบาพูดว่า Reinstate Monica

1

@ amoeba ประเด็นก็คือคุณมีกลไกที่แตกต่างกัน 2 แบบ นั่นคือคุณมี DAG พื้นฐาน 2 แบบ การแสดงออกภายนอกอาจคล้ายกันและกำลังเพิ่มเติมอาจมากกว่าหรือน้อยกว่า แต่เหตุผลที่ตัวแปรที่สองช่วยให้แตกต่าง b / c ความสัมพันธ์ของตัวแปรที่สองกับ x1 & y แตกต่างกัน หากยังไม่ชัดเจนคุณอาจต้องถามคำถามใหม่ เป็นการยากที่จะแสดงความคิดเห็นมากเกินไป

— gung - Reinstate Monica

17

รู้สึกเหมือนคำถามของ OP สามารถตีความได้สองวิธี:

ในทางคณิตศาสตร์แล้ว OLS ทำงานอย่างไรเช่นการเพิ่มตัวแปรอิสระสามารถเปลี่ยนผลลัพธ์ในวิธีที่ไม่คาดคิด
ฉันจะแก้ไขโมเดลของฉันได้อย่างไรโดยการเพิ่มตัวแปรหนึ่งตัวเพื่อเปลี่ยนเอฟเฟกต์ของตัวแปรอื่นที่เป็นอิสระในโมเดล

มีคำตอบที่ดีหลายข้อสำหรับคำถาม # 1 อยู่แล้ว และคำถาม # 2 อาจเห็นได้ชัดสำหรับผู้เชี่ยวชาญว่าพวกเขาคิดว่า OP ต้องถามคำถาม # 1 แทน แต่ฉันคิดว่าคำถาม # 2 ควรได้รับคำตอบซึ่งจะเป็นสิ่งที่ต้องการ:

เริ่มจากตัวอย่างกันก่อน สมมติว่าคุณมีความสูงอายุเพศ ฯลฯ ของเด็กจำนวนมากและคุณต้องการที่จะทำการถดถอยเพื่อทำนายความสูงของพวกเขา

คุณเริ่มต้นด้วยรูปแบบไร้เดียงสาที่ใช้เพศเป็นตัวแปรอิสระ และมันไม่มีนัยสำคัญทางสถิติ (เป็นไปได้อย่างไรที่คุณผสมเด็กอายุ 3 ปีและวัยรุ่นเข้าด้วยกัน)

จากนั้นคุณเพิ่มอายุและทันใดนั้นไม่เพียง แต่จะมีความสำคัญทางอายุเท่านั้น แต่ยังรวมถึงเพศด้วย นั่นเป็นอย่างไร

แน่นอนในตัวอย่างของฉันคุณสามารถเห็นได้อย่างชัดเจนว่าอายุเป็นปัจจัยสำคัญในความสูงของเด็ก / วัยรุ่น อาจเป็นปัจจัยที่สำคัญที่สุดที่คุณมีในข้อมูล เพศก็มีความสำคัญเช่นกันโดยเฉพาะอย่างยิ่งสำหรับเด็กและผู้ใหญ่ที่มีอายุมากกว่า แต่เพศเพียงอย่างเดียวก็เป็นแบบอย่างที่ไม่ดีว่าเด็ก ๆ สูงแค่ไหน

อายุและเพศเป็นรูปแบบที่สมเหตุสมผล (แม้ว่าแน่นอนว่าง่าย) ที่เพียงพอสำหรับงาน หากคุณเพิ่มข้อมูลอื่น ๆ - ปฏิสัมพันธ์ระหว่างอายุและเพศ, อาหาร, ความสูงของผู้ปกครอง ฯลฯ - คุณสามารถสร้างแบบจำลองที่ดียิ่งขึ้นซึ่งแน่นอนว่าจะง่ายกว่าเมื่อเทียบกับปัจจัยที่กำหนดความสูงของเด็ก แต่แล้วทุกรุ่นก็เป็นเวอร์ชั่นที่ง่ายกว่าของความเป็นจริง (แผนที่โลกที่มีขนาด 1: 1 ไม่เป็นประโยชน์สำหรับนักเดินทาง)

แบบจำลองดั้งเดิมของคุณ (เฉพาะเพศ) จะง่ายเกินไป - ทำให้ง่ายขึ้นจนแตกง่าย แต่นั่นไม่ได้หมายความว่าเพศนั้นไม่มีประโยชน์ในแบบจำลองที่ดีกว่า

แก้ไข: เพิ่มคำแนะนำของ gung อีกครั้ง: คำศัพท์เกี่ยวกับอายุและเพศ

— เวย์น
แหล่งที่มา

1

+1, nb, อายุและเพศจะต้องมีเงื่อนไขการโต้ตอบเช่นกัน

— gung - Reinstate Monica

1

+1 นั่นเป็นตัวอย่างที่ดีเพราะมันง่ายและชัดเจนอย่างสังหรณ์ใจและในทำนองเดียวกันนั้นจะตรงกับสถานการณ์ที่อธิบายในรายละเอียดมากขึ้น แต่เพียง @whuber อย่างเป็นนามธรรมในคำตอบที่เขายอมรับที่นี่

— อะมีบาพูดว่า Reinstate Monica

10

กระทู้นี้มีคำตอบที่ยอดเยี่ยมสามคำตอบ (+1 ต่อข้อ) คำตอบของฉันคือการแสดงความคิดเห็นเพิ่มเติมและภาพประกอบถึงจุดที่ @gung (ซึ่งใช้เวลาพอสมควรในการเข้าใจ):

มีความเป็นไปได้พื้นฐานสองประการ: ประการแรก IV อื่น ๆ อาจดูดซับความแปรปรวนที่เหลืออยู่บางส่วนและเพิ่มกำลังของการทดสอบทางสถิติของ IV เริ่มต้น ความเป็นไปได้ที่สองคือคุณมีตัวแปรตัวต้าน

$x_1$ $x_2$ $y$ $n$ $\mathbb R^n$ $\mathbf y$ $\mathbf x_1$ $\mathbf x_2$ (ด้วย "หมวกเมทริกซ์" เพียงแค่เป็นโปรเจ็กเตอร์) ผู้อ่านที่ไม่คุ้นเคยกับวิธีนี้สามารถดูได้เช่นในองค์ประกอบของการเรียนรู้ทางสถิติมาตรา 3.2 หรือในหนังสืออื่น ๆ อีกมากมาย

"การเพิ่มประสิทธิภาพ"

รูปต่อไปนี้แสดงให้เห็นถึงความเป็นไปได้ทั้งสองรายการโดย @gung พิจารณาเฉพาะส่วนสีฟ้าในตอนแรก (เช่นละเว้นบรรทัดสีแดงทั้งหมด):

การปรับปรุงและการปราบปราม

$\mathbf x_1$ $\mathbf x_2$ $X$ $\mathbf y$ $\hat y$

$\mathbf x_2$ $\mathbf y$ $\mathbf x_1$ $\alpha$ $90^\circ$ $y$ $x_1$ $x_1$

$x_2$ $\mathbf x_1$ $\mathbf x_2$ $x_1$ $x_2$ $x_2$ $y$ $\beta$ $\alpha$ $90^\circ$ $x_1$

อีกวิธีในการทดสอบคือตอนนี้การเปรียบเทียบความยาวของ OF กับ OG และไม่ใช่ OC เหมือนเมื่อก่อน OF มีขนาดเล็กและ "ไม่มีนัยสำคัญ" เมื่อเปรียบเทียบกับ OC แต่ใหญ่พอที่จะ "สำคัญ" เมื่อเปรียบเทียบกับ OG

นี่คือว่าสถานการณ์ที่นำเสนอโดย @whuber, @gung และ @Wayne ในคำตอบของพวกเขา ฉันไม่รู้ว่าเอฟเฟกต์นี้มีชื่อมาตรฐานในวรรณคดีการถดถอยหรือไม่ดังนั้นฉันจะเรียกมันว่า "การปรับปรุง"

การปราบปราม

$\alpha=90^\circ$ $\beta=90^\circ$ $x_1$

ไม่เช่นนั้นในการปราบปราม

$x_3$ $x_1$ $x_2$ $\mathbf x_3$ $X$ $\mathbf x_1$ $x_3$ $x_1$ $X$ $\mathbf y$

$x_1$ $x_1$ $y$

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

1

ฉันพบว่าคำตอบของคุณง่ายที่สุดในการเข้าใจด้วยความช่วยเหลือของการตีความทางเรขาคณิต สุดยอด!

— zsljulius

1

α = 0

$\alpha=0$

y

$y$

x_{1}

$x_1$

y

$y$

x_{1}

$x_1$

c o r (x_{1}, y) = 1

$cor(x_1,y)=1$

x_{1}

$x_1$

y

$y$

y

$y$

x_{1}

$x_1$

— qoheleth

α = 90

$\alpha=90$