ตัวแปรตัวยับยั้งในการถดถอยหลายครั้งและอะไรคือวิธีที่จะแสดงผลการปราบปรามด้วยสายตา (กลไกหรือหลักฐานในผลลัพธ์) ฉันต้องการเชิญทุกคนที่มีความคิดมาแบ่งปัน

มีจำนวนของผล regressional กล่าวถึง frequenly ซึ่งแนวคิดที่แตกต่างกัน แต่ส่วนแบ่งมากเหมือนกันเมื่อมองอย่างหมดจดสถิติอยู่ (ดูเช่นกระดาษนี้ "ความเท่าเทียมกันของการไกล่เกลี่ยปัจจัยรบกวนและปราบปรามผล" โดยเดวิด MacKinnon et al, หรือบทความวิกิพีเดีย.)

• สื่อกลาง: IV ซึ่งสื่อถึงเอฟเฟกต์ (ทั้งหมดเป็นบางส่วน) ของ IV อีกอันไปยัง DV
• Confounder: IV ซึ่งสร้างหรือดักจับผลรวมของ IV อื่นไปยัง DV ทั้งหมดหรือบางส่วน
• ผู้ดำเนินรายการ: IV ซึ่งเปลี่ยนแปลงจัดการความแข็งแกร่งของเอฟเฟกต์ IV อื่นบน DV ในทางสถิติมันเป็นที่รู้จักกันในชื่อการมีปฏิสัมพันธ์ระหว่างคนสองคน
• Suppressor: IV (ผู้ไกล่เกลี่ยหรือผู้ดูแลแนวคิด) ซึ่งการรวมเสริมความแข็งแกร่งผลของ IV อื่นใน DV

ฉันจะไม่พูดถึงสิ่งที่ขอบเขตบางส่วนหรือทั้งหมดคล้ายกันทางเทคนิค (สำหรับเรื่องนั้นอ่านบทความด้านบน) เป้าหมายของฉันคือพยายามแสดงกราฟิกว่าผู้ยับยั้งคืออะไร คำจำกัดความข้างต้นว่า "ผู้ยับยั้งเป็นตัวแปรที่รวมความแข็งแกร่งของเอฟเฟ็กต์อื่น ๆ บน DV" ดูเหมือนว่าฉันอาจจะกว้างเพราะมันไม่ได้บอกอะไรเกี่ยวกับกลไกของการเพิ่มประสิทธิภาพดังกล่าว ด้านล่างฉันกำลังพูดถึงกลไกเดียว - สิ่งเดียวที่ฉันคิดว่าเป็นการปราบปราม หากมีกลไกอื่น ๆเช่นกัน (สำหรับตอนนี้ฉันไม่ได้พยายามทำสมาธิของคนอื่น) จากนั้นคำจำกัดความ "กว้าง ๆ " ข้างต้นควรได้รับการพิจารณาว่าไม่ถูกต้องหรือคำจำกัดความการปราบปรามของฉันควรได้รับการพิจารณาแคบเกินไป

คำจำกัดความ (ในความเข้าใจของฉัน)

Suppressor เป็นตัวแปรอิสระซึ่งเมื่อเพิ่มลงในแบบจำลองยกข้อสังเกต R-square ส่วนใหญ่เนื่องจากการบัญชีสำหรับส่วนที่เหลือจากรูปแบบโดยไม่ได้มันและไม่ได้เนื่องจากความสัมพันธ์ของตัวเองกับ DV (ซึ่งค่อนข้างอ่อนแอ) เรารู้ว่าการเพิ่มขึ้นของ R-Square ในการตอบสนองต่อการเพิ่ม IV คือความสัมพันธ์ส่วนกำลังสองของ IV นั้นในโมเดลใหม่นั้น วิธีนี้ถ้าความสัมพันธ์ส่วนหนึ่งของ IV กับ DV มากกว่า (โดยค่าสัมบูรณ์) มากกว่าศูนย์ลำดับระหว่างพวกเขา IV นั้นเป็นตัวยับยั้ง$r$

ดังนั้นผู้ยับยั้งส่วนใหญ่ "ระงับ" ข้อผิดพลาดของตัวแบบที่ลดลงซึ่งอ่อนแอเป็นตัวทำนาย คำผิดพลาดเป็นส่วนเสริมของการทำนาย การคาดการณ์คือ "ฉายบน" หรือ "แบ่งปันระหว่าง" IVs (สัมประสิทธิ์การถดถอย) และดังนั้นจึงเป็นคำผิดพลาด ("เติมเต็ม" กับสัมประสิทธิ์) ผู้ยับยั้งไม่ให้เกิดข้อผิดพลาดดังกล่าวอย่างไม่สม่ำเสมอ: ยิ่งใหญ่กว่าสำหรับ IV บางตัว แต่น้อยกว่า IV อื่น ๆ สำหรับผู้ที่เกลือ "ที่มี" องค์ประกอบดังกล่าวยับยั้งอย่างมากก็ยืมความช่วยเหลืออำนวยความสะดวกมากจริงโดยการเพิ่มค่าสัมประสิทธิ์การถดถอยของพวกเขา

ผลการปราบปรามที่ไม่รุนแรงเกิดขึ้นบ่อยและรุนแรง ( ตัวอย่างในเว็บไซต์นี้) การปราบปรามที่แข็งแกร่งมักจะแนะนำอย่างมีสติ นักวิจัยพยายามหาลักษณะที่จะต้องสัมพันธ์กับ DV ว่าอ่อนแอที่สุดและในเวลาเดียวกันจะสัมพันธ์กับบางสิ่งใน IV ที่น่าสนใจซึ่งถือว่าไม่เกี่ยวข้องกับการทำนาย - โมฆะสำหรับ DV เขาเข้าสู่โมเดลและได้รับอำนาจการทำนายของ IV เพิ่มขึ้นอย่างมาก โดยทั่วไปค่าสัมประสิทธิ์ของตัวยับยั้งจะไม่ถูกตีความ

ฉันสามารถสรุปคำจำกัดความของฉันได้ดังนี้ [ขึ้นอยู่กับคำตอบของ @ Jake และความคิดเห็นของ @ gung]:

• การนิยามทางสถิติ (เชิงสถิติ): ตัวยับยั้งคือ IV ที่มีสหสัมพันธ์ส่วนใหญ่กว่าความสัมพันธ์แบบศูนย์สั่ง (โดยขึ้นกับ)
• แนวคิด (ปฏิบัติ) คำจำกัดความ: คำจำกัดความที่เป็นทางการด้านบน + ความสัมพันธ์แบบศูนย์ลำดับมีขนาดเล็กเพื่อให้ผู้ยับยั้งไม่ได้เป็นผู้ทำนายเสียงเอง

"ผู้สนับสนุน" เป็นบทบาทของ IV ในรูปแบบเฉพาะเท่านั้นไม่ใช่คุณลักษณะของตัวแปรแยกต่างหาก เมื่อเพิ่มหรือลบ IV อื่น ๆ ตัวยับยั้งสามารถหยุดระงับหรือหยุดการทำงานต่อหรือเปลี่ยนโฟกัสของกิจกรรมการระงับได้ทันที

สถานการณ์การถดถอยปกติ

ภาพแรกด้านล่างแสดงการถดถอยทั่วไปพร้อมตัวทำนายสองตัว (เราจะพูดถึงการถดถอยเชิงเส้น) ภาพจะถูกคัดลอกจากที่นี่ซึ่งมีการอธิบายในรายละเอียดเพิ่มเติม ในระยะสั้นความสัมพันธ์ในระดับปานกลาง (= มีมุมแหลมระหว่างพวกเขา) ตัวทำนายและขยายพื้นที่ 2 มิติ "ระนาบ X" ตัวแปรที่ขึ้นต่อกันของถูกฉายลงบนฉากตั้งฉากกันโดยปล่อยให้ตัวแปรที่คาดการณ์ไว้และค่าคงที่ด้วย st ส่วนเบี่ยงเบนเท่ากับความยาวของอีR-square ของการถดถอยคือมุมระหว่างกับ , และสัมประสิทธิ์การถดถอยทั้งสองเกี่ยวข้องโดยตรงกับพิกัดเอียงและX 2 Y Y 'อีY Y ' ข1 ข2 X 1 X 2$X_1$$X_2$$Y$$Y'$$e$$Y$$Y'$$b_1$$b_2$ตามลำดับ สถานการณ์นี้ฉันเรียกว่าปกติหรือทั่วไปเพราะทั้งและมีความสัมพันธ์กับ (มุมเอียงมีอยู่ระหว่างที่ปรึกษาอิสระและผู้ติดตาม) และผู้ทำนายแข่งขันกันเพื่อทำนายเพราะมีความสัมพันธ์กัน$X_1$$X_2$$Y$

สถานการณ์การปราบปราม

มันจะแสดงในภาพถัดไป อันนี้เป็นเหมือนก่อนหน้า; อย่างไรก็ตามตอนนี้เวกเตอร์สั่งให้อยู่ห่างจากผู้ชมค่อนข้างมากและเปลี่ยนทิศทางอย่างมาก ทำหน้าที่เป็นตัวยับยั้ง หมายเหตุแรกของทุกคนว่ามันแทบจะไม่ได้มีความสัมพันธ์กับYดังนั้นมันจึงไม่สามารถเป็นตัวทำนายที่มีค่าได้ ที่สอง ลองนึกภาพขาดหายไปและคุณทำนายโดยเท่านั้น การคาดการณ์ของการถดถอยแบบตัวแปรเดียวนี้จะปรากฎเป็นY ∗เวกเตอร์แดง, ข้อผิดพลาดเป็นe ∗เวกเตอร์, และสัมประสิทธิ์ถูกกำหนดโดยb ∗พิกัด (ซึ่งเป็นจุดสิ้นสุดของ)X 2 X 2 Y X 2 X $Y$$X_2$$X_2$$Y$$X_2$$X_1$$Y^*$$e^*$$b^*$$Y^*$

$X_2$$e^*$$X_2$$e^*$$e$$X_2$$X_1$$X_2$$X_1$$X_2$เป็นตัวยับยั้ง$X_1$$b_1$$b^*$ *

$X_2$$X_1$และมันจะเสริมแรงได้อย่างไรเมื่อ "ยับยั้ง" มัน? ดูภาพถัดไป

$X_1$$Y$$e^*$$X_1$$Y$$X_2$$Y$ส่วนที่เกี่ยวข้องดูแข็งแกร่งขึ้น ผู้ยับยั้งไม่ได้เป็นผู้ทำนาย แต่เป็นผู้อำนวยความสะดวกสำหรับผู้ทำนายอีกคน / คนอื่น ๆ เพราะมันแข่งขันกับสิ่งที่ขัดขวางพวกเขาในการทำนาย

สัญลักษณ์ของสัมประสิทธิ์การถดถอยของตัวระงับ

$e^*$$X_2$

การปราบปรามและการเปลี่ยนเครื่องหมายสัมประสิทธิ์

การเพิ่มตัวแปรที่จะรับใช้ supressor อาจไม่สามารถเปลี่ยนเครื่องหมายของค่าสัมประสิทธิ์ของตัวแปรอื่น ๆ ได้ เอฟเฟกต์ "การปราบปราม" และ "เปลี่ยนเครื่องหมาย" ไม่ใช่สิ่งเดียวกัน ยิ่งกว่านั้นฉันเชื่อว่าผู้ยับยั้งไม่สามารถเปลี่ยนสัญลักษณ์ของผู้ทำนายที่พวกเขารับใช้ผู้ยับยั้งได้ (มันเป็นการค้นพบที่น่าตกตะลึงในการเพิ่มผู้ยับยั้งโดยมีจุดประสงค์เพื่ออำนวยความสะดวกให้กับตัวแปรแล้วจะพบว่ามันแข็งแกร่งขึ้นจริง ๆ แต่ไปในทิศทางตรงกันข้าม! ฉันจะขอบคุณถ้ามีใครสามารถแสดงให้ฉันเห็นว่าเป็นไปได้)

แผนภาพการปราบปรามและเวนน์

สถานการณ์การถดถอยปกติมักจะอธิบายด้วยความช่วยเหลือของแผนภาพเวนน์

$Y$$X_1$$X_2$$r_{YX_1}^2$$r_{YX_2}^2$$r_{Y(X_1.X_2)}^2$$r_{Y(X_2.X_1)}^2$$r_{YX_1.X_2}^2$$r_{YX_2.X_1}^2$

$X_2$$X_2$$X_1$

ตัวอย่างข้อมูล

         y         x1         x2

1.64454000  .35118800 1.06384500
1.78520400  .20000000 -1.2031500
-1.3635700 -.96106900 -.46651400
 .31454900  .80000000 1.17505400
 .31795500  .85859700 -.10061200
 .97009700 1.00000000 1.43890400
 .66438800  .29267000 1.20404800
-.87025200 -1.8901800 -.99385700
1.96219200 -.27535200 -.58754000
1.03638100 -.24644800 -.11083400
 .00741500 1.44742200 -.06923400
1.63435300  .46709500  .96537000
 .21981300  .34809500  .55326800
-.28577400  .16670800  .35862100
1.49875800 -1.1375700 -2.8797100
1.67153800  .39603400 -.81070800
1.46203600 1.40152200 -.05767700
-.56326600 -.74452200  .90471600
 .29787400 -.92970900  .56189800
-1.5489800 -.83829500 -1.2610800

ผลการถดถอยเชิงเส้น:

$X_2$$Y$$-.224$$X_1$$.419$$.538$

$X_1$$X_1$$r$$Y$$0$

โดยรวมผลรวมของความสัมพันธ์ส่วนกำลังสองเกิน R-square: .4750^2+(-.2241)^2 = .2758 > .2256ซึ่งจะไม่เกิดขึ้นในสถานการณ์การถดถอยปกติ (ดูแผนภาพ Vennด้านบน)

ป.ล.เมื่อคำตอบของฉันเสร็จฉันพบคำตอบนี้ (โดย @gung) ด้วยไดอะแกรมที่เรียบง่าย (แผนผัง) ซึ่งดูเหมือนว่าจะสอดคล้องกับสิ่งที่ฉันแสดงโดยเวกเตอร์

นี่เป็นอีกมุมมองทางเรขาคณิตของการปราบปราม แต่แทนที่จะอยู่ในพื้นที่สังเกตการณ์ตามตัวอย่างของ @ ttnphns คือมุมมองนี้อยู่ในพื้นที่ตัวแปรซึ่งเป็นพื้นที่ที่ scatterplots ทุกวันมีชีวิตอยู่

$\hat{y}_i=x_i+z_i$$x$$z$$x$$z$$\hat{x}_i=\frac{1}{2}z_i$$x$$z$$\hat{x}_i=-\frac{1}{2}z_i$

เราสามารถเขียนสมการถดถอยของเราเป็นระนาบในพื้นที่ตัวแปรที่มีลักษณะดังนี้:

กรณีที่น่าสับสน

$x$$z$$y$$x$$x$$y$$x$$z$$z$$x$$z$$y$$x$$x$$x$

$x$$x$$x$$x$$x$

$x$$z$$z$

$x$$z$$x$$x$$z$$x$$z$$x$$z$$x$$z$$\hat{x}_i=\frac{1}{2}z_i$$x$$z$$y$$x$$\Delta x + \Delta z = 1 + \frac{1}{2} = 1.5$

$z$$x$$z$

$x$

กรณีปราบปราม

$z$$y$$x$$x$$y$$x$$z$$z$$x$$x$$z$$z$$x$$x$

$z$$x$$\hat{x}_i=-\frac{1}{2}z_i$$x$$z$$y$$x$$\Delta x + \Delta z = 1 + -\frac{1}{2} = 0.5$$z$

ชุดข้อมูลที่เป็นภาพประกอบ

ในกรณีที่คุณต้องการที่จะเล่นกับตัวอย่างเหล่านี้นี่คือรหัส R บางส่วนสำหรับการสร้างข้อมูลที่สอดคล้องกับค่าตัวอย่างและเรียกใช้การถดถอยต่างๆ

library(MASS) # for mvrnorm()
set.seed(7310383)

# confounding case --------------------------------------------------------

mat <- rbind(c(5,1.5,1.5),
             c(1.5,1,.5),
             c(1.5,.5,1))
dat <- data.frame(mvrnorm(n=50, mu=numeric(3), empirical=T, Sigma=mat))
names(dat) <- c("y","x","z")

cor(dat)
#           y         x         z
# y 1.0000000 0.6708204 0.6708204
# x 0.6708204 1.0000000 0.5000000
# z 0.6708204 0.5000000 1.0000000

lm(y ~ x, data=dat)
# 
# Call:
#   lm(formula = y ~ x, data = dat)
# 
# Coefficients:
#   (Intercept)            x  
#     -1.57e-17     1.50e+00  

lm(y ~ x + z, data=dat)
# 
# Call:
#   lm(formula = y ~ x + z, data = dat)
# 
# Coefficients:
#   (Intercept)            x            z  
#      3.14e-17     1.00e+00     1.00e+00  
# @ttnphns comment: for x, zero-order r = .671 > part r = .387
#                   for z, zero-order r = .671 > part r = .387

lm(x ~ z, data=dat)
# 
# Call:
#   lm(formula = x ~ z, data = dat)
# 
# Coefficients:
#   (Intercept)            z  
#     6.973e-33    5.000e-01 

# suppression case --------------------------------------------------------

mat <- rbind(c(2,.5,.5),
             c(.5,1,-.5),
             c(.5,-.5,1))
dat <- data.frame(mvrnorm(n=50, mu=numeric(3), empirical=T, Sigma=mat))
names(dat) <- c("y","x","z")

cor(dat)
#           y          x          z
# y 1.0000000  0.3535534  0.3535534
# x 0.3535534  1.0000000 -0.5000000
# z 0.3535534 -0.5000000  1.0000000

lm(y ~ x, data=dat)
# 
# Call:
#   lm(formula = y ~ x, data = dat)
# 
# Coefficients:
#   (Intercept)            x  
#    -4.318e-17    5.000e-01  

lm(y ~ x + z, data=dat)
# 
# Call:
#   lm(formula = y ~ x + z, data = dat)
# 
# Coefficients:
#   (Intercept)            x            z  
#    -3.925e-17    1.000e+00    1.000e+00  
# @ttnphns comment: for x, zero-order r = .354 < part r = .612
#                   for z, zero-order r = .354 < part r = .612

lm(x ~ z, data=dat)
# 
# Call:
#   lm(formula = x ~ z, data = dat)
# 
# Coefficients:
#   (Intercept)            z  
#      1.57e-17    -5.00e-01  

นี่คือวิธีที่ฉันคิดเกี่ยวกับผลต้าน แต่โปรดแจ้งให้เราทราบหากฉันผิด

นี่คือตัวอย่างของผลไบนารี (การจำแนกการถดถอยโลจิสติก) เราสามารถเห็นได้ว่าไม่มีความแตกต่างอย่างมีนัยสำคัญใน X1 ไม่มีความแตกต่างใน X2 แต่วาง X1 และ X2 ไว้ด้วยกัน (เช่น x1 ที่ถูกต้องสำหรับ x2 หรือในทางกลับกัน) และตัวอย่างสามารถจำแนกได้เกือบสมบูรณ์แบบ .