วิธีการแบ่ง r-squared ระหว่างตัวแปรทำนายในการถดถอยหลายครั้ง?

16

ฉันเพิ่งอ่านกระดาษที่ผู้เขียนดำเนินการถดถอยหลายครั้งพร้อมตัวทำนายสองตัว ค่า r-squared โดยรวมคือ 0.65 พวกเขาจัดทำตารางที่แบ่ง r-squared ระหว่างตัวทำนายสองตัว ตารางมีลักษณะดังนี้:

            rsquared beta    df pvalue
whole model     0.65   NA  2, 9  0.008
predictor 1     0.38 1.01 1, 10  0.002
predictor 2     0.27 0.65 1, 10  0.030

ในรุ่นนี้วิ่งRโดยใช้mtcarsชุดข้อมูลค่า r-squared โดยรวมคือ 0.76

summary(lm(mpg ~ drat + wt, mtcars))

Call:
lm(formula = mpg ~ drat + wt, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.4159 -2.0452  0.0136  1.7704  6.7466 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   30.290      7.318   4.139 0.000274 ***
drat           1.442      1.459   0.989 0.330854    
wt            -4.783      0.797  -6.001 1.59e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.047 on 29 degrees of freedom
Multiple R-squared:  0.7609,    Adjusted R-squared:  0.7444 
F-statistic: 46.14 on 2 and 29 DF,  p-value: 9.761e-10

ฉันจะแยกค่า r-squared ระหว่างตัวแปรทำนายสองตัวได้อย่างไร

— ลูเซียโน
แหล่งที่มา

1

โพสต์นี้จะให้ข้อมูลเกี่ยวกับวิธีการแบ่ง

R^{2}

$R^{2}$ 2

— COOLSerdash

8

ความคิดเห็นนี้สามารถนำเสนอสั้น ๆ และไม่เพียงพอมุมมองที่ว่านี้มักจะพิสูจน์ไร้ประโยชน์หากไม่เป็นอันตราย ความสำเร็จหรือความล้มเหลวของแบบจำลองได้รับการยกย่องอย่างดีที่สุดว่าเป็นผลมาจากความพยายามของทีมโดยตัวทำนาย (และรูปแบบการทำงานเฉพาะของพวกเขา, เงื่อนไขการโต้ตอบ ฯลฯ ฯลฯ ) และจะต้องได้รับการตัดสินเช่นนี้ ตามธรรมชาติแล้วพวกเราส่วนใหญ่มีความสนใจในความสำคัญเชิงสัมพัทธ์ของตัวทำนายและมันก็ไม่ใช่เรื่องไร้สาระ แต่ความพยายามในการหาปริมาณนั้นจำเป็นต้องมาพร้อมกับแถลงการณ์ที่เต็มไปด้วยข้อ จำกัด ทางเทคนิคและปรัชญาในการฝึกดังกล่าว

— นิคค็อกซ์

5

คุณสามารถรับความสัมพันธ์สองแบบแยกกันและจัดกำลังสองหรือเรียกใช้สองรุ่นแยกกันและรับ R ^ 2 พวกเขาจะสรุปได้ก็ต่อเมื่อตัวทำนายนั้นตั้งฉาก

— จอห์น
แหล่งที่มา

2

โดย 'orthogonal' คุณหมายถึงว่าผู้ทำนายสองคนควรไม่เกี่ยวข้องกันหรือไม่?

— luciano

3

ใช่ไม่เกี่ยวข้อง ... มันเป็นวิธีเดียวที่พวกเขาจะรวมยอดรวม

— John

12

นอกจากคำตอบของจอห์นคุณอาจต้องการได้รับความสัมพันธ์กึ่งส่วนกึ่งกำลังสองสำหรับตัวทำนายแต่ละตัว

Uncorrelated ทำนาย : ถ้าทำนายเป็น orthogonal (กล่าวคือ uncorrelated) แล้วความสัมพันธ์กึ่ง - กึ่งสแควร์สจะเป็นเช่นเดียวกับความสัมพันธ์ - สั่งศูนย์สแควร์ส
ตัวทำนายที่สัมพันธ์กัน:หากตัวทำนายนั้นสัมพันธ์กันความสัมพันธ์กึ่งส่วนกึ่งกำลังสองจะแสดงความแปรปรวนที่ไม่ซ้ำกันที่อธิบายโดยตัวทำนายที่ได้รับ ในกรณีนี้ผลรวมของกำลังสองความสัมพันธ์กึ่งบางส่วนจะน้อยกว่า 2ความแปรปรวนที่เหลืออยู่นี้จะแทนค่าความแปรปรวนที่อธิบายโดยตัวแปรมากกว่าหนึ่งตัว $R^2$

หากคุณกำลังมองหาฟังก์ชั่น R อยู่spcor()ในppcorแพ็คเกจ

คุณอาจต้องการพิจารณาหัวข้อที่กว้างขึ้นของการประเมินความสำคัญของตัวแปรในการถดถอยหลายครั้ง (เช่นดูหน้านี้เกี่ยวกับแพคเกจ relaimpo )

— Jeromy Anglim
แหล่งที่มา

3

ฉันเพิ่มแท็กแปรปรวน - การสลายตัวในคำถามของคุณ นี่คือส่วนหนึ่งของแท็ก wiki :

$R^2$ $p!$ $p$

Grömping (2007, American Statisticsian )ให้ภาพรวมและตัวชี้ไปยังวรรณกรรมในบริบทของการประเมินความสำคัญของตัวแปร

— S. Kolassa - Reinstate Monica
แหล่งที่มา

y ~ a + by ~ b + ay ~ ay ~ a + by ~ by ~ a + by ~ b + a

2^{p}

$2^p$

R^{2}

$R^2$ aab

R^{2}

$R^2$ y~1y~ab

R^{2}

$R^2$ y~by~a+b

— S. Kolassa - Reinstate Monica

2^{p}

$2^p$

2!

$2!$

2^{p} = \sum_{q = 0}^{p} (\binom{p}{q})

$2^p=\sum_{q=0}^p{p\choose q}$ models (

(\binom{p}{q})

${p\choose q}$ models containing

q

$q$ out of the

p

$p$ predictors). Except for the trivial model (

q = 0

$q=0$ ), you want to compare each model with

q

$q$ predictors with another

q

$q$ different submodels, each one of which we arrive at by removing one predictor, so we have

\sum_{q = 1}^{p} q (\binom{p}{q})

$\sum_{q=1}^p q{p\choose q}$ comparisons. (Each model appears multiple times here, and indeed we have more comparisons than

2^{p}

$2^p$ models.) And if we have interactions, things become more complicated yet.

— S. Kolassa - Reinstate Monica