ทำไมค่า R-squared ต่ำมากเมื่อสถิติ t ของฉันใหญ่มาก

17

ฉันทำการถดถอยด้วยตัวแปร 4 ตัวและทั้งหมดมีความสำคัญทางสถิติโดยมีค่า Tและ (ฉันพูดว่าเพราะดูเหมือนว่าไม่เกี่ยวข้องกับการรวมทศนิยม) ซึ่งสูงมากและมีความสำคัญอย่างชัดเจน แต่นั้นเป็นเพียง. 2284 ฉันตีความตีความค่า t ที่นี่เพื่อหมายถึงบางสิ่งที่ไม่ได้ใช่หรือไม่ ปฏิกิริยาแรกของฉันเมื่อเห็นค่า t คือว่าจะค่อนข้างสูง แต่อาจจะสูงหรือไม่? $\approx 7,9,26$ $31$ $\approx$ $R^2$ $R^2$ $R^2$

regression hypothesis-testing econometrics

— ไคล์
แหล่งที่มา

1

ฉันเดิมพันของคุณ

มีขนาดใหญ่พอสมควรใช่มั้ย?

n

$n$

— Glen_b -Reinstate Monica

@Glen_b ใช่ประมาณ 6,000

— Kyle

10

จากนั้นมีขนาดใหญ่

-statistics การเชื่อมโยงกับขนาดเล็ก

เป็นธรรมดาอย่างสิ้นเชิง เนื่องจากข้อผิดพลาดมาตรฐานลดลงเป็น

t

$t$

R^{2}

$R^2$

,

-ratios จะเพิ่มขึ้นเป็น

1 / \sqrt{n}

$1/\sqrt{n}$

t

$t$

ขณะ

จะมีแนวโน้มที่จะยังคงอยู่อย่างต่อเนื่องกับการเพิ่มn

ทำไมคุณถึงสนใจว่า

คืออะไร? ทำไมคุณถึงสนใจว่า t-ratios คืออะไร

\sqrt{n}

$\sqrt{n}$

R^{2}

$R^2$

n

$n$

R^{2}

$R^2$

— Glen_b -Reinstate Monica

45

ค่า $t$ และค่า $R^2$ ถูกใช้เพื่อตัดสินสิ่งต่าง ๆ อย่างมาก $t$ -values จะใช้ในการตัดสิน accurary ของประมาณการของคุณของ $\beta_i$ 's แต่ $R^2$ มาตรการจำนวนของการเปลี่ยนแปลงในตัวแปรตอบสนองของคุณอธิบายโดยตัวแปรของคุณ สมมติว่าคุณกำลังประเมินโมเดลการถดถอยด้วยการสังเกต $n$

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1X_{1i} + ...+ \beta_kX_{ki}+\epsilon_i$

ที่ $\epsilon_i\overset{i.i.d}{\sim}N(0,\sigma^2)$ , $i=1,...,n$ .

ขนาดใหญ่ $t$ -values (ในค่าสัมบูรณ์) นำคุณไปสู่ปฏิเสธสมมติฐานที่ $\beta_i=0$ 0ซึ่งหมายความว่าคุณมั่นใจได้ว่าคุณได้ประเมินเครื่องหมายของสัมประสิทธิ์อย่างถูกต้อง นอกจากนี้หาก $|t|$ > 4 และคุณมี $n>5$ แล้ว 0 ไม่อยู่ในช่วงความมั่นใจ 99% สำหรับค่าสัมประสิทธิ์ $t$ -value สำหรับค่าสัมประสิทธิ์ $\beta_i$ คือความแตกต่างระหว่างการประมาณการ $\hat{\beta_i}$ และ 0 ปกติโดยข้อผิดพลาดมาตรฐาน $se\{\hat{\beta_i}\}$ }

t = \frac{\hat{β_{i}}}{s e {\hat{β_{i}}}}

$t=\frac{\hat{\beta_i}}{se\{\hat{\beta_i}\}}$

ซึ่งเป็นเพียงการประมาณหารด้วยการวัดความแปรปรวน หากคุณมีชุดข้อมูลที่มีขนาดใหญ่พอที่คุณมักจะมีนัยสำคัญทางสถิติ (ขนาดใหญ่) $t$ -values สิ่งนี้ไม่ได้หมายความว่าแปลว่าเพื่อนร่วมงานของคุณอธิบายถึงความแปรปรวนจำนวนมากในตัวแปรตอบกลับ

ดังที่ @Stat ถูกกล่าวถึง $R^2$ วัดปริมาณความแปรปรวนในตัวแปรตอบสนองของคุณซึ่งอธิบายโดยตัวแปรตาม สำหรับข้อมูลเพิ่มเติมเกี่ยว $R^2$ ไปที่วิกิพีเดีย ในกรณีของคุณก็จะปรากฏขึ้นคุณมีขนาดใหญ่ชุดข้อมูลเพียงพอที่จะต้องประเมิน $\beta_i$ 's แต่ตัวแปรของคุณจะได้งานที่ดีของการอธิบายและ \ หรือทำนายค่าการตอบสนอง

— caburke
แหล่งที่มา

1

(+1) It is clear from the very beginning that this is a well considered, informative explanation.

— whuber

Nice answer. I find the terms "practical significance" and "statistical significance" to often be helpful in thinking about this issue.

— Aaron - Reinstate Monica

3

There is also a simple transformation between the two statistics:

R^{2} = \frac{t^{2}}{t^{2} + d f}

$R^2=\frac{t^2}{t^2+df}$

— Jeff

7

To say the same thing as caburke but more simply, you are very confidant that the average response caused by your variables is not zero. But there are lots of other things that you don't have in the regression that cause the response to jump around.

— generic_user
แหล่งที่มา

0

Could it be that although your predictors are trending linearly in terms of your response variable (slope is significantly different from zero), which makes the t values significant, but the R squared is low because the errors are large, which means that the variability in your data is large and thus your regression model is not a good fit (predictions aren't as accurate)?

Just my 2 cents.

Perhaps this post can help: http://blog.minitab.com/blog/adventures-in-statistics/how-to-interpret-a-regression-model-with-low-r-squared-and-low-p-values

— mel
แหล่งที่มา

0

Several answers given are close but still wrong.

"The t-values are used to judge the accurary of your estimate of the βi's" is the one that concerns me the most.

The T-value is merely an indication of the likelihood of random occurrence. Large means unlikely. Small means very likely. Positive and Negative don't matter to the likelihood interpretation.

"R2 measures the amount of variation in your response variable explained by your covariates" is correct.

(I would have commented but am not allowed by this platform yet.)

— Kevin
แหล่งที่มา

2

You seem to write about t-values as if they were p-values.

— whuber

-4

The only way to deal with a small R squared, check the following:

Is your sample size large enough? If yes, do step 2. but if no, increase your sample size.
How many covariates did you use for your model estimation? If more than 1 as in your case, deal with the problem of multicolinearity of the covariates or simply, run the regression again and this time without the constant which is known as beta zero.
However, if the problem still persists, then do a stepwise regression and select the model with a high R squared. But which I cannot recommend to you because it brings about bias in the covariates

— katleho
แหล่งที่มา