ความสัมพันธ์ระหว่าง R-squared และ p-value ในการถดถอยคืออะไร?

tl; dr - สำหรับการถดถอยของ OLS ค่า R-squared ที่สูงขึ้นนั้นแสดงถึงค่า P ที่สูงขึ้นด้วยหรือไม่ โดยเฉพาะสำหรับตัวแปรอธิบายเดี่ยว (Y = a + bX + e) ​​แต่ก็สนใจที่จะทราบสำหรับตัวแปรอธิบายหลายตัวแปร (Y = a + b1X + ... bnX + e)

บริบท - ฉันกำลังดำเนินการถดถอย OLS ในช่วงของตัวแปรและกำลังพยายามพัฒนารูปแบบการอธิบายที่ดีที่สุดโดยสร้างตารางที่มีค่า R-squared ระหว่างเส้นตรงลอการิทึม ฯลฯ การแปลงของตัวแปรอธิบาย (อิสระ) แต่ละตัว และตัวแปรตอบกลับ (ขึ้นอยู่กับ) ดูเหมือนว่า:

ชื่อตัวแปร - รูปแบบเชิงเส้น - --ln (ตัวแปร) --exp (ตัวแปร) - ... ฯลฯ

ตัวแปร 1 ------- R-squared ---- R-squared ---- R-squared -
... ฯลฯ ...

ฉันสงสัยว่า R-squared นั้นเหมาะสมหรือว่า P-values ​​จะดีกว่า สันนิษฐานว่ามีความสัมพันธ์บางอย่างเนื่องจากความสัมพันธ์ที่มีนัยสำคัญยิ่งกว่าจะบ่งบอกถึงอำนาจการอธิบายที่สูงขึ้น แต่ไม่แน่ใจว่าเป็นจริงในลักษณะที่เข้มงวด

คำตอบคือไม่ไม่มีความสัมพันธ์ปกติระหว่าง$R^2$กับค่า p-value การถดถอยโดยรวมเนื่องจาก$R^2$ขึ้นอยู่กับความแปรปรวนของตัวแปรอิสระมากเท่ากับที่ทำกับความแปรปรวนของค่าตกค้าง ตามสัดส่วน) และคุณมีอิสระที่จะเปลี่ยนความแปรปรวนของตัวแปรอิสระตามจำนวนที่กำหนด

ตัวอย่างเช่นการพิจารณาใด ๆชุดของข้อมูลหลายตัวแปร$((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$กับ$i$ทำดัชนีกรณีและคิดว่าชุดของค่าของตัวแปรอิสระแรก$\{x_{i1}\}$มีสูงสุดที่ไม่ซ้ำกัน$x^*$แยกออกมาจากที่สองที่มีมูลค่าสูงสุดตามจำนวนเงินที่บวกε$\epsilon$ใช้การแปลงแบบไม่เป็นเชิงเส้นของตัวแปรแรกที่ส่งค่าทั้งหมดน้อยกว่า$x^* - \epsilon/2$ในช่วง$[0,1]$และส่ง$x^*$ตัวเองไปบางค่าขนาดใหญ่$M \gg 1$ 1 สำหรับเช่น$M$นี้สามารถทำได้โดยการปรับขนาด (สัดส่วน) Box-Cox$x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$ , ดังนั้นเราไม่ได้พูดถึง อะไรที่แปลกหรือ "พยาธิวิทยา" จากนั้นเป็น$M$เติบโตขนาดใหญ่พล$R^2$วิธี$1$อย่างใกล้ชิดในขณะที่คุณโปรดโดยไม่คำนึงถึงวิธีการที่ไม่ดีพอดีเป็นเพราะความแปรปรวนของที่เหลือจะถูกล้อมรอบในขณะที่ความแปรปรวนของตัวแปรอิสระครั้งแรกเป็นสัดส่วน asymptotically เพื่อ$M^2$ 2

คุณควรจะใช้แทนความดีของการทดสอบพอดี (ในเทคนิคอื่น ๆ ) เพื่อเลือกรูปแบบที่เหมาะสมในการสำรวจของคุณ: คุณควรจะมีความกังวลเกี่ยวกับความเป็นเชิงเส้นของความพอดีและของhomoscedasticityของคลาดเคลื่อน และอย่าใช้ค่า p ใด ๆ จากการถดถอยที่เกิดขึ้นกับความน่าเชื่อถือ: พวกเขาจะเกือบไร้ความหมายหลังจากที่คุณผ่านการฝึกหัดนี้เพราะการตีความของพวกเขาถือว่าตัวเลือกในการแสดงตัวแปรอิสระไม่ได้ขึ้นอยู่กับค่าของ ตัวแปรตามทั้งหมดซึ่งไม่ได้เป็นอย่างนี้

คำตอบนี้ไม่ได้ตอบคำถามกลางโดยตรง มันไม่มีอะไรมากไปกว่าข้อมูลเพิ่มเติมที่ยาวเกินไปสำหรับความคิดเห็น

ผมชี้ให้เห็นนี้เพราะ econometricstatsquestion จะไม่มีข้อสงสัยพบข้อมูลนี้หรือสิ่งที่ชอบในบางจุด (ระบุว่าและR 2จะเกี่ยวข้อง) และสงสัยว่าข้อมูลที่ได้รับในคำตอบอื่น ๆ ที่นี่เป็นสิ่งที่ผิด - มันไม่ผิด - แต่ฉันคิดว่า มันจ่ายให้ชัดเจนเกี่ยวกับสิ่งที่เกิดขึ้น$F$$R^2$

มีความสัมพันธ์ภายใต้สถานการณ์เฉพาะ หากคุณถือจำนวนการสังเกตและจำนวนผู้ทำนายที่ได้รับการแก้ไขสำหรับแบบจำลองที่กำหนดคือความจริงที่เกี่ยวกับเสียงเดียวในR 2เนื่องจาก$F$$R^2$

(ถ้าคุณหารเศษและส่วนด้วยและดึงค่าคงที่เป็นkคุณจะเห็นว่า1 / F ∝ 1 / R 2 - 1หากคุณมีค่าคงที่Nและk )$R^2$$k$$1/F \propto 1/R^2 - 1$$N$$k$

ตั้งแต่คง DF และ p-value ที่เกี่ยวข้อง monotonically, R 2และพี -value ยังเกี่ยวข้อง monotonically$F$$R^2$$p$

แต่เปลี่ยนแปลงอะไรก็ได้เกือบทุกอย่างเกี่ยวกับแบบจำลองและความสัมพันธ์นั้นไม่ได้อยู่ในสถานการณ์ที่เปลี่ยนแปลงไป

ตัวอย่างเช่นการเพิ่มจุดทำให้มีขนาดใหญ่ขึ้นและการลบออกทำให้มีขนาดเล็กลง แต่การทำอย่างใดอย่างหนึ่งสามารถเพิ่มหรือลดR 2ได้ดังนั้นดูเหมือนว่าFและR 2ไม่จำเป็นต้องเคลื่อนไหวร่วมกัน คุณเพิ่มหรือลบข้อมูล การเพิ่มตัวแปรลดลง( N - k ) / ( k - 1 )แต่เพิ่มR 2 (และในทางกลับกัน) ดังนั้นอีกครั้งR 2ไม่จำเป็นต้องเกี่ยวข้องกับ$(N-k)/(k-1)$$R^2$$F$$R^2$ $(N-k)/(k-1)$$R^2$$R^2$เมื่อคุณทำเช่นนั้น$F$

เห็นได้ชัดว่าเมื่อคุณเปรียบเทียบและพี -values ข้ามรุ่นที่มีลักษณะแตกต่างกันความสัมพันธ์นี้ไม่จำเป็นต้องถือเป็น whuber พิสูจน์ในกรณีของการเปลี่ยนแปลงเชิง$R^2$$p$

"for OLS regression, does a higher R-squared also imply a higher P-value? Specifically for a single explanatory variable (Y = a + bX + e) "

$R^2$$F$$t$$R^2$$p$$t$ and $R^2$ is:

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

So in this case, once you fix $n$, the higher the $R^2$ the higher the $t$ statistic and the lower the p-value.

"but would also be interested to know for n multiple explanatory variables (Y = a + b1X + ... bnX + e)."

The answer is the same, but instead of looking at one variable only, we now look at all variables together -- hence the $F$ statistic, as Glen_b has shown. And here you have to fix both $n$ and the number of parameters. Or, to put it better, fix the degrees of freedom.

Context - I'm performing OLS regression on a range of variables and am trying to develop the best explanatory functional form (...)

Ok, so this is actually a different problem. If you are looking at the best explanatory functional form, you should also take a look at cross-validation techniques. Even if $R^2$ is the quantity of interest for your problem (it usually isn't), finding the best fit in-sample can be very misleading -- you usually want your findings to generalize out of sample, and proper cross-validation can help you not overfit your data too much.

And here I'm guessing that you want "predictive" power (since you say you want to find "the best explanatory functional form"). If you want to do causal inference, for instance, then the $R^2$ or other predictive performance metrics are of little help without more structural/substantive knowledge of the problem.