การเพิ่มตัวทำนายการถดถอยเชิงเส้นจะลด R กำลังสอง

ชุดข้อมูลของฉัน ( $N \approx 10,000$ ) มีตัวแปรตาม (DV), "baseline" อิสระห้าตัวแปร (P1, P2, P3, P4, P5) และหนึ่งตัวแปรอิสระที่น่าสนใจ (Q)

ฉันใช้การถดถอยเชิงเส้น OLS สำหรับรุ่นสองรุ่นต่อไปนี้:

DV ~ 1 + P1 + P2 + P3 + P4 + P5
                                  -> R-squared = 0.125

DV ~ 1 + P1 + P2 + P3 + P4 + P5 + Q
                                  -> R-squared = 0.124

นั่นคือการเพิ่มตัวทำนาย Q ได้ลดจำนวนความแปรปรวนที่อธิบายไว้ในตัวแบบเชิงเส้น เท่าที่ผมเข้าใจนี้ไม่ควรเกิดขึ้น

เพื่อความชัดเจนค่าเหล่านี้คือค่า R-squared และไม่ได้ปรับค่า R-squared

ฉันได้รับการตรวจสอบค่า R-squared ใช้Jaspและ ธstatsmodels

มีเหตุผลอะไรบ้างที่ฉันเห็นปรากฏการณ์นี้? มีบางอย่างที่เกี่ยวข้องกับวิธีการ OLS หรือไม่?

regression linear r-squared

— Cai
แหล่งที่มา

ปัญหาเชิงตัวเลข? ตัวเลขค่อนข้างใกล้กัน ...

@ user2137591 นี่คือสิ่งที่ฉันคิด แต่ฉันไม่มีความคิดวิธีการตรวจสอบนี้ ความแตกต่างแน่นอนในค่า R-squared เป็น 0.000513569 ซึ่งมีขนาดเล็ก แต่ไม่ว่าขนาดเล็ก

— Cai

ฉันหวังว่าคุณจะรู้ว่าพีชคณิตเชิงเส้น: ถ้า

X

$\mathbf{X}$ เป็นเมทริกซ์การออกแบบด้านบนคุณช่วยคำนวณได้ไหม

det X^{T} X

$\det\mathbf{X}^{T}\mathbf{X}$ ที่ไหน

T

$T$ เมทริกซ์คือทรานสและ

det

$\det$ เมทริกซ์ดีเทอร์มิแนนต์คืออะไร?

— Clarinetist

ค่าที่หายไปจะถูกปล่อยโดยอัตโนมัติ?

— generic_user

0.000513569 เป็นจำนวนน้อยมาก: มันเปลี่ยน 0.41 เปอร์เซ็นต์ มันอาจเป็นปัญหาที่เป็นตัวเลขมาก สิ่งที่นักคลาริเน็ตพยายามพูดคือบางทีเมทริกซ์การออกแบบของคุณอาจมีจำนวนเงื่อนไขไม่ดีและเมื่อทำการย้อนกลับมันไม่เสถียรเชิงตัวเลข ...

เป็นไปได้หรือไม่ที่คุณมีค่าที่ขาดหายไปในQการทำให้ดรอปอัตโนมัติ นั่นจะมีผลกระทบต่อตัวอย่างทำให้การถดถอยทั้งสองนั้นไม่สามารถเปรียบเทียบกันได้

— generic_user
แหล่งที่มา