เป็นไปได้อย่างไรที่จะได้แบบจำลองการถดถอยเชิงเส้นที่ดีเมื่อไม่มีความสัมพันธ์อย่างมากระหว่างผลลัพธ์กับตัวทำนาย

ฉันได้ฝึกแบบจำลองการถดถอยเชิงเส้นโดยใช้ชุดของตัวแปร / คุณสมบัติ และตัวแบบมีประสิทธิภาพที่ดี อย่างไรก็ตามฉันได้ตระหนักว่าไม่มีตัวแปรใดที่มีความสัมพันธ์ที่ดีกับตัวแปรที่ทำนายไว้ มันเป็นไปได้ยังไงกัน?

คู่ของตัวแปรอาจแสดงความสัมพันธ์บางส่วนที่สูง (การบัญชีความสัมพันธ์สำหรับผลกระทบของตัวแปรอื่น ๆ ) แต่ความสัมพันธ์ต่ำ - หรือแม้กระทั่งศูนย์ - ขอบ (ความสัมพันธ์แบบคู่)

ซึ่งหมายความว่าค่าสหสัมพันธ์ระหว่างการตอบสนอง y และตัวทำนายบางค่า x อาจมีค่าเล็กน้อยในการระบุตัวแปรที่เหมาะสมด้วยค่า "เชิงเส้น" เชิงทำนายในกลุ่มชุดของตัวแปรอื่น ๆ

พิจารณาข้อมูลต่อไปนี้:

   y  x
1  6  6
2 12 12
3 18 18
4 24 24
5  1 42
6  7 48
7 13 54
8 19 60

ความสัมพันธ์ระหว่าง Y และ x เป็น0ถ้าผมวาดเส้นสี่เหลี่ยมอย่างน้อยก็ในแนวนอนได้อย่างสมบูรณ์แบบและเป็นธรรมชาติจะเป็น0$0$$R^2$$0$

แต่เมื่อคุณเพิ่มตัวแปรใหม่ g ซึ่งบ่งชี้ว่าการสังเกตมาจากสองกลุ่มใด x กลายเป็นข้อมูลที่มีประโยชน์อย่างยิ่ง:

   y  x g
1  6  6 0
2 12 12 0
3 18 18 0
4 24 24 0
5  1 42 1
6  7 48 1
7 13 54 1
8 19 60 1

ของรูปแบบการถดถอยเชิงเส้นกับทั้ง x และ g ตัวแปรในนั้นจะเป็น 1$R^2$

มีความเป็นไปได้ที่สิ่งเหล่านี้จะเกิดขึ้นกับตัวแปรทุกตัวในแบบจำลองซึ่งทุกคนมีความสัมพันธ์แบบคู่กับการตอบกลับ แต่ตัวแบบที่มีทั้งหมดนั้นดีมากในการทำนายการตอบสนอง

อ่านเพิ่มเติม:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

ฉันคิดว่าคุณกำลังฝึกโมเดลการถดถอยหลายตัวซึ่งคุณมีตัวแปรอิสระหลายตัว , X 2 , ... , ถดถอยบน Y คำตอบง่ายๆที่นี่คือความสัมพันธ์แบบคู่ที่เหมือนการใช้แบบจำลองการถดถอยแบบไม่เน้นด้านล่าง ด้วยเหตุนี้คุณจึงละเว้นตัวแปรสำคัญ$X_1$$X_2$

โดยเฉพาะอย่างยิ่งเมื่อคุณระบุว่า "ไม่มีตัวแปรที่มีความสัมพันธ์ที่ดีกับตัวแปรที่คาดการณ์" ดูเหมือนว่าคุณกำลังตรวจสอบความสัมพันธ์แบบคู่ระหว่างแต่ละตัวแปรอิสระกับตัวแปรตาม, Y. สิ่งนี้เป็นไปได้เมื่อนำสิ่งที่สำคัญ ข้อมูลใหม่และช่วยในการขจัดความสับสนระหว่างX 1และ Y ด้วยความสับสนนั้นแม้ว่าเราอาจไม่เห็นความสัมพันธ์เชิงเส้นคู่ที่ชาญฉลาดระหว่างX 1และ Y คุณอาจต้องการตรวจสอบความสัมพันธ์ระหว่างความสัมพันธ์บางส่วนρ x 1 , y | x 2และการถดถอยหลายจุดy = β $X_2$$X_1$$X_1$$\rho_{x_{1},y|x_{2}}$ ε การถดถอยมีความสัมพันธ์ใกล้ชิดมากขึ้นกับความสัมพันธ์บางส่วนกว่าความสัมพันธ์คู่, ρ x 1 , Y$y=\beta_1X_1 +\beta_2X_2 + \epsilon$$\rho_{x_{1},y}$

ในแง่เวกเตอร์ถ้าคุณมีชุดของเวกเตอร์และเวกเตอร์อีกปีแล้วถ้าYเป็นมุมฉาก (ศูนย์ความสัมพันธ์) เวกเตอร์ในทุกXแล้วมันยังจะตั้งฉากกับการรวมกันเชิงเส้นใด ๆ ของเวกเตอร์จากX อย่างไรก็ตามหากเวกเตอร์ในXมีองค์ประกอบที่ไม่เกี่ยวข้องขนาดใหญ่และส่วนประกอบที่มีความสัมพันธ์ขนาดเล็กและส่วนประกอบที่ไม่เกี่ยวข้องก็คือการพึ่งพาเชิงเส้นดังนั้นyสามารถสัมพันธ์กับการรวมกันเชิงเส้นของXได้ นั่นคือถ้าX = x 1 , x 2 . . และเราจะใช้o $X$$X$$X$$X$$X$$X={x_1,x_2 ...}$$o_i$= ส่วนประกอบของ x_i ตั้งฉากกับY , = ส่วนประกอบของขนาน x_i ไปปีแล้วถ้ามีคฉันเช่นว่าΣ คฉันo ฉัน = 0แล้ว Σ คฉันx ฉันจะขนานไปกับY (เช่นที่สมบูรณ์แบบ ทำนาย) หาก ∑ c i o i = 0มีขนาดเล็กดังนั้น∑ c i x iจะเป็นตัวพยากรณ์ที่ดี สมมุติว่าเรามีX 1และ$p_i$$c_i$$\sum c_io_i =0$$\sum c_ix_i$$\sum c_io_i =0$$\sum c_ix_i$$X_1$ ~ N (0,1) และ E ~ N (0,100) ตอนนี้เราสร้างคอลัมน์ใหม่ X ' 1และ X ' 2 สำหรับแต่ละแถวที่เราใช้ตัวอย่างที่สุ่มจาก Eเพิ่มตัวเลขที่จะ X 1จะได้รับ X ' 1และลบได้จาก X 2ที่จะได้รับ X ' 2 เนื่องจากแต่ละแถวมีตัวอย่างของการเพิ่มและลบ Eเดียวกันคอลัมน์ X ′ 1และ X ′ 2จะเป็นตัวทำนายที่สมบูรณ์แบบของ$X_2$$E$$X'_1$$X'_2$$E$$X_1$$X'_1$$X_2$$X'_2$$E$$X'_1$$X'_2$$Y$แม้ว่าแต่ละคนจะมีความสัมพันธ์กับเพียงเล็กน้อยเท่านั้น$Y$