การตีความผลลัพธ์การถดถอยเชิงเส้นอย่างง่าย

ฉันใช้การถดถอยเชิงเส้นอย่างง่ายของล็อกธรรมชาติของตัวแปร 2 ตัวเพื่อตรวจสอบว่ามีความสัมพันธ์กันหรือไม่ ผลลัพธ์ของฉันคือ:

R^2 = 0.0893

slope = 0.851

p < 0.001

ฉันสับสน. มองไปที่มูลค่าฉันจะบอกว่าตัวแปรทั้งสองจะไม่ได้มีความสัมพันธ์เพราะมันเป็นให้ใกล้เคียงกับ0อย่างไรก็ตามความชันของเส้นการถดถอยมีค่าเกือบ (แม้จะดูราวกับว่ามันเกือบจะเป็นแนวนอนในพล็อต) และค่า p ระบุว่าการถดถอยมีความสำคัญสูง 0 $R^2$$0$$1$

นี่หมายความว่าตัวแปรทั้งสองมีความสัมพันธ์สูงหรือไม่? ถ้าเป็นเช่นนั้นค่าระบุว่าอะไร?$R^2$

ฉันควรเพิ่มว่าสถิติ Durbin-Watson ถูกทดสอบในซอฟต์แวร์ของฉันและไม่ปฏิเสธสมมติฐานว่าง (มันเท่ากับ ) ฉันคิดว่าสิ่งนี้ทดสอบความเป็นอิสระระหว่างตัวแปร ในกรณีนี้ฉันคาดว่าตัวแปรจะขึ้นอยู่กับเนื่องจากเป็นการวัดของนกแต่ละตัว ฉันใช้การถดถอยนี้เป็นส่วนหนึ่งของวิธีการตีพิมพ์เพื่อกำหนดสภาพร่างกายของแต่ละคนดังนั้นฉันจึงสันนิษฐานว่าการใช้การถดถอยแบบนี้สมเหตุสมผล อย่างไรก็ตามด้วยผลลัพธ์เหล่านี้ฉันคิดว่าอาจเป็นเพราะนกเหล่านี้วิธีนี้ไม่เหมาะ นี่เป็นข้อสรุปที่สมเหตุสมผลหรือไม่?2 $1.357$$2$$2$

ค่าโดยประมาณของความชันไม่ได้บอกความแข็งแกร่งของความสัมพันธ์ด้วยตัวเอง ความแข็งแรงของความสัมพันธ์ขึ้นอยู่กับขนาดของความแปรปรวนข้อผิดพลาดและช่วงของตัวทำนาย นอกจากนี้ค่าสำคัญไม่ได้บอกคุณเสมอว่ามีความสัมพันธ์ที่ดี พี -value เป็นเพียงการทดสอบว่าลาดอยู่ตรง 0 สำหรับขนาดของกลุ่มตัวอย่างขนาดใหญ่พอขาเล็ก ๆ แม้จะมาจากสมมติฐานที่ว่า (คนเช่นไม่ได้มีความสำคัญในทางปฏิบัติ) จะให้ผลอย่างมีนัยสำคัญ -value$p$$p$$p$

ในสามของปริมาณที่คุณนำเสนอที่ค่าสัมประสิทธิ์ของความมุ่งมั่นที่จะช่วยให้ข้อบ่งชี้ที่ยิ่งใหญ่ที่สุดของความแข็งแรงของความสัมพันธ์ ในกรณีของคุณหมายถึงว่าของการเปลี่ยนแปลงในตัวแปรตอบกลับของคุณสามารถอธิบายความสัมพันธ์เชิงเส้นกับตัวทำนายได้ สิ่งที่ถือว่าเป็น "ใหญ่"นั้นขึ้นอยู่กับระเบียบวินัย ตัวอย่างเช่นในสังคมศาสตร์R 2 = .089 8.9 % R $R^2$$R^{2} = .089$$8.9\%$$R^2$อาจเป็น "ใหญ่" แต่ในสภาพแวดล้อมที่มีการควบคุมเช่นการตั้งค่าจากโรงงานอาจต้องใช้ R 2 > .9เพื่อบอกว่ามีความสัมพันธ์ "แข็ง" ในสถานการณ์ส่วนใหญ่ 0.089มีขนาดเล็กมาก$R^2 = .2$$R^2 > .9$$.089$ดังนั้นข้อสรุปของคุณว่ามีความสัมพันธ์เชิงเส้นที่อ่อนแออาจมีเหตุผล$R^2$

จะบอกคุณว่าการเปลี่ยนแปลงมากขึ้นอยู่กับตัวแปรอธิบายโดยรูปแบบ อย่างไรก็ตามหนึ่งสามารถตีความR 2เช่นเดียวกับความสัมพันธ์ระหว่างค่าเดิมของตัวแปรตามและค่าติดตั้ง ในความหมายที่แน่นอนและที่มาของค่าสัมประสิทธิ์การตัดสินใจR 2สามารถพบได้ที่นี่$R^{2}$$R^{2}$$R^{2}$

หลักฐานที่ว่าค่าสัมประสิทธิ์ของความมุ่งมั่นที่จะเทียบเท่าของค่าสัมประสิทธิ์สหสัมพันธ์เพียร์สัน Squared ระหว่างค่าสังเกตและค่าติดตั้งy ที่ฉันสามารถพบได้ที่นี่$y_{i}$$\hat{y}_{i}$

หรือค่าสัมประสิทธิ์ของความมุ่งมั่นที่บ่งบอกถึงความแข็งแรงของรูปแบบของคุณในการอธิบายตัวแปร ในกรณีของคุณR 2 = 0.089 นี่เป็นแบบจำลองของคุณที่สามารถอธิบายความแปรปรวนของตัวแปรตามคุณได้ 8.9% หรือค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคุณY ฉันและค่าติดตั้งของคุณYฉันคือ 0.089 สิ่งที่ถือว่าR 2ที่ดีนั้นขึ้นอยู่กับระเบียบวินัย$R^{2}$$R^{2}=0.089$$y_{i}$$\hat{y}_{i}$$R^{2}$

ในที่สุดก็ถึงส่วนสุดท้ายของคำถามของคุณ คุณไม่สามารถรับการทดสอบ Durbin-Watson เพื่อพูดอะไรบางอย่างเกี่ยวกับความสัมพันธ์ระหว่างตัวแปรตามและตัวแปรอิสระ การทดสอบ Durbin-Watson สำหรับความสัมพันธ์แบบอนุกรม มันมีการดำเนินการเพื่อตรวจสอบว่าข้อผิดพลาดของคุณมีความสัมพันธ์ซึ่งกันและกัน

ค่าจะบอกคุณถึงความแปรผันของข้อมูลที่อธิบายโดยโมเดลที่ติดตั้ง$R^2$

ค่าต่ำในการศึกษาของคุณแสดงให้เห็นว่าข้อมูลของคุณอาจกระจายไปทั่วเส้นถดถอยซึ่งหมายความว่าแบบจำลองการถดถอยสามารถอธิบายได้เพียงเล็กน้อย (น้อยมาก) 8.9% ของการเปลี่ยนแปลงในข้อมูล$R^2$

คุณได้ตรวจสอบเพื่อดูว่าแบบจำลองเชิงเส้นเหมาะสมหรือไม่? ดูการกระจายตัวของสารตกค้างเนื่องจากคุณสามารถใช้สิ่งนี้เพื่อประเมินความเหมาะสมของแบบจำลองกับข้อมูลของคุณ ตามหลักแล้วค่าคงที่ของคุณไม่ควรแสดงความสัมพันธ์กับค่าของคุณและถ้าเป็นเช่นนั้นคุณอาจต้องการคิดว่าการลดขนาดตัวแปรของคุณในวิธีที่เหมาะสมหรือปรับให้เหมาะสมกับแบบจำลองที่เหมาะสมยิ่งขึ้น$x$

$R^2$$y$$x$$x$$y$$R^2$

กล่าวโดยสรุปความลาดเอียงไม่ได้เป็นตัวบ่งชี้ที่ดีของแบบจำลอง 'พอดี' เว้นแต่ว่าคุณมั่นใจว่าเครื่องชั่งของตัวแปรตามและตัวแปรอิสระต้องมีค่าเท่ากัน

ฉันชอบคำตอบที่ได้รับไปแล้ว แต่ให้ฉันเติมเต็มพวกเขาด้วยวิธีการที่แตกต่างกัน

สมมติว่าเรารวบรวมกลุ่มการสังเกตุจากคน 1,000 คนที่พยายามจะค้นหาว่าการชกที่ใบหน้าเกี่ยวข้องกับอาการปวดหัวหรือไม่:

$\varepsilon$ มีตัวแปรที่ถูกตัดออกทั้งหมดซึ่งทำให้เกิดอาการปวดหัวในประชากรทั่วไป: ความเครียดวิธีการปนเปื้อนในเมืองของคุณการนอนหลับไม่เพียงพอการบริโภคกาแฟ ฯลฯ

สำหรับการถดถอยครั้งนี้ $\beta_1$ อาจมีความสำคัญและใหญ่มาก แต่ $R^2$จะต่ำ ทำไม? สำหรับประชากรส่วนใหญ่อาการปวดหัวจะไม่ได้รับการอธิบายมากนักโดยการชกต่อหน้า กล่าวอีกนัยหนึ่งความแปรปรวนของข้อมูลส่วนใหญ่ (เช่นว่าผู้คนมีอาการปวดหัวน้อยหรือมาก) จะไม่ได้รับการอธิบายหากคุณมีเพียงการชกต่อหน้า แต่การชกบนใบหน้านั้นสำคัญมากสำหรับอาการปวดหัว

Graphically, this probably looks like a steep slope but with a very big variation around this slope.

@Macro มีคำตอบที่ดี

ค่าโดยประมาณของความชันไม่ได้บอกความแข็งแกร่งของความสัมพันธ์ด้วยตัวเอง ความแข็งแรงของความสัมพันธ์ขึ้นอยู่กับขนาดของความแปรปรวนข้อผิดพลาดและช่วงของตัวทำนาย นอกจากนี้ค่า pp ที่สำคัญไม่ได้บอกคุณเสมอว่ามีความสัมพันธ์ที่ดี ค่า pp นั้นเป็นการทดสอบว่าความชันเป็น 0 หรือไม่

ฉันแค่ต้องการเพิ่มตัวอย่างตัวเลขเพื่อแสดงสิ่งที่ดูเหมือนว่าจะมีกรณี OP อธิบาย

• ต่ำ $R^2$
• มีนัยสำคัญเกี่ยวกับค่า p

• ใกล้กับลาดชัน $1.0$

  set.seed(6)
  y=c(runif(100)*50,runif(100)*50+10)
  x=c(rep(1,100),rep(10,100))
  plot(x,y)
  
  fit=lm(y~x)
  summary(fit)
  abline(fit)
  
  
  > summary(lm(y~x))
  
  Call:
  lm(formula = y ~ x)
  
  Residuals:
     Min     1Q Median     3Q    Max 
  -24.68 -13.46  -0.87  14.21  25.14 
  
  Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
  (Intercept)  25.6575     1.7107  14.998  < 2e-16 ***
  x             0.9164     0.2407   3.807 0.000188 ***
  ---
  Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
  
  Residual standard error: 15.32 on 198 degrees of freedom
  Multiple R-squared:  0.0682,    Adjusted R-squared:  0.06349 
  F-statistic: 14.49 on 1 and 198 DF,  p-value: 0.0001877