การถดถอยการทดสอบ t และ ANOVA ทุกรุ่นของโมเดลเชิงเส้นทั่วไปเป็นอย่างไร

มีวิธีการทางสถิติพื้นฐานเหมือนกันทุกเวอร์ชั่นอย่างไร

พิจารณาว่าพวกเขาทุกคนสามารถเขียนเป็นสมการถดถอย (อาจมีการตีความที่แตกต่างกันเล็กน้อยกว่ารูปแบบดั้งเดิมของพวกเขา)

$$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$

$$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$

$$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$

$X$$X$$0$$1$$X$

$\beta_0$$0$$\beta_1$

$$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$$ $g$$g-1$$0$$\beta_0$$\beta_1$$\beta_2$

---

ในแง่ของความเห็นของ @ whuber ด้านล่างสิ่งเหล่านี้สามารถแสดงผ่านสมการเมทริกซ์: ตัวแทนของวิธีนี้ &เป็นเวกเตอร์ความยาวและเป็นเวกเตอร์ของความยาว 1 เป็นเมทริกซ์ที่มีแถวและคอลัมน์ ในการถดถอยแม่บทคุณมีอย่างต่อเนื่องตัวแปรและตัด ดังนั้น matrix ของคุณประกอบด้วยชุดของเวกเตอร์คอลัมน์แบบเรียงต่อกันหนึ่งชุดสำหรับแต่ละ

$$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$$ ε N β p + 1 X N ( p + 1 ) p X X X $\bf Y$$\boldsymbol\varepsilon$$N$$\boldsymbol\beta$$p+1$$\bf X$$N$$(p+1)$$p$$X$$\bf X$$X$ตัวแปรที่มีคอลัมน์ของอยู่ทางด้านซ้ายสุดสำหรับการสกัดกั้น $1$

หากคุณเป็นตัวแทนของ ANOVA กับกลุ่มด้วยวิธีนี้โปรดจำไว้ว่าคุณจะมีตัวแปรจำลองบ่งชี้กลุ่มโดยมีกลุ่มอ้างอิงที่ระบุโดยการสังเกตที่มีในแต่ละตัวแปรจำลอง ดังกล่าวข้างต้นคุณจะยังคงมีการสกัดกั้น ดังนั้นG-1 g - 1 0 p = g - $g$$g-1$$0$$p=g-1$

พวกเขาทั้งหมดสามารถเขียนเป็นกรณีเฉพาะของโมเดลเชิงเส้นทั่วไป

t-test เป็นตัวอย่างสองกรณีของ ANOVA หากคุณยกกำลังสองสถิติการทดสอบ t คุณจะได้สอดคล้องกันใน ANOVA$F$

รูปแบบการวิเคราะห์ความแปรปรวนเป็นเพียงรูปแบบการถดถอยที่ระดับปัจจัยโดยมีตัวแทนหุ่น (หรือตัวบ่งชี้ ) ตัวแปร

ดังนั้นถ้าแบบจำลองสำหรับการทดสอบ t เป็นเซตย่อยของแบบจำลอง ANOVA และ ANOVA เป็นส่วนย่อยของแบบจำลองการถดถอยหลายแบบการถดถอยตัวเอง (และสิ่งอื่น ๆ นอกเหนือจากการถดถอย) เป็นส่วนย่อยของแบบจำลองเชิงเส้นทั่วไปซึ่งขยายการถดถอยไป ข้อกำหนดทั่วไปมากขึ้นของระยะข้อผิดพลาดกว่ากรณีการถดถอยปกติ (ซึ่งเป็น 'อิสระ' และ 'เท่ากับแปรปรวน') และหลายตัวแปรY$Y$

---

นี่คือตัวอย่างที่แสดงให้เห็นถึงความเท่าเทียมกันของสามัญ (เท่ากับ-แปรปรวน) สอง sample-วิเคราะห์และการทดสอบสมมติฐานในรูปแบบการถดถอยทำใน R (ข้อมูลจริงที่มีลักษณะที่จะจับคู่ดังนั้นนี้ไม่ได้จริงๆการวิเคราะห์ความเหมาะสม) :$t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33 

สังเกตค่า p-0.079 ข้างต้น นี่เป็นวิธีหนึ่งของ anova:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605                 

ตอนนี้สำหรับการถดถอย:

> summary(lm(extra ~ group, data = sleep))

(เอาออกบางส่วนออก)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

เปรียบเทียบค่า p ในแถว 'group2' และค่า p สำหรับการทดสอบ F ในแถวสุดท้าย สำหรับการทดสอบแบบสองด้านสิ่งเหล่านี้เหมือนกันและทั้งคู่ตรงกับผลการทดสอบ t-test

นอกจากนี้ค่าสัมประสิทธิ์สำหรับ 'group2' แสดงถึงความแตกต่างในค่าเฉลี่ยสำหรับทั้งสองกลุ่ม

คำตอบที่ฉันโพสต์ก่อนหน้านี้มีความเกี่ยวข้องบ้าง แต่คำถามนี้ค่อนข้างแตกต่างกัน

คุณอาจต้องการคิดถึงความแตกต่างและความคล้ายคลึงระหว่างโมเดลเชิงเส้นต่อไปนี้:

$$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$$ $$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$$

Anova นั้นคล้ายคลึงกับ t-test เพื่อความเท่าเทียมกันของวิธีการภายใต้สมมติฐานของความแปรปรวนที่ไม่ทราบ แต่เท่าเทียมกันในการรักษา นี่เป็นเพราะใน ANOVA MSE นั้นเหมือนกับความแปรปรวนแบบพูลที่ใช้ในการทดสอบ t มี t-test เวอร์ชันอื่นเช่นหนึ่งสำหรับความแปรปรวนที่ไม่เท่ากันและการทดสอบ t-pair จากมุมมองนี้การทดสอบ t สามารถยืดหยุ่นได้มากขึ้น