ความแตกต่างระหว่าง t-test และ ANOVA ในการถดถอยเชิงเส้น

ฉันสงสัยว่าความแตกต่างระหว่าง t-test และ ANOVA ในการถดถอยเชิงเส้นคืออะไร

t-test เพื่อทดสอบว่าหนึ่งในความชันและการสกัดกั้นใดมีค่าเป็นศูนย์หรือไม่ในขณะที่ ANOVA เพื่อทดสอบว่าความชันทั้งหมดมีค่าเป็นศูนย์หรือไม่ นี่เป็นข้อแตกต่างระหว่างพวกเขาเหรอ?
ในการถดถอยเชิงเส้นอย่างง่ายนั่นคือมีตัวแปรตัวทำนายเพียงตัวเดียวเท่านั้น t-test และ ANOVA มีความเทียบเท่าหรือไม่และถ้าใช่วิธีการที่พวกเขาใช้สถิติที่แตกต่างกัน (t-test ใช้ t-statistic และ ANOVA ใช้ F-statistic)?

regression anova t-test

โฆษณา 1) ในการถดถอยเชิงเส้นปกติฉันเข้าใจ ANOVA เป็นตัวชี้วัดความดีของแบบจำลองคือการตัดสินใจว่าตัวแบบ (เส้นถดถอย) อธิบายส่วนที่สำคัญของความแปรปรวนทั้งหมดหรือไม่ คำถามไม่ว่ามันจะเทียบเท่ากับความลาดชันทั้งหมดที่เป็นศูนย์หรือไม่มันน่าสนใจมาก ๆ โฆษณา 2) ดูเหมือนว่าฉันได้รับค่า p เกือบเท่ากันสำหรับ t-test และ regression ANOVA ในกรณีนี้ ทฤษฎีบทที่น่าสนใจจริงๆ!

— อยากรู้อยากเห็น

คำตอบ:

โมเดลเชิงเส้นทั่วไปช่วยให้เราเขียนแบบจำลอง ANOVA เป็นแบบจำลองการถดถอย สมมติว่าเรามีสองกลุ่มที่มีข้อสังเกตสองแต่ละคือสี่ข้อสังเกตในเวกเตอร์Yจากนั้นแบบจำลอง overparametrized ดั้งเดิมคือโดยที่เป็นเมทริกซ์ของตัวทำนายคือตัวแปรตัวบ่งชี้ที่หลอกรหัส: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

พารามิเตอร์ไม่สามารถระบุได้ว่าเป็นเนื่องจากมีอันดับ 2 (ไม่สามารถย้อนกลับได้) ในการเปลี่ยนแปลงนั้นเราแนะนำข้อ จำกัด (ความแตกต่างของการรักษา) ซึ่งทำให้เรามีรูปแบบใหม่ : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

ดังนั้น , คือใช้กับความหมายของค่าที่คาดหวังจากหมวดหมู่อ้างอิงของเรา (กลุ่ม 1) , คือใช้กับความหมายของความแตกต่างกับหมวดหมู่อ้างอิง เนื่องจากมีสองกลุ่มมีเพียงหนึ่งพารามิเตอร์ที่เกี่ยวข้องกับเอฟเฟกต์กลุ่มสมมติฐานว่างของ ANOVA (พารามิเตอร์เอฟเฟกต์กลุ่มทั้งหมดคือ 0) จะเหมือนกับสมมติฐานการถดถอยน้ำหนักเป็นศูนย์ว่างเปล่า (พารามิเตอร์ความชันคือ 0) $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

-test ในรูปแบบเชิงเส้นทั่วไปทดสอบการรวมกันเชิงเส้นของพารามิเตอร์กับค่าสมมติฐานภายใต้สมมติฐาน การเลือกเราสามารถทดสอบสมมติฐานที่ (การทดสอบปกติสำหรับพารามิเตอร์ความชัน) เช่นที่นี่ . ประมาณการเป็นที่เป็น OLS ประมาณค่าพารามิเตอร์ สถิติการทดสอบทั่วไปสำหรับคือ: $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ เป็นตัวประมาณค่าที่เป็นกลางสำหรับความแปรปรวนข้อผิดพลาดโดยที่คือผลรวมของส่วนที่เหลือกำลังสอง ในกรณีที่มีสองกลุ่ม ,และตัวประมาณจึงเป็นและ{1} ด้วยเป็น 1 ในกรณีของเราสถิติทดสอบกลายเป็น: $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ มี -distributed กับ DF (ที่นี่ ) เมื่อคุณตารางคุณจะได้รับสถิติการทดสอบจาก ANOVAทดสอบสำหรับสองกลุ่ม (สำหรับระหว่าง,สำหรับภายในกลุ่ม) ซึ่งตาม - การแจกแจงแบบ 1 และ df $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

มีมากกว่าสองกลุ่ม, สมมติฐาน ANOVA (ทั้งหมดพร้อมกัน 0, กับ ) หมายถึงมากกว่าหนึ่งพารามิเตอร์และไม่สามารถแสดงเป็นชุดค่าผสมเชิงเส้น , ดังนั้นการทดสอบจะไม่เท่ากัน . $\beta_{j}$ $1 \leq j$ $\psi$

— Caracal
แหล่งที่มา

ใน 1, ANOVA มักจะทดสอบตัวแปรปัจจัยและหรือไม่ระหว่างความแปรปรวนกลุ่มมีความสำคัญ คุณจะเห็นความแตกต่างอย่างชัดเจนว่าซอฟต์แวร์ของคุณอนุญาตตัวแปรตัวบ่งชี้ในการถดถอยหรือไม่สำหรับแต่ละตัวจำลองคุณจะได้รับค่า ap บอกว่ากลุ่มนี้ให้คะแนนแตกต่างจาก 0 อย่างมีนัยสำคัญและเป็นผลให้แตกต่างจากกลุ่มอ้างอิง . โดยปกติแล้วคุณจะไม่เห็นว่าตัวบ่งชี้มีความสำคัญระดับใดจนกว่าคุณจะทำการทดสอบ ANOVA

การทดสอบ F คือการทดสอบ t กำลังสอง ดังนั้นใน 2 ก็เหมือนกัน

— แรงงาน
แหล่งที่มา

ขอบคุณ! (1) ตัวแปรตัวบ่งชี้หมายถึงอะไรที่นี่ (2) โดยทั่วไป t-test เทียบเท่า ANOVA เฉพาะเมื่อมีเพียงสองกลุ่ม แต่ในการถดถอยเชิงเส้นอย่างง่ายอาจมีมากกว่าสองกลุ่มโดยที่จำนวนกลุ่มคือจำนวนของค่าที่ตัวแปรทำนายใช้ในชุดข้อมูล

— ทิม

(1) ตัวบ่งชี้หรือหมวดหมู่หรือตัวแปรปัจจัย ... เหมือนกันทั้งหมด (2) แน่นอน แต่คุณอาจต้องการทราบว่าคะแนนหุ่น / หมวดหมู่จาก ANOVA นั้นดีเพียงใด

— แรงงาน

ขอบคุณ! (2) ดังนั้นในการถดถอยเชิงเส้นอย่างง่าย t-test มีค่าเทียบเท่า ANOVA อย่างไรเนื่องจากมีมากกว่าสองกลุ่ม "ชุดคะแนนหุ่น / หมวดหมู่จาก ANOVA นั้นดีแค่ไหน" หมายความว่าอย่างไรและทำไมฉันถึงต้องการทราบ

— ทิม

ใน OLS regression R² (ความแปรปรวนที่อธิบาย) จะเท่ากับeta²หรือ MSS / TSS จาก ANOVA ไม่ว่าคุณจะกำหนดกลุ่มไว้กี่กลุ่มก็ตาม ถัดไปคุณอาจต้องการทราบถึงการมีส่วนร่วมของชุดของหุ่น (เช่นตัวแปรตัวบ่งชี้) เพื่อบอกว่าชุดตัวเองมีความเกี่ยวข้องและขอบเขตใดซึ่งแตกต่างจากความสำคัญของความแตกต่างระหว่างหมวดหมู่เดียวกับหมวดหมู่อ้างอิง .

— แรงงาน