ตรรกะที่อยู่เบื้องหลังการทดสอบ F-ANOVA ในการถดถอยเชิงเส้นอย่างง่าย

ฉันพยายามที่จะเข้าใจตรรกะที่อยู่เบื้องหลังการทดสอบ ANOVA F ในการวิเคราะห์การถดถอยเชิงเส้นอย่างง่าย คำถามที่ฉันมีดังต่อไปนี้ เมื่อค่า F คือ MSR/MSEมีขนาดใหญ่เรายอมรับแบบจำลองเป็นสำคัญ เหตุผลเบื้องหลังนี้คืออะไร?

regression anova

— บอกไม่ได้
แหล่งที่มา

@ Can'tTell คุณสามารถค้นหาความช่วยเหลือเกี่ยวกับการจัดรูปแบบได้ที่นี่: stats.stackexchange.com/editing-help

ในกรณีที่ง่ายที่สุดเมื่อคุณมีตัวทำนายเพียงตัวเดียว (การถดถอยอย่างง่าย) พูด $X_1$ การทดสอบ $F$ จะบอกคุณว่าการรวม $X_1$ อธิบายถึงส่วนใหญ่ของความแปรปรวนที่สังเกตเห็นใน $Y$ เมื่อเทียบกับตัวแบบ null (สกัดกั้นเท่านั้น) . แนวคิดนี้คือการทดสอบว่าความแปรปรวนที่อธิบายเพิ่ม (ความแปรปรวนทั้งหมด, TSS, ลบความแปรปรวนที่เหลือ, RSS) มีขนาดใหญ่พอที่จะถือว่าเป็น "ปริมาณที่มีนัยสำคัญ" หรือไม่ เราอยู่ที่นี่เปรียบเทียบแบบจำลองที่มีตัวทำนายหนึ่งตัวหรือตัวแปรอธิบายกับพื้นฐานซึ่งเป็นเพียง "เสียง" (ไม่มีอะไรยกเว้นค่าเฉลี่ยที่ยิ่งใหญ่)

ในทำนองเดียวกันคุณสามารถคำนวณสถิติในการตั้งค่าการถดถอยหลายครั้ง: ในกรณีนี้มันเป็นการทดสอบตัวทำนายทั้งหมดที่รวมอยู่ในแบบจำลองซึ่งภายใต้กรอบ HT หมายความว่าเราสงสัยว่ามีใครในการทำนายการตอบสนองหรือไม่ ตัวแปร. นี่คือเหตุผลที่คุณอาจพบสถานการณ์ที่การทดสอบสำหรับแบบจำลองทั้งหมดมีความสำคัญในขณะที่การทดสอบหรือเกี่ยวข้องกับสัมประสิทธิ์การถดถอยแต่ละตัวไม่ได้ $F$ $F$ $t$ $z$

สถิติดูเหมือน $F$

F = \frac{(TSS - RSS) / (p - 1)}{RSS / (n - p)},

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)},$

โดยที่คือจำนวนพารามิเตอร์โมเดลและจำนวนการสังเกต ปริมาณนี้ควรถูกอ้างถึงการแจกแจงสำหรับค่าวิกฤตหรือค่ามันใช้สำหรับแบบจำลองการถดถอยอย่างง่ายเช่นกันและเห็นได้ชัดว่ามีความคล้ายคลึงกับกรอบ ANOVA แบบดั้งเดิม $p$ $n$ $F_{p-1,n-p}$ $p$

sidenote เมื่อคุณมีตัวทำนายมากกว่าหนึ่งตัวคุณอาจสงสัยว่าการพิจารณาเพียงชุดย่อยของตัวทำนายเหล่านั้น "ลด" คุณภาพของแบบจำลองที่เหมาะสม สอดคล้องกับสถานการณ์นี้ที่เราพิจารณารุ่นที่ซ้อนกัน นี่เป็นสถานการณ์เดียวกันกับสถานการณ์ข้างต้นซึ่งเราเปรียบเทียบแบบจำลองการถดถอยที่ได้รับกับตัวแบบโมฆะ เพื่อประเมินการลดลงของความแปรปรวนที่อธิบายไว้เราสามารถเปรียบเทียบผลรวมที่เหลือของกำลังสอง (RSS) จากทั้งสองรุ่น (นั่นคือสิ่งที่เหลือไว้โดยไม่ได้อธิบายเมื่อคุณอธิบายถึงผลกระทบของตัวทำนายที่อยู่ในรูปแบบ) ให้และแทนโมเดลพื้นฐาน (ด้วย $\mathcal{M}_0$ $\mathcal{M}_1$ $p$ พารามิเตอร์) และโมเดลที่มีตัวทำนายเพิ่มเติม ( พารามิเตอร์) ดังนั้นถ้ามีขนาดเล็กเราจะพิจารณาว่าโมเดลที่มีขนาดเล็กกว่านั้นทำงานได้ดีเท่ากับขนาดที่ใหญ่กว่า สถิติที่ดีที่จะใช้อัตราส่วนของ SS, , ถ่วงน้ำหนักด้วยองศาอิสระ ( สำหรับตัวเศษและ $q=p+1$ $\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0}$ $(\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0})/\text{RSS}_{\mathcal{M}_0}$ $p-q$ $n-p$ สำหรับตัวหาร) ดังที่ได้กล่าวไปแล้วมันสามารถแสดงให้เห็นว่าปริมาณนี้ตามการกระจายแบบ (หรือ Fisher-Snedecor) ที่มีและองศาอิสระหากสังเกตเห็นนั้นมีขนาดใหญ่กว่าควอนตัมสอดคล้องกันที่กำหนด(โดยทั่วไปแล้ว ) จากนั้นเราจะสรุปได้ว่าโมเดลที่มีขนาดใหญ่กว่านี้จะทำให้ (นี่ไม่ได้หมายความว่าแบบจำลองนั้นถูกต้องจากมุมมองที่ใช้งานได้จริง!) $F$ $p-q$ $n-p$ $F$ $F$ $\alpha$ $\alpha=0.05$

ข้อสรุปทั่วไปของแนวคิดดังกล่าวคือการทดสอบอัตราส่วนความน่าจะเป็น

หากคุณใช้ R คุณสามารถเล่นกับแนวคิดด้านบนดังนี้:

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2

— CHL
แหล่งที่มา

@chl - ก่อนอื่นคำตอบดี! สิ่งนี้อาจรับประกันได้ว่าเป็นคำถามของตัวเองโปรดแจ้งให้เราทราบ ... แต่คำอธิบายที่ฉันได้อ่านเกี่ยวกับตาราง ANOVA สำหรับตัวแบบการถดถอยโดยทั่วไปจะอ้างอิงแถวสามแถวในตาราง: ตัวทำนายข้อผิดพลาดและผลรวม อย่างไรก็ตามanova()ฟังก์ชันใน R ส่งคืนแถวแต่ละแถวสำหรับตัวทำนายแต่ละตัวในโมเดล ยกตัวอย่างเช่นanova(lm0)ดังกล่าวข้างต้นจะส่งกลับแถวสำหรับV1, V2และResiduals(และไม่ทั้งหมด) ด้วยเหตุนี้เราจึงได้สถิติ F * สองรุ่นสำหรับรุ่นนี้ สิ่งนี้เปลี่ยนแปลงการตีความของสถิติ F * ที่รายงานในตาราง ANOVA ได้อย่างไร

— ไล่

@ เลือกใช่ตาราง ANOVA ที่ฉันมีอยู่ในใจจะถูกจัดเรียงในลักษณะนี้เช่นกัน อย่าลังเลที่จะถามคำถาม ฉันชอบที่จะได้ยินว่าผู้ใช้คนอื่นคิดอย่างไร ฉันมักจะใช้anova()สำหรับการเปรียบเทียบ GLM เมื่อนำไปใช้กับวัตถุlmหรือaovมันจะแสดงผลกระทบ (SS) แยกต่างหากสำหรับแต่ละคำในรูปแบบและไม่แสดง TSS (ฉันเคยใช้วิธีนี้ในอีกวิธีหนึ่งคือหลังจากติดตั้ง ANOVA ด้วยaov()ฉันสามารถใช้summary.lm()เพื่อให้ได้แนวคิดการรักษาที่แตกต่างกัน) อย่างไรก็ตามมีปัญหาที่ละเอียดอ่อนระหว่างsummary.lm()และsummary.aov()โดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับการปรับตามลำดับ

— CHL

@Chase ฉันเพิ่งค้นพบนี้การตอบสนองที่ดีมากจาก @Gavin เกี่ยวกับการแปลความหมายของ LM R () ของการส่งออก

— chl

@chl - nitpicking เล็กน้อยจากฉัน มันเป็นคำตอบที่ดีเกี่ยวกับสัญชาตญาณเบื้องหลังการทดสอบ F และวิธีการที่ "ไปในทิศทางที่ถูกต้อง" แต่มันไม่ได้อธิบายถึงเหตุผลว่าทำไมคุณควรเลือกแบบทดสอบนี้ ตัวอย่างเช่นทำไมเราไม่ควรใช้สถิติการกด? คุณนัยอัตราส่วน - ซึ่งจะมีเหตุผลตรรกะ - เพราะฉะนั้นการบังคับใช้กับรุ่นทุกคนไม่เหมือน F-ทดสอบ

— ความน่าจะเป็นทางการ

@probabilityislogic จุดดี ความคิดของฉันคือการแสดงตรรกะที่อยู่เบื้องหลังการเปรียบเทียบแบบจำลองซึ่งแบบจำลองการถดถอยอย่างง่ายเป็นเพียงกรณีเฉพาะ (เปรียบเทียบกับโมเดล "โมฆะมาก") ซึ่งเป็นแรงบันดาลใจให้ทราบอย่างรวดเร็วเกี่ยวกับ LRT ฉันเห็นด้วยกับคุณถ้าเราทำงานตามแนวทางของ Neyman-Pearson สำหรับ HT อย่างไรก็ตามฉันส่วนใหญ่คิดในแง่ของทฤษฎีของ LMs ที่ SS มีการตีความทางเรขาคณิตโดยตรงและที่การเปรียบเทียบรูปแบบหรือการทดสอบ F เดียวสำหรับ ANOVA แบบทางเดียว (... )

— chl