รุ่นเชิงเส้นคลาสสิก - การเลือกรูปแบบ

ฉันมีโมเดลเชิงเส้นแบบคลาสสิกโดยมี 5 regressors ที่เป็นไปได้ พวกเขาไม่เกี่ยวข้องกันและมีความสัมพันธ์ค่อนข้างต่ำกับการตอบสนอง ฉันมาถึงแบบจำลองที่มี 3 regressors มีค่าสัมประสิทธิ์นัยสำคัญสำหรับสถิติ t (p <0.05) การเพิ่มตัวแปรที่เหลืออย่างใดอย่างหนึ่งหรือทั้งสองอย่างให้ค่า p> 0.05 สำหรับสถิติ t สำหรับตัวแปรเพิ่ม สิ่งนี้ทำให้ฉันเชื่อว่าโมเดล 3 ตัวแปรนั้น "ดีที่สุด"

อย่างไรก็ตามการใช้คำสั่ง anova (a, b) ใน R โดยที่ a คือโมเดลตัวแปร 3 ตัวและ b เป็นรูปแบบเต็มค่า p สำหรับสถิติ F คือ <0.05 ซึ่งบอกให้ฉันชอบแบบเต็มมากกว่าตัวแปร 3 ตัว แบบ ฉันจะกระทบยอดความขัดแย้งที่เห็นได้ชัดเหล่านี้ได้อย่างไร

ขอบคุณ PS Edit: พื้นหลังเพิ่มเติมบางส่วน นี่คือการบ้านดังนั้นฉันจะไม่โพสต์รายละเอียด แต่เราไม่ได้รับรายละเอียดเกี่ยวกับสิ่งที่ตัวแทนเป็นตัวแทน - พวกเขามีหมายเลขเพียง 1 ถึง 5 เราถูกขอให้ "หาแบบจำลองที่เหมาะสมให้เหตุผล"

ปัญหาเริ่มขึ้นเมื่อคุณค้นหาตัวแบบที่ลดลงและใช้ข้อมูลมากกว่าความรู้ในเรื่องที่จะเลือกตัวทำนาย การเลือกตัวแปรแบบขั้นตอนโดยไม่มีการเปลี่ยนแปลงพร้อมกันเพื่อลงโทษสำหรับการเลือกตัวแปรถึงแม้ว่าจะใช้บ่อยเป็นวิธีการที่ไม่ถูกต้อง มีการเขียนมากเกี่ยวกับเรื่องนี้ ไม่มีเหตุผลที่จะเชื่อได้ว่าโมเดล 3 ตัวแปรนั้น "ดีที่สุด" และไม่มีเหตุผลที่จะไม่ใช้รายการดั้งเดิมของตัวทำนายล่วงหน้าที่ระบุไว้ล่วงหน้า ค่า P ที่คำนวณหลังจากใช้ P-values ​​เพื่อเลือกตัวแปรไม่ถูกต้อง สิ่งนี้ถูกเรียกว่า "การจุ่มสองเท่า" ในวรรณคดีเกี่ยวกับภาพถ่าย

นี่คือการเปรียบเทียบ สมมติว่ามีความสนใจในการเปรียบเทียบ 6 ทรีทเม้นต์ แต่ใช้ pairwise t-tests เพื่อเลือกทรีทเม้นต์ที่ "แตกต่าง" ทำให้ชุดลดลง 4 ทรีทเม้นต์ จากนั้นนักวิเคราะห์ทดสอบความแตกต่างโดยรวมด้วยอิสรภาพ 3 องศา การทดสอบ F นี้จะมีข้อผิดพลาดประเภทที่สูงเกินจริง การทดสอบ F ต้นฉบับที่มี 5 df นั้นค่อนข้างถูกต้อง

ดูhttp://www.stata.com/support/faqs/stat/stepwise.htmlและการถดถอยตามขั้นตอนสำหรับข้อมูลเพิ่มเติม

คำตอบเดียวก็คือ "สิ่งนี้ไม่สามารถทำได้หากไม่มีความรู้ในเรื่อง" น่าเสียดายที่มีโอกาสได้รับ F จากการมอบหมาย ถ้าฉันไม่ใช่อาจารย์ของคุณ จากนั้นมันก็จะได้เอ

$R^2$

จากนั้นก็มี

ทำนาย 5 ทั้งหมดถูกสร้างขึ้นโดยการจำลองแบบอิสระจากการแจกแจงแบบปกติ

ถ้าคุณรู้สิ่งนี้ (นั่นคืออาจารย์ของคุณบอกคุณ) และถ้าโดย "อิสระ" คุณหมายถึง "ไม่เกี่ยวข้องกับ DV" คุณจะรู้ว่าแบบจำลองที่ดีที่สุดคือแบบที่ไม่มีผู้ทำนายและสัญชาตญาณของคุณนั้นถูกต้อง

คุณอาจลองทำการตรวจสอบข้าม เลือกชุดย่อยของกลุ่มตัวอย่างค้นหาโมเดล "ดีที่สุด" สำหรับชุดย่อยนั้นโดยใช้การทดสอบแบบ F หรือ t จากนั้นนำไปใช้กับชุดข้อมูลเต็มรูปแบบ (การตรวจสอบความถูกต้องไขว้เต็มอาจมีความซับซ้อนมากกว่านี้ สิ่งนี้จะช่วยบรรเทาปัญหาการทดสอบแบบขั้นตอนบางอย่าง

ดูหมายเหตุเกี่ยวกับสมการถดถอยการคัดกรองโดย David Freedman สำหรับการจำลองความคิดเล็ก ๆ น้อย ๆ ที่น่ารักของความคิดนี้

ฉันชอบวิธีที่ใช้ในcaretแพ็คเกจ: กำจัดคุณลักษณะแบบเรียกซ้ำ คุณสามารถอ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ได้ในบทความสั้นๆ แต่นี่เป็นกระบวนการพื้นฐาน:

แนวคิดพื้นฐานคือการใช้เกณฑ์ (เช่นสถิติ t) เพื่อกำจัดตัวแปรที่ไม่สำคัญและดูว่าจะปรับปรุงความแม่นยำในการทำนายของโมเดลได้อย่างไร คุณพันสิ่งทั้งหมดไว้ในลูปการสุ่มตัวอย่างอีกครั้งเช่นการตรวจสอบความถูกต้องข้าม นี่คือตัวอย่างการใช้แบบจำลองเชิงเส้นเพื่อจัดอันดับตัวแปรในลักษณะที่คล้ายกับสิ่งที่คุณอธิบาย:

#Setup
set.seed(1)
p1 <- rnorm(50)
p2 <- rnorm(50)
p3 <- rnorm(50)
p4 <- rnorm(50)
p5 <- rnorm(50)
y <- 4*rnorm(50)+p1+p2-p5

#Select Variables
require(caret)
X <- data.frame(p1,p2,p3,p4,p5)
RFE <- rfe(X,y, sizes = seq(1,5), rfeControl = rfeControl(
                    functions = lmFuncs,
                    method = "repeatedcv")
                )
RFE
plot(RFE)

#Fit linear model and compare
fmla <- as.formula(paste("y ~ ", paste(RFE$optVariables, collapse= "+")))
fullmodel <- lm(y~p1+p2+p3+p4+p5,data.frame(y,p1,p2,p3,p4,p5))
reducedmodel <- lm(fmla,data.frame(y,p1,p2,p3,p4,p5))
summary(fullmodel)
summary(reducedmodel)

ในตัวอย่างนี้ algorythm ตรวจพบว่ามีตัวแปร "สำคัญ" 3 ตัว แต่จะได้รับเพียง 2 ตัวเท่านั้น