ปัญหาทั่วไปที่ส่งผลให้เกิดการ overfitting ในชีวิตจริงคือนอกเหนือจากข้อกำหนดสำหรับแบบจำลองที่ระบุอย่างถูกต้องแล้วเราอาจเพิ่มสิ่งที่ไม่เกี่ยวข้อง: พลังที่ไม่เกี่ยวข้อง (หรือการแปลงอื่น ๆ ) ของคำที่ถูกต้องตัวแปรที่ไม่เกี่ยวข้องหรือปฏิสัมพันธ์ที่ไม่เกี่ยวข้อง
นี้เกิดขึ้นในการถดถอยพหุคูณถ้าคุณเพิ่มตัวแปรที่ไม่ควรจะปรากฏในรูปแบบที่กำหนดไว้อย่างถูกต้อง แต่ไม่ต้องการที่จะลดลงเพราะคุณกลัวการกระตุ้นให้เกิดอคติตัวแปรละเว้น แน่นอนคุณไม่มีทางรู้ว่าคุณรวมมันผิดเนื่องจากคุณไม่สามารถมองเห็นประชากรทั้งหมดเพียงตัวอย่างของคุณดังนั้นจึงไม่สามารถทราบได้อย่างแน่นอนว่าข้อกำหนดที่ถูกต้องคืออะไร (เนื่องจาก @Scortchi ชี้ให้เห็นในความคิดเห็นอาจไม่มีสิ่งใดในแบบจำลอง "ถูกต้อง" - ในแง่นั้นจุดประสงค์ของการสร้างแบบจำลองคือการหาสเปคที่ "ดีพอ" เพื่อหลีกเลี่ยงการบรรจุมากเกินไปเกี่ยวข้องกับการหลีกเลี่ยงความซับซ้อนของโมเดล มากกว่าที่จะอยู่ได้จากข้อมูลที่มีอยู่) หากคุณต้องการตัวอย่างจริงของการ overfitting สิ่งนี้จะเกิดขึ้นทุกครั้งคุณโยนตัวทำนายที่เป็นไปได้ทั้งหมดลงในแบบจำลองการถดถอยหากจริง ๆ แล้วพวกมันไม่มีความสัมพันธ์กับการตอบสนองเมื่อผลกระทบของผู้อื่นถูกแบ่งออกเป็นส่วน ๆ
ด้วยการ overfitting ประเภทนี้ข่าวดีก็คือการรวมคำที่ไม่เกี่ยวข้องเหล่านี้ไม่ได้แนะนำความลำเอียงของตัวประมาณของคุณและในตัวอย่างที่มีขนาดใหญ่มากค่าสัมประสิทธิ์ของคำที่ไม่เกี่ยวข้องควรอยู่ใกล้กับศูนย์ แต่ก็มีข่าวร้าย: เนื่องจากข้อมูลที่ จำกัด จากตัวอย่างของคุณกำลังถูกใช้เพื่อประเมินพารามิเตอร์เพิ่มเติมมันสามารถทำได้โดยมีความแม่นยำน้อยกว่า - ดังนั้นข้อผิดพลาดมาตรฐานของคำที่เกี่ยวข้องจะเพิ่มขึ้นอย่างแท้จริง นั่นก็หมายความว่าพวกมันมีแนวโน้มที่จะอยู่ห่างจากค่าที่แท้จริงมากกว่าการประมาณการจากการถดถอยที่ระบุอย่างถูกต้องซึ่งหมายความว่าหากได้รับค่าใหม่ของตัวแปรอธิบายของคุณการคาดการณ์จากตัวแบบ overfitted จะมีความแม่นยำน้อยกว่า รูปแบบที่ระบุอย่างถูกต้อง
นี่คือพล็อตของ GDP ของบันทึกเทียบกับประชากรของบันทึกสำหรับ 50 รัฐของสหรัฐอเมริกาในปี 2010 ตัวอย่างแบบสุ่มจาก 10 รัฐถูกเลือก (เน้นด้วยสีแดง) และสำหรับตัวอย่างนั้นเราพอดีกับโมเดลเชิงเส้นอย่างง่ายและพหุนามของปริญญา 5 สำหรับตัวอย่าง คะแนนพหุนามมีองศาอิสระเพิ่มขึ้นที่ปล่อยให้ "ดิ้น" ใกล้กับข้อมูลที่สังเกตได้มากกว่าเส้นตรง แต่ 50 รัฐในภาพรวมเชื่อฟังความสัมพันธ์เชิงเส้นเกือบทั้งหมดดังนั้นประสิทธิภาพการทำนายของแบบจำลองพหุนามในจุด 40 ตัวอย่างนอกนั้นแย่มากเมื่อเทียบกับแบบจำลองที่มีความซับซ้อนน้อยกว่าโดยเฉพาะอย่างยิ่งเมื่อคาดการณ์ พหุนามมีความเหมาะสมอย่างมากกับโครงสร้างแบบสุ่ม (เสียง) ของตัวอย่างซึ่งไม่ได้พูดถึงประชากรที่กว้างขึ้น มันยากจนโดยเฉพาะอย่างยิ่งในการประมาณค่าเกินกว่าช่วงที่สังเกตได้ของตัวอย่างการแก้ไขคำตอบนี้)
RYผม= 2 x1 , ฉัน+ 5 + ϵผมx2x3x1x2x3
require(MASS) #for multivariate normal simulation
nsample <- 25 #sample to regress
nholdout <- 1e6 #to check model predictions
Sigma <- matrix(c(1, 0.5, 0.4, 0.5, 1, 0.3, 0.4, 0.3, 1), nrow=3)
df <- as.data.frame(mvrnorm(n=(nsample+nholdout), mu=c(5,5,5), Sigma=Sigma))
colnames(df) <- c("x1", "x2", "x3")
df$y <- 5 + 2 * df$x1 + rnorm(n=nrow(df)) #y = 5 + *x1 + e
holdout.df <- df[1:nholdout,]
regress.df <- df[(nholdout+1):(nholdout+nsample),]
overfit.lm <- lm(y ~ x1*x2*x3, regress.df)
correctspec.lm <- lm(y ~ x1, regress.df)
summary(overfit.lm)
summary(correctspec.lm)
holdout.df$overfitPred <- predict.lm(overfit.lm, newdata=holdout.df)
holdout.df$correctSpecPred <- predict.lm(correctspec.lm, newdata=holdout.df)
with(holdout.df, sum((y - overfitPred)^2)) #SSE
with(holdout.df, sum((y - correctSpecPred)^2))
require(ggplot2)
errors.df <- data.frame(
Model = rep(c("Overfitted", "Correctly specified"), each=nholdout),
Error = with(holdout.df, c(y - overfitPred, y - correctSpecPred)))
ggplot(errors.df, aes(x=Error, color=Model)) + geom_density(size=1) +
theme(legend.position="bottom")
นี่คือผลลัพธ์ของฉันจากการวิ่งครั้งเดียว แต่เป็นการดีที่สุดที่จะเรียกใช้การจำลองหลาย ๆ ครั้งเพื่อดูผลกระทบของตัวอย่างที่สร้างขึ้นที่แตกต่างกัน
> summary(overfit.lm)
Call:
lm(formula = y ~ x1 * x2 * x3, data = regress.df)
Residuals:
Min 1Q Median 3Q Max
-2.22294 -0.63142 -0.09491 0.51983 2.24193
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 18.85992 65.00775 0.290 0.775
x1 -2.40912 11.90433 -0.202 0.842
x2 -2.13777 12.48892 -0.171 0.866
x3 -1.13941 12.94670 -0.088 0.931
x1:x2 0.78280 2.25867 0.347 0.733
x1:x3 0.53616 2.30834 0.232 0.819
x2:x3 0.08019 2.49028 0.032 0.975
x1:x2:x3 -0.08584 0.43891 -0.196 0.847
Residual standard error: 1.101 on 17 degrees of freedom
Multiple R-squared: 0.8297, Adjusted R-squared: 0.7596
F-statistic: 11.84 on 7 and 17 DF, p-value: 1.942e-05
x1R2
> summary(correctspec.lm)
Call:
lm(formula = y ~ x1, data = regress.df)
Residuals:
Min 1Q Median 3Q Max
-2.4951 -0.4112 -0.2000 0.7876 2.1706
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.7844 1.1272 4.244 0.000306 ***
x1 1.9974 0.2108 9.476 2.09e-09 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.036 on 23 degrees of freedom
Multiple R-squared: 0.7961, Adjusted R-squared: 0.7872
F-statistic: 89.8 on 1 and 23 DF, p-value: 2.089e-09
R2R2
> with(holdout.df, sum((y - overfitPred)^2)) #SSE
[1] 1271557
> with(holdout.df, sum((y - correctSpecPred)^2))
[1] 1052217
R2Y^Y(และมีองศาอิสระในการทำมากกว่ารุ่นที่ระบุอย่างถูกต้องจึงสามารถสร้างแบบที่ "ดีกว่า") ดูผลรวมของข้อผิดพลาด Squared สำหรับการคาดการณ์ในชุดของโฮลด์ซึ่งเราไม่ได้ใช้ในการประมาณค่าสัมประสิทธิ์การถดถอยจากและเราสามารถเห็นได้ว่าแบบจำลองที่มีการติดตั้งมากเกินไปนั้นเลวร้ายเพียงใด ในความเป็นจริงแบบจำลองที่ระบุอย่างถูกต้องเป็นสิ่งที่ทำให้การคาดการณ์ที่ดีที่สุด เราไม่ควรประเมินการคาดการณ์ประสิทธิภาพการทำนายจากผลลัพธ์ของชุดข้อมูลที่เราใช้ประเมินแบบจำลอง นี่คือพล็อตความหนาแน่นของข้อผิดพลาดโดยมีข้อกำหนดของโมเดลที่ถูกต้องทำให้เกิดข้อผิดพลาดเพิ่มเติมใกล้กับ 0:
การจำลองแสดงให้เห็นถึงสถานการณ์ในชีวิตจริงที่เกี่ยวข้องอย่างชัดเจน (เพียงแค่จินตนาการถึงการตอบสนองในชีวิตจริงใด ๆ ซึ่งขึ้นอยู่กับตัวทำนายเดียวและจินตนาการรวมถึง "ตัวทำนาย" ภายนอกในแบบจำลอง) แต่มีประโยชน์ที่คุณสามารถเล่นกับกระบวนการสร้างข้อมูล ขนาดตัวอย่างลักษณะของโมเดลที่ติดตั้งเกินขนาดและอื่น ๆ นี่เป็นวิธีที่ดีที่สุดที่คุณสามารถตรวจสอบผลกระทบของการ overfitting เนื่องจากข้อมูลที่สังเกตได้โดยทั่วไปคุณไม่สามารถเข้าถึง DGP และยังคงเป็นข้อมูล "ของจริง" ในแง่ที่คุณสามารถตรวจสอบและใช้งานได้ นี่คือแนวคิดที่คุ้มค่าที่คุณควรทดสอบด้วย:
- รันการจำลองหลาย ๆ ครั้งและดูว่าผลลัพธ์ต่างกันอย่างไร คุณจะพบความแปรปรวนมากขึ้นโดยใช้ตัวอย่างขนาดเล็กกว่าขนาดใหญ่
n <- 1e6x1Sigmaลองลดความสัมพันธ์ระหว่างตัวแปรโดยการเล่นกับองค์ประกอบปิดเส้นทแยงมุมของเมทริกซ์ความแปรปรวนความแปรปรวน เพียงจำไว้ว่าให้มันเป็นกึ่งบวกแน่นอน (ซึ่งรวมถึงการสมมาตร) คุณควรค้นหาว่าคุณลดความหลากหลายทางสีหรือไม่ชุดรูปแบบที่ติดตั้งมากเกินไปจะทำงานได้ไม่ดีนัก แต่จำไว้ว่าตัวทำนายที่สัมพันธ์กันเกิดขึ้นในชีวิตจริง- ลองทำการทดสอบด้วยข้อมูลจำเพาะของรุ่นที่ติดตั้งมากเกินไป ถ้าคุณใส่คำพหุนาม
- Y
df$y <- 5 + 2*df$x1 + rnorm(n=nrow(df))Yxผม
- Yx2x 3x1
df$y <- 5 + 2 * df$x1 + 0.1*df$x2 + 0.1*df$x3 + rnorm(n=nrow(df))x2x3xx1x2x3nsample <- 25x1x2x3nsample <- 1e6มันสามารถประมาณเอฟเฟกต์ที่อ่อนแอลงได้ค่อนข้างดีและการจำลองแสดงแบบจำลองที่ซับซ้อนมีพลังการทำนายที่ดีกว่าแบบง่าย สิ่งนี้แสดงให้เห็นว่า "การ overfitting" เป็นปัญหาของทั้งความซับซ้อนของรูปแบบและข้อมูลที่มี
