การเพิ่มความแม่นยำของเครื่องไล่ระดับสีจะลดลงเมื่อจำนวนการทำซ้ำเพิ่มขึ้น

ฉันกำลังทดลองกับอัลกอริทึมของเครื่องเร่งการไล่ระดับสีผ่านcaretแพ็คเกจใน R

ใช้ชุดข้อมูลการรับสมัครวิทยาลัยขนาดเล็กฉันใช้รหัสต่อไปนี้:

library(caret)

### Load admissions dataset. ###
mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

### Create yes/no levels for admission. ### 
mydata$admit_factor[mydata$admit==0] <- "no"
mydata$admit_factor[mydata$admit==1] <- "yes"             

### Gradient boosting machine algorithm. ###
set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

และพบว่าฉันประหลาดใจที่ความถูกต้องของการตรวจสอบความถูกต้องข้ามของแบบจำลองลดลงมากกว่าที่เพิ่มขึ้นเนื่องจากจำนวนการทำซ้ำที่เพิ่มขึ้นเพิ่มขึ้นถึงระดับความแม่นยำขั้นต่ำประมาณ. 59

ฉันใช้อัลกอริทึม GBM ไม่ถูกต้องหรือไม่

แก้ไข: ทำตามคำแนะนำของ Underminer ฉันได้รันcaretโค้ดข้างต้นอีกครั้งแต่มุ่งเน้นไปที่การรัน 100 ถึง 5,000 ซ้ำเพื่อเพิ่มการทำซ้ำ:

set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(100,5000,100), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

พล็อตที่เกิดขึ้นแสดงให้เห็นว่าความถูกต้องสูงสุดจริงที่เกือบ. 705 ที่ ~ 1,800 ซ้ำ:

สิ่งที่น่าแปลกใจก็คือความแม่นยำนั้นไม่ได้อยู่ที่ที่ราบสูง ~ .70 แต่ปฏิเสธแทนที่จะทำตาม 5,000 ซ้ำ

โดยทั่วไปข้อผิดพลาดในการเพิ่มสามารถเพิ่มขึ้นได้ตามจำนวนการวนซ้ำโดยเฉพาะเมื่อข้อมูลมีสัญญาณรบกวน (เช่นกรณีที่ติดฉลากผิด) นี่อาจเป็นปัญหาของคุณ แต่ฉันจะไม่สามารถพูดได้หากไม่ทราบข้อมูลเพิ่มเติมของคุณ

โดยทั่วไปการเพิ่มสามารถ 'มุ่งเน้น' ในการทำนายกรณีที่มีข้อมูลที่ผิดและในกระบวนการทำให้ประสิทธิภาพโดยเฉลี่ยลดลงในกรณีอื่น ๆ ที่สำคัญกว่า

ลิงก์นี้ (การเพิ่มและลดเสียงรบกวน ) แสดงคำอธิบายที่ดีกว่าที่ฉันสามารถให้ได้

บทความนี้ ( การจำแนกเสียงแบบสุ่ม ) โดย Long และ Servedio ให้รายละเอียดทางเทคนิคเพิ่มเติมของปัญหา

สิ่งที่คุณแสดงเป็นตัวอย่างคลาสสิกของ ข้อผิดพลาดเล็ก ๆ น้อย ๆ ของ uptick มาจากประสิทธิภาพที่ไม่ดีในส่วนการตรวจสอบความถูกต้องของชุดข้อมูลที่ตรวจสอบข้ามคุณ การวนซ้ำมากขึ้นควรปรับปรุงข้อผิดพลาดในชุดการฝึกอบรมเกือบทุกครั้ง แต่สิ่งที่ตรงข้ามเป็นจริงสำหรับชุดการตรวจสอบ / ทดสอบ

รหัสเพื่อสร้างผลลัพธ์ที่คล้ายกันโดยไม่ต้องค้นหากริด

mod = gbm(admit ~ .,
      data = mydata[,-5],
      n.trees=100000,
      shrinkage=0.001,
      interaction.depth=2,
      n.minobsinnode=10,
      cv.folds=5,
      verbose=TRUE,
      n.cores=2)

best.iter <- gbm.perf(mod, method="OOB", plot.it=TRUE, oobag.curve=TRUE, overlay=TRUE)
print(best.iter)
[1] 1487
pred = as.integer(predict(mod, newdata=mydata[,-5], n.trees=best.iter) > 0)
y = mydata[,1]
sum(pred == y)/length(y)
[1] 0.7225

แพคเกจ gbm มีฟังก์ชั่นในการประมาณจำนวนการวนซ้ำที่เหมาะสม (= # ของต้นไม้หรือ # ของฟังก์ชันพื้นฐาน)

gbm.perf(mod, method="OOB", plot.it=TRUE, oobag=TRUE, overlay=TRUE)

คุณไม่ต้องการรถไฟของคาเร็ต