ฉันใช้แพ็คเกจ gbm เพื่อจัดหมวดหมู่ ตามที่คาดหวังผลลัพธ์ที่ดี แต่ฉันพยายามที่จะเข้าใจผลลัพธ์ของตัวจําแนก เอาต์พุตมีห้าเทอม
`Iter TrainDeviance ValidDeviance StepSize Improve`ทุกคนสามารถอธิบายความหมายของแต่ละคำโดยเฉพาะอย่างยิ่งความหมายของการปรับปรุง
คำตอบ:
คุณควรพบสิ่งเหล่านี้เกี่ยวข้องกับการกำหนดค่าที่ดีที่สุดสำหรับจำนวนฟังก์ชั่นพื้นฐานเช่นการวนซ้ำจำนวนของต้นไม้ในแบบจำลองการเติม ฉันไม่สามารถหาเอกสารอธิบายสิ่งเหล่านี้ได้ แต่นี่คือการคาดเดาที่ดีที่สุดของฉัน
ทำสิ่งต่อไปนี้จากคู่มือ:
library(gbm)
# A least squares regression example
# create some data
N <- 1000
X1 <- runif(N)
X2 <- 2*runif(N)
X3 <- ordered(sample(letters[1:4],N,replace=TRUE),levels=letters[4:1])
X4 <- factor(sample(letters[1:6],N,replace=TRUE))
X5 <- factor(sample(letters[1:3],N,replace=TRUE))
X6 <- 3*runif(N)
mu <- c(-1,0,1,2)[as.numeric(X3)]
SNR <- 10 # signal-to-noise ratio
Y <- X1**1.5 + 2 * (X2**.5) + mu
sigma <- sqrt(var(Y)/SNR)
Y <- Y + rnorm(N,0,sigma)
# introduce some missing values
X1[sample(1:N,size=500)] <- NA
X4[sample(1:N,size=300)] <- NA
data <- data.frame(Y=Y,X1=X1,X2=X2,X3=X3,X4=X4,X5=X5,X6=X6)
# fit initial model
gbm1 <- gbm(Y~X1+X2+X3+X4+X5+X6, # formula
data=data, # dataset
var.monotone=c(0,0,0,0,0,0), # -1: monotone decrease,
# +1: monotone increase,
# 0: no monotone restrictions
distribution="gaussian", # bernoulli, adaboost, gaussian,
# poisson, coxph, and quantile available
n.trees=3000, # number of trees
shrinkage=0.005, # shrinkage or learning rate,
# 0.001 to 0.1 usually work
interaction.depth=3, # 1: additive model, 2: two-way interactions, etc.
bag.fraction = 0.5, # subsampling fraction, 0.5 is probably best
train.fraction = 0.5, # fraction of data for training,
# first train.fraction*N used for training
n.minobsinnode = 10, # minimum total weight needed in each node
cv.folds = 5, # do 5-fold cross-validation
keep.data=TRUE, # keep a copy of the dataset with the object
verbose=TRUE) # print out progressจำนวนการวนซ้ำ ( Iter) คือ 3000 ซึ่งเป็นจำนวนของต้นไม้ที่เลือกที่จะสร้าง (1 ถึง 3000 แม้ว่าจะไม่แสดงทุกต้น) กระบวนการทั้งหมดทำซ้ำ 5 ครั้งเพราะเราเลือก cv.folds = 5
StepSize คืออัตราการหดตัวหรือการเรียนรู้ที่เลือก (0.005 ที่นี่)
ฉันเชื่อว่าImproveเป็นการลดความเบี่ยงเบน (ฟังก์ชั่นการสูญเสีย) โดยการเพิ่มทรีอื่นและคำนวณโดยใช้ระเบียน out-of-bag (OOB) (โปรดทราบว่าจะไม่ถูกคำนวณหาก bag.fraction ไม่ใช่ <1)
จากนั้นสำหรับการวนซ้ำแต่ละครั้งTrainDeviance ValidDevianceค่าของฟังก์ชั่นการสูญเสียในข้อมูลการฝึกอบรมและการเก็บข้อมูล (ชุดการพักครั้งเดียว) ValidDeviance จะไม่ถูกคำนวณหากtrain.fractionไม่ใช่ <1
คุณเคยเห็นสิ่งนี้ซึ่งอธิบายวิธีการ 3 ชนิดในการกำหนดจำนวนต้นไม้ที่เหมาะสมหรือไม่