เมื่อใดที่ฉันไม่ควรใช้ตัวจําแนกทั้งหมดของ ensemble

โดยทั่วไปแล้วในปัญหาการจำแนกประเภทที่เป้าหมายคือการทำนายการเป็นสมาชิกคลาสนอกกลุ่มตัวอย่างได้อย่างถูกต้องเมื่อใดฉันจึงไม่ควรใช้ตัวจําแนก ensemble

คำถามนี้เกี่ยวข้องกับทำไมไม่ใช้การเรียนรู้ทั้งมวลเสมอไป . คำถามนั้นถามว่าทำไมเราไม่ใช้วงดนตรีตลอดเวลา ฉันต้องการที่จะรู้ว่ามีบางกรณีที่วงดนตรีเป็นที่รู้กันว่าแย่กว่านี้ (ไม่ใช่แค่ "ไม่ดีขึ้นและเสียเวลา") มากกว่ากลุ่มที่ไม่ใช่ทั้งมวล

และโดย "ensemble ลักษณนาม" ฉันหมายถึงตัวแยกประเภทเช่น AdaBoost และฟอเรสต์แบบสุ่มโดยเฉพาะซึ่งตรงกันข้ามกับเครื่องเวกเตอร์สนับสนุนแบบม้วนของคุณเอง

แบบจำลองที่ใกล้เคียงที่สุดกับกระบวนการสร้างข้อมูลที่แท้จริงจะดีที่สุดเสมอและจะเอาชนะวิธีส่วนใหญ่ ดังนั้นหากข้อมูลมาจากกระบวนการเชิงเส้น lm () จะดีกว่าป่าสุ่มมากเช่น:

    set.seed(1234)
p=10
N=1000
#covariates
x = matrix(rnorm(N*p),ncol=p)
#coefficients:
b = round(rnorm(p),2)
y = x %*% b + rnorm(N)
train=sample(N, N/2)
data = cbind.data.frame(y,x)
colnames(data) = c("y", paste0("x",1:p))
#linear model
fit1 = lm(y ~ ., data = data[train,])
summary(fit1)
yPred1 =predict(fit1,data[-train,])
round(mean(abs(yPred1-data[-train,"y"])),2)#0.79

library(randomForest)
fit2 = randomForest(y ~ ., data = data[train,],ntree=1000)
yPred2 =predict(fit2,data[-train,])
round(mean(abs(yPred2-data[-train,"y"])),2)#1.33

ฉันไม่แนะนำให้ใช้ตัวจําแนก ensemble เมื่อโมเดลของคุณต้องสามารถตีความและอธิบายได้ บางครั้งคุณต้องการการคาดการณ์และคำอธิบายของการทำนาย

เมื่อคุณต้องการโน้มน้าวใจผู้คนว่าการทำนายนั้นมีค่าควรแก่การเชื่อแบบจำลองที่แม่นยำสูงสามารถโน้มน้าวใจได้ แต่ฉันพยายามเกลี้ยกล่อมให้ผู้คนคาดการณ์เมื่อวิธีการนั้นซับซ้อนเกินไปสำหรับระดับความสะดวกสบายของพวกเขา

จากประสบการณ์ของฉันผู้คนส่วนใหญ่พอใจกับโมเดลเสริมแบบเชิงเส้นแบบจำลองที่พวกเขาสามารถทำคะแนนได้ด้วยมือและถ้าคุณพยายามอธิบายการส่งเสริมการปรับตัวเครื่องบินไฮเปอร์และเอฟเฟกต์ปฏิสัมพันธ์ระดับ 5 พวกเขาจะตอบสนองราวกับว่าคุณขว้างเวทมนตร์ดำ

ในทางกลับกันผู้คนสามารถคุ้นเคยกับความซับซ้อนของแบบจำลอง แต่ยังคงต้องการทำให้เข้าใจอย่างลึกซึ้ง ยกตัวอย่างเช่นนักวิทยาศาสตร์อาจไม่คิดว่าแบบจำลองกล่องดำเป็นความรู้ล่วงหน้าของมนุษย์ถึงแม้ว่าแบบจำลองนั้นจะมีความแม่นยำสูงก็ตาม

การวิเคราะห์ความสำคัญแปรผันสามารถช่วยให้เกิดความเข้าใจอย่างถ่องแท้ แต่ถ้าวงดนตรีมีความแม่นยำมากกว่าแบบจำลองการเติมเชิงเส้นชุดนั้นน่าจะใช้ประโยชน์จากผลกระทบที่ไม่เป็นเชิงเส้นและปฏิสัมพันธ์ซึ่งการวิเคราะห์ความสำคัญของตัวแปรไม่สามารถอธิบายได้อย่างสมบูรณ์

ฉันต้องการเพิ่มคำตอบของ branco ตระการตาสามารถแข่งขันสูงและให้ผลลัพธ์ที่ดีมาก ยกตัวอย่างเช่นในเชิงวิชาการนี่คือสิ่งที่นับ ในอุตสาหกรรมตระการตาอาจจะยากเกินไปที่จะใช้ / บำรุงรักษา / ดัดแปลง / พอร์ต งานของ Goef Hinton เกี่ยวกับ "Dark Knowledge" เป็นเรื่องเกี่ยวกับสิ่งนี้: วิธีการถ่ายโอน "ความรู้" ของวงดนตรีที่มีขนาดใหญ่ให้กลายเป็นเรื่องง่ายที่จะย้ายไปรอบ ๆ แบบจำลอง เขากล่าวว่าวงดนตรีไม่ดีในเวลาทดสอบพวกเขาซ้ำซ้อนอย่างมากและเวลาในการคำนวณอาจเป็นเรื่องที่น่ากังวล

ทีมของเขาได้ผลลัพธ์ที่น่าสนใจฉันแนะนำให้ดูสิ่งพิมพ์ของเขาหรืออย่างน้อยก็สไลด์ หากความทรงจำของฉันดีนี่เป็นหนึ่งในหัวข้อยอดนิยมของปี 2013 หรือ 2014

คุณสามารถดูสไลด์เกี่ยวกับ Dark Knowledge ได้ที่นี่: http://www.ttic.edu/dl/dark14.pdf