คำถามติดแท็ก boosting

นี่คือฟังก์ชั่นการสูญเสียส่วนเบี่ยงเบนทวินามของ GradientBoosting def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() * np.sum(sample_weight * ((y * pred) …

11 machine-learning  scikit-learn  boosting  loss-functions 

ฉันอ่านบิตเกี่ยวกับการเพิ่มอัลกอริทึมสำหรับงานการจัดหมวดหมู่และ Adaboost โดยเฉพาะ ฉันเข้าใจว่าจุดประสงค์ของ Adaboost คือการใช้ "ผู้เรียนที่อ่อนแอ" หลายครั้งและผ่านการทำซ้ำในข้อมูลการฝึกอบรมให้ผู้จัดหมวดหมู่เรียนรู้ที่จะทำนายชั้นเรียนที่ตัวแบบทำผิดซ้ำ ๆ อย่างไรก็ตามฉันสงสัยว่าทำไมการอ่านจำนวนมากของฉันจึงได้ใช้ต้นไม้ตัดสินใจเป็นตัวจําแนกอ่อนแอ มีเหตุผลพิเศษสำหรับเรื่องนี้หรือไม่? มีตัวจําแนกบางอย่างที่ทําให้ผู้สมัครดีหรือไม่ดีกับ Adaboost โดยเฉพาะหรือไม่?

11 machine-learning  classification  algorithms  boosting 

มีวิธีในการรับคะแนนความเชื่อมั่น (เราสามารถเรียกได้ว่าเป็นค่าความเชื่อมั่นหรือความน่าจะเป็น) สำหรับแต่ละค่าที่คาดการณ์เมื่อใช้อัลกอริทึมเช่นการสุ่มป่าหรือการไล่ระดับสีมากขึ้น สมมติว่าคะแนนความเชื่อมั่นนี้จะอยู่ในช่วงตั้งแต่ 0 ถึง 1 และแสดงว่าฉันมีความมั่นใจเกี่ยวกับการทำนายโดยเฉพาะอย่างไร จากสิ่งที่ฉันพบในอินเทอร์เน็ตเกี่ยวกับความมั่นใจมักจะวัดจากช่วงเวลา นี่คือตัวอย่างของช่วงความเชื่อมั่นที่คำนวณด้วยconfpredฟังก์ชันจากlavaไลบรารี: library(lava) set.seed(123) n <- 200 x <- seq(0,6,length.out=n) delta <- 3 ss <- exp(-1+1.5*cos((x-delta))) ee <- rnorm(n,sd=ss) y <- (x-delta)+3*cos(x+4.5-delta)+ee d <- data.frame(y=y,x=x) newd <- data.frame(x=seq(0,6,length.out=50)) cc <- confpred(lm(y~poly(x,3),d),data=d,newdata=newd) if (interactive()) { ##' plot(y~x,pch=16,col=lava::Col("black"), ylim=c(-10,15),xlab="X",ylab="Y") with(cc, lava::confband(newd$x, lwr, upr, fit, …

11 r  regression  random-forest  prediction  boosting 

ในส่วนที่ 7 ของกระดาษป่าสุ่ม (Breiman, 1999) ผู้เขียนระบุการคาดเดาต่อไปนี้: "Adaboost เป็นป่าสุ่ม" มีใครพิสูจน์หรือหักล้างสิ่งนี้หรือไม่? สิ่งที่ทำเพื่อพิสูจน์หรือหักล้างโพสต์นี้ 1999?

10 machine-learning  random-forest  boosting 

ตัวอย่างง่ายๆสมมติว่ามีตัวแบบถดถอยเชิงเส้นสองแบบ รุ่นที่ 1 มีสามทำนาย, x1a, x2bและx2c แบบจำลอง 2 มีตัวทำนายสามตัวจากแบบจำลอง 1 และสองตัวทำนายเพิ่มเติมx2aและx2b มีสมการถดถอยที่ประชากรประชากรแปรปรวนอธิบายคือเป็น สำหรับรุ่นที่ 1 และρ 2 ( 2 )สำหรับรุ่น 2. แปรปรวนเพิ่มขึ้นอธิบายโดยรุ่น 2 ในประชากรที่อยู่Δ ρ 2 = ρ 2 ( 2 ) - ρ 2 ( 1 )ρ2(1)ρ(1)2\rho^2_{(1)}ρ2(2)ρ(2)2\rho^2_{(2)}Δρ2=ρ2(2)−ρ2(1)Δρ2=ρ(2)2−ρ(1)2\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)} ฉันสนใจในการได้รับข้อผิดพลาดมาตรฐานและช่วงความเชื่อมั่นสำหรับประมาณการของ 2 ในขณะที่ตัวอย่างเกี่ยวข้องกับตัวทำนาย 3 และ 2 ตามลำดับความสนใจงานวิจัยของฉันเกี่ยวข้องกับตัวทำนายจำนวนต่าง ๆ (เช่น …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

การไล่ระดับต้นไม้แบบไล่ตามที่เสนอโดยฟรีดแมนใช้ต้นไม้ตัดสินใจด้วยJโหนดขั้ว (= ใบ) เป็นผู้เรียนพื้นฐาน มีหลายวิธีในการปลูกต้นไม้ที่มีJจุดตรงตัวอย่างเช่นสามารถปลูกต้นไม้ในแบบลึกแรกหรือแบบกว้างแรก ... มีวิธีการที่กำหนดไว้ในการปลูกต้นไม้ด้วยJโหนดเทอร์มินัลสำหรับการไล่ระดับสีต้นไม้หรือไม่? ฉันตรวจสอบขั้นตอนการปลูกต้นไม้ของgbmแพ็คเกจของ R และดูเหมือนว่ามันจะขยายต้นไม้ในลักษณะที่ลึกเป็นอันดับแรกและใช้การวิเคราะห์แบบฮิวริสติกโดยปรับปรุงข้อผิดพลาดเพื่อเลือกว่าจะขยายโหนดด้านซ้ายหรือโหนดลูกที่ถูกต้องหรือไม่

10 r  cart  boosting 

ฉันรู้วิธีการใช้ฟังก์ชันวัตถุประสงค์เชิงเส้นตรงและการเพิ่มประสิทธิภาพเชิงเส้นใน XGBoost คำถามที่เป็นรูปธรรมของฉันคือ: เมื่ออัลกอริธึมที่เหมาะกับส่วนที่เหลือ (หรือการไล่ระดับสีลบ) คือการใช้คุณลักษณะหนึ่งอย่างในแต่ละขั้นตอน (เช่นรุ่น univariate) หรือคุณลักษณะทั้งหมด การอ้างอิงใด ๆ กับเอกสารเกี่ยวกับการเพิ่มประสิทธิภาพเชิงเส้นใน XGBoost จะได้รับการชื่นชม แก้ไข: เพิ่มการเชิงเส้นสามารถนำมาใช้ใน XGBoost โดยการตั้งค่าพารามิเตอร์ 'บูสเตอร์' เป็น 'gblinear' ดู: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3885826/สำหรับข้อมูลที่เป็นประโยชน์เกี่ยวกับการเพิ่มประสิทธิภาพเชิงเส้น โปรดทราบว่าฉันไม่ได้พูดเกี่ยวกับฟังก์ชั่นวัตถุประสงค์ (ซึ่งอาจเป็นเชิงเส้น) แต่เกี่ยวกับการเพิ่มพวกเขาเอง ขอบคุณ!

9 regression  machine-learning  boosting  xgboost 

คำถาม: อะไรคือความแตกต่างระหว่างต้นไม้ถดถอยที่ได้รับการส่งเสริม (BRT) และรุ่นที่ได้รับการส่งเสริมทั่วไป (GBM)? พวกเขาสามารถใช้แทนกันได้? เป็นรูปแบบเฉพาะของอื่น ๆ ? ทำไมริดจ์เวย์ใช้วลีที่ว่า "Generalized Boosted Regression Models" (GBM) เพื่ออธิบายสิ่งที่ Friedman เคยเสนอให้เป็น "Gradient Boosting Machine" (GBM) มาก่อน? คำย่อสองตัวนี้เหมือนกันอธิบายสิ่งเดียวกัน แต่มาจากวลีที่แตกต่างกัน พื้นหลัง: ฉันมีปัญหาในการพิจารณาว่าข้อกำหนด BRT และ GBM แตกต่างกันอย่างไร จากสิ่งที่ฉันเข้าใจทั้งสองเป็นคำศัพท์เพื่ออธิบายการจัดหมวดหมู่และต้นไม้การถดถอยที่มีการสุ่มรวมอยู่ด้วยการส่งเสริมบางอย่าง (เช่นการบรรจุถุง bootstrapping การตรวจสอบข้าม) นอกจากนี้จากสิ่งที่ฉันรวบรวมคำศัพท์ GBM ได้รับการประกาศเกียรติคุณเป็นครั้งแรกโดย Friedman (2001) ในกระดาษของเขา "การประมาณฟังก์ชั่นโลภ: เครื่องเร่งการไล่ระดับสี" ริดจ์เวย์ได้ดำเนินการตามขั้นตอนที่อธิบายโดยฟรีดแมนในปี 2549 ในแพ็คเกจของเขา "Generalized Boosted Regression Models" …

9 machine-learning  boosting  gbm 

ในฟอเรสต์ฟอเรสต์ต้นไม้แต่ละต้นจะเติบโตขนานกันบนตัวอย่าง Boostrap ที่เป็นเอกลักษณ์ของข้อมูล เนื่องจากตัวอย่าง Boostrap แต่ละอันคาดว่าจะมีการสังเกตการณ์ที่เป็นเอกลักษณ์ประมาณ 63% ทำให้มีการสำรวจประมาณ 37% ของการสังเกตออกซึ่งสามารถใช้สำหรับการทดสอบต้นไม้ ตอนนี้ดูเหมือนว่าใน Stochastic Gradient Boosting ยังมีการคล้ายกับค่าใน RF:ต. ตBe r r o rOOBอีRRโอROOB_{error} หาก bag.fraction ถูกตั้งค่าเป็นมากกว่า 0 (แนะนำให้ 0.5) gbm จะคำนวณการประมาณค่าแบบไม่อยู่ในถุงเพื่อปรับปรุงประสิทธิภาพการทำนาย มันประเมินการลดความเบี่ยงเบนของข้อสังเกตเหล่านั้นที่ไม่ได้ใช้ในการเลือกแผนผังการถดถอยถัดไป แหล่งที่มา: Ridgeway (2007) , ส่วน 3.3 (หน้า 8) ฉันมีปัญหาในการเข้าใจวิธีการทำงาน / ใช้ได้ สมมติว่าฉันกำลังเพิ่มต้นไม้ในลำดับ ฉันกำลังปลูกต้นไม้นี้ในกลุ่มย่อยสุ่มของชุดข้อมูลดั้งเดิม ฉันสามารถทดสอบต้นไม้ต้นเดียวนี้ได้จากการสังเกตที่ไม่ได้นำมาปลูก ตกลง แต่เนื่องจากการส่งเสริมเป็นลำดับฉันจึงค่อนข้างใช้ลำดับของต้นไม้ทั้งหมดที่สร้างขึ้นเพื่อให้การคาดการณ์สำหรับการสังเกตจากซ้ายเหล่านั้น และมีโอกาสสูงที่ต้นไม้ก่อนหน้านี้จำนวนมากได้เห็นการสังเกตเหล่านี้แล้ว ดังนั้นรูปแบบนั้นไม่ได้ถูกทดสอบจริง ๆ ในแต่ละรอบจากการสังเกตการณ์ที่มองไม่เห็นเช่นเดียวกับ …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

ฉันรู้ว่ามีพารามิเตอร์การปรับแต่ง 3 แบบในรูปแบบต้นไม้ที่เพิ่มขึ้นเช่น จำนวนต้นไม้ (จำนวนการวนซ้ำ) พารามิเตอร์การหดตัว จำนวนของการแยก (ขนาดของต้นไม้แต่ละต้น) คำถามของฉันคือ: สำหรับพารามิเตอร์การปรับแต่ละค่าฉันจะหาค่าที่ดีที่สุดได้อย่างไร และวิธีการอะไร โปรดทราบว่า: พารามิเตอร์การหดตัวและจำนวนพารามิเตอร์ trees ทำงานร่วมกันเช่นค่าที่น้อยกว่าสำหรับพารามิเตอร์การหดตัวจะนำไปสู่ค่าที่สูงขึ้นสำหรับจำนวนต้นไม้ และเราต้องคำนึงเรื่องนี้ด้วย ฉันสนใจเป็นพิเศษในวิธีการค้นหาค่าที่เหมาะสมที่สุดสำหรับจำนวนการแบ่ง มันควรจะขึ้นอยู่กับการตรวจสอบข้ามหรือความรู้เกี่ยวกับรูปแบบโดเมนที่อยู่เบื้องหลัง? และสิ่งเหล่านี้ถูกนำไปใช้ในgbmแพ็คเกจใน R อย่างไร

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

สมมติว่าฉันมีตัวอย่างหนึ่งความถี่ของเหตุการณ์ที่เป็นไปได้ 4 เหตุการณ์: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 และฉันมีโอกาสที่จะเกิดเหตุการณ์ที่คาดหวัง: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 ด้วยผลรวมของความถี่ที่สังเกตได้จากเหตุการณ์ทั้งสี่ของฉัน (18) ฉันสามารถคำนวณความถี่ที่คาดหวังของเหตุการณ์ได้ใช่ไหม expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom