คำถามติดแท็ก adaboost

ฉันพยายามเข้าใจความแตกต่างระหว่าง GBM และ Adaboost นี่คือสิ่งที่ฉันเข้าใจ: มีอัลกอริธึมการเพิ่มประสิทธิภาพทั้งสองซึ่งเรียนรู้จากข้อผิดพลาดของรุ่นก่อนหน้าและในที่สุดก็สร้างผลรวมถ่วงน้ำหนักของโมเดล GBM และ Adaboost ค่อนข้างคล้ายกันยกเว้นฟังก์ชั่นการสูญเสีย แต่ก็ยังเป็นเรื่องยากสำหรับฉันที่จะเข้าใจความแตกต่างระหว่างพวกเขา ใครสามารถให้คำอธิบายแบบหยั่งรู้ได้

48 boosting  gbm  adaboost 

ใครสามารถบอกฉันได้ว่าวลี 'ผู้เรียนที่อ่อนแอ' มีความหมายอย่างไร มันควรจะเป็นสมมติฐานที่อ่อนแอหรือไม่? ฉันสับสนเกี่ยวกับความสัมพันธ์ระหว่างผู้เรียนที่อ่อนแอและผู้จําแนกอ่อนแอ ทั้งคู่เหมือนกันหรือแตกต่างกันบ้างไหม? ในขั้นตอนวิธี AdaBoost T=10ที่ สิ่งนั้นมีความหมายอย่างไร ทำไมเราเลือกT=10?

33 classification  svm  terminology  adaboost  pac-learning 

ฉันกำลังมองหาเอกสารหรือข้อความที่เปรียบเทียบและพูดคุย (ทั้งสังเกตุหรือในทางทฤษฎี): การเพิ่มและตัดสินใจอัลกอริธึมทรีของต้นไม้เช่นป่าสุ่มหรือAdaBoostและ GentleBoost นำไปใช้กับต้นไม้ตัดสินใจ กับ วิธีการเรียนรู้อย่างลึกซึ้งเช่นเครื่องจักร Boltzmann ที่ จำกัด , หน่วยความจำชั่วคราวลำดับชั้น , เครือข่ายประสาทเทียม , ฯลฯ มีใครรู้หรือไม่ว่าข้อความที่กล่าวถึงหรือเปรียบเทียบสองช่วงตึกของวิธีการ ML ในแง่ของความเร็วความแม่นยำหรือการลู่เข้า นอกจากนี้ฉันกำลังมองหาข้อความที่อธิบายหรือสรุปความแตกต่าง (เช่นข้อดีและข้อเสีย) ระหว่างแบบจำลองหรือวิธีการในบล็อกที่สอง คำแนะนำหรือคำตอบใด ๆ เกี่ยวกับการเปรียบเทียบดังกล่าวโดยตรงจะได้รับการชื่นชมอย่างมาก

18 machine-learning  deep-learning  cart  rbm  adaboost 

ดังที่ฉันเคยได้ยินเกี่ยวกับตัวจําแนก AdaBoost ที่กล่าวถึงในที่ทำงานหลายครั้งฉันต้องการให้ความรู้สึกที่ดีขึ้นเกี่ยวกับวิธีการใช้งานและเมื่อใครต้องการใช้งาน ฉันได้ไปข้างหน้าและอ่านเอกสารและแบบฝึกหัดเกี่ยวกับสิ่งที่ฉันพบใน Google แต่มีลักษณะของตัวจําแนกซึ่งฉันยังคงมีปัญหาในการทำความเข้าใจ: บทเรียนส่วนใหญ่ที่ฉันเคยเห็นพูดถึง AdaBoost เป็นการหาชุดค่าผสมถ่วงน้ำหนักที่ดีที่สุดของตัวแยกประเภทจำนวนมาก เรื่องนี้ทำให้รู้สึกถึงฉัน สิ่งที่ไม่สมเหตุสมผลคือการนำไปใช้งาน (เช่น MALLET) ซึ่ง AdaBoost ดูเหมือนจะยอมรับผู้เรียนที่อ่อนแอเพียงคนเดียว สิ่งนี้มีเหตุผลอะไรบ้าง? หากมีตัวจําแนกเดียวที่มอบให้กับ AdaBoost มันจะไม่ส่งคืนลักษณนามเดียวกันนั้นด้วยน้ำหนัก 1 หรือไม่ มันสร้างลักษณนามใหม่จากลักษณนามแรกได้อย่างไร เมื่อไหร่ที่จะต้องการใช้ AdaBoost ฉันได้อ่านว่ามันควรจะเป็นหนึ่งในตัวแยกประเภทที่ดีที่สุดนอกกรอบ แต่เมื่อฉันพยายามเพิ่มตัวแยกประเภท MaxEnt ฉันได้รับคะแนน f- 70% ด้วย AdaBoost ทำการฆาตกรรมและทำให้ฉัน f- คะแนนของบางอย่างเช่น 15% พร้อมการเรียกคืนสูงมากและความแม่นยำต่ำมากแทน ดังนั้นตอนนี้ฉันสับสน เมื่อใดที่ฉันจะต้องการใช้ AdaBoost ฉันกำลังมองหาคำตอบที่เข้าใจง่ายมากกว่าที่จะเป็นคำตอบทางสถิติอย่างเคร่งครัดถ้าเป็นไปได้

14 machine-learning  boosting  adaboost 

Adaboost เป็นวิธีการรวมกลุ่มที่รวมผู้เรียนที่อ่อนแอจำนวนมากเข้าด้วยกัน ตัวอย่างทั้งหมดของ adaboost ที่ฉันได้อ่านใช้ตอตัดสินใจ / ต้นไม้เป็นผู้เรียนที่อ่อนแอ ฉันสามารถใช้ผู้เรียนที่อ่อนแอต่างกันในอะดาโบสต์ ตัวอย่างเช่นวิธีการใช้ adaboost (โดยทั่วไปการส่งเสริม) เพื่อเพิ่มรูปแบบการถดถอยโลจิสติก? ความแตกต่างที่สำคัญอย่างหนึ่งของการจำแนกต้นไม้และการถดถอยโลจิสติกคือคลาสเอาต์พุตก่อนหน้า (-1,1) ในขณะที่เอาต์พุตการถดถอยโลจิสติกแสดงผล แนวคิดหนึ่งคือการเลือกฟีเจอร์ X ที่ดีที่สุดจากชุดของฟีเจอร์และรับขีด จำกัด (0.5?) เพื่อแปลงโพรบเป็นคลาสจากนั้นใช้การถดถอยโลจิสติกแบบถ่วงน้ำหนักเพื่อค้นหาฟีเจอร์ถัดไปเป็นต้น แต่ฉันคิดว่ามีอัลกอริทึมทั่วไปเพื่อเพิ่มผู้เรียนที่อ่อนแอแตกต่างกันไปกว่าการตัดสินใจผิดพลาด ฉันเชื่อว่า Logitboost เป็นคำตอบสำหรับคำถามของฉัน แต่ฉันพยายามอ่านบทความ "Additive Logistic Regression" และติดอยู่ตรงกลาง

11 logistic  adaboost 

สมมติว่าฉันมีตัวอย่างหนึ่งความถี่ของเหตุการณ์ที่เป็นไปได้ 4 เหตุการณ์: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 และฉันมีโอกาสที่จะเกิดเหตุการณ์ที่คาดหวัง: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 ด้วยผลรวมของความถี่ที่สังเกตได้จากเหตุการณ์ทั้งสี่ของฉัน (18) ฉันสามารถคำนวณความถี่ที่คาดหวังของเหตุการณ์ได้ใช่ไหม expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom