ขั้นตอนวิธีการบรรจุถุงใดที่สืบทอดมาจากป่าสุ่ม


14

สำหรับการเพิ่มอัลกอริธึมฉันจะบอกว่าพวกมันมีวิวัฒนาการค่อนข้างดี ในช่วงต้นปี 1995 AdaBoost เปิดตัวหลังจากนั้นไม่นานมันก็เป็น Gradient Boosting Machine (GBM) เมื่อเร็ว ๆ นี้มีการเปิดตัว XGBoost ราว ๆ ปี 2015 ซึ่งมีความถูกต้องจัดการกับการมีน้ำหนักเกินและเป็นผู้ชนะการแข่งขัน Kaggle หลายครั้ง ในปี 2560 Microsoft ได้เปิดตัว LightGBM ซึ่งมีเวลาฝึกอบรมที่ต่ำกว่าอย่างมากเมื่อเทียบกับ XGBoost Yandex ยังได้รับการแนะนำให้รู้จักกับ CatBoost สำหรับการจัดการคุณสมบัติที่เป็นหมวดหมู่

ป่าสุ่มถูกนำมาใช้ในต้นปี 2000 แต่มีผู้สืบทอดที่สมควรได้รับมันหรือไม่? ฉันคิดว่าถ้าอัลกอริทึมการห่อที่ดีกว่า Random Forest มีอยู่ (ซึ่งสามารถนำไปใช้ในทางปฏิบัติได้ง่าย) มันจะได้รับความสนใจในสถานที่เช่น Kaggle นอกจากนี้ทำไมการส่งเสริมให้กลายเป็นเทคนิควงดนตรีที่ได้รับความนิยมมากขึ้นเป็นเพราะคุณสามารถสร้างต้นไม้น้อยลงสำหรับการทำนายที่ดีที่สุด?


1
adaBoost ถูกนำมาใช้จริงในปี 1995 แต่นั่นเป็นจุดเล็ก ๆ ที่ไม่เปลี่ยนแปลงวิทยานิพนธ์ขั้นพื้นฐานของคุณ
jbowman

3
เนื่องจากป่าสุ่มเราได้เห็นการแนะนำของต้นไม้ที่สุ่มมากแม้ว่าฉันจะไม่ได้ตระหนักถึงหลักฐานที่ดีว่าป่าสุ่มเหล่านี้มีประสิทธิภาพดีกว่าด้วยความสอดคล้องใด ๆ ดังนั้นพวกเขาอาจไม่ได้เป็นผู้สืบทอด "ที่มีค่า" ...
Jake Westfall

1
BART ( arxiv.org/abs/0806.3286 ) เป็นแบบจำลอง Bayesian ที่พัฒนามาจากต้นไม้CESแบบต้นไม้ Bayesian เดียวและได้รับแรงบันดาลใจจากวิธีคลาสสิกทั้งมวล มันคุ้มค่าที่จะสำรวจ
เซน

การส่งเสริมเป็นที่นิยมมากขึ้นเนื่องจากสามารถจัดการกับปัญหาต่าง ๆ ได้สำเร็จด้วยเทคนิคผู้เรียนที่อ่อนแอ
Refael

ป่าโลภธรรมดาอาจคุ้มค่าที่จะกล่าวถึง (ช้า แต่มีผลดีบ้าง) และป่าสุ่มแบบควอนไทล์สำหรับผลข้างเคียงที่เย็นสบายของพวกเขา
Michael M

คำตอบ:


3

xgboost, catboost และ lightgbm ใช้คุณสมบัติบางอย่างของป่าสุ่ม (สุ่มตัวอย่างของตัวแปร / การสังเกต) ดังนั้นฉันคิดว่าพวกเขาเป็นผู้สืบทอดการส่งเสริมและ RF ด้วยกันและนำสิ่งที่ดีที่สุดจากทั้งสองอย่างมาใช้ ;)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.