1
ทำไม xgboost จึงเร็วกว่า GradientBoostingClassifier ของ sklearn มาก?
ฉันพยายามที่จะฝึกอบรมการยกระดับความลาดชันของตัวอย่างมากกว่า 50k ด้วยคุณสมบัติตัวเลข 100 ตัว XGBClassifierจัดการ 500 ต้นภายใน 43 วินาทีบนเครื่องของฉันในขณะที่GradientBoostingClassifierจัดการเพียง 10 ต้น (!) ใน 1 นาทีและ 2 วินาที :( ฉันไม่ได้พยายามที่จะเติบโต 500 ต้นเพราะจะใช้เวลาหลายชั่วโมงฉันใช้แบบเดียวกันlearning_rateและmax_depthการตั้งค่า ดูด้านล่าง อะไรทำให้ XGBoost เร็วขึ้นมาก? มันใช้การปรับแต่งแบบใหม่เพื่อส่งเสริมการไล่ระดับสีที่พวก sklearn ไม่รู้หรือไม่? หรือว่า "ตัดมุม" และปลูกต้นไม้ที่ตื้นขึ้น? ป.ล. ฉันตระหนักถึงการสนทนานี้: https://www.kaggle.com/c/higgs-boson/forums/t/10335/xgboost-post-competition-surveyแต่ไม่สามารถหาคำตอบได้ที่นั่น ... XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1, gamma=0, learning_rate=0.05, max_delta_step=0, max_depth=10, min_child_weight=1, missing=None, n_estimators=500, nthread=-1, objective='binary:logistic', reg_alpha=0, reg_lambda=1, …
29
scikit-learn
xgboost
gbm
data-mining
classification
data-cleaning
machine-learning
reinforcement-learning
data-mining
bigdata
dataset
nlp
language-model
stanford-nlp
machine-learning
neural-network
deep-learning
randomized-algorithms
machine-learning
beginner
career
xgboost
loss-function
neural-network
software-recommendation
naive-bayes-classifier
classification
scikit-learn
feature-selection
r
random-forest
cross-validation
data-mining
python
scikit-learn
random-forest
churn
python
clustering
k-means
machine-learning
nlp
sentiment-analysis
machine-learning
programming
python
scikit-learn
nltk
gensim
visualization
data
csv
neural-network
deep-learning
descriptive-statistics
machine-learning
supervised-learning
text-mining
orange
data
parameter-estimation
python
pandas
scraping
r
clustering
k-means
unsupervised-learning