XGBRegressor vs. xgboost.train ความแตกต่างความเร็วสูงหรือไม่?


13

ถ้าฉันฝึกโมเดลของฉันโดยใช้รหัสต่อไปนี้:

import xgboost as xg
params = {'max_depth':3,
'min_child_weight':10,
'learning_rate':0.3,
'subsample':0.5,
'colsample_bytree':0.6,
'obj':'reg:linear',
'n_estimators':1000,
'eta':0.3}

features = df[feature_columns]
target = df[target_columns]
dmatrix = xg.DMatrix(features.values,
                     target.values,
                     feature_names=features.columns.values)
clf = xg.train(params, dmatrix)

มันเสร็จในเวลาประมาณ 1 นาที

ถ้าฉันฝึกโมเดลของฉันโดยใช้วิธีการเรียนรู้ Sci-Kit:

import xgboost as xg
max_depth = 3
min_child_weight = 10
subsample = 0.5
colsample_bytree = 0.6
objective = 'reg:linear'
num_estimators = 1000
learning_rate = 0.3

features = df[feature_columns]
target = df[target_columns]
clf = xg.XGBRegressor(max_depth=max_depth,
                min_child_weight=min_child_weight,
                subsample=subsample,
                colsample_bytree=colsample_bytree,
                objective=objective,
                n_estimators=num_estimators,
                learning_rate=learning_rate)
clf.fit(features, target)

ใช้เวลากว่า 30 นาที

ฉันคิดว่าโค้ดอ้างอิงเกือบจะเหมือนกันทุกประการ (เช่นการXGBRegressorโทรxg.train) - เกิดอะไรขึ้นที่นี่

คำตอบ:


19

xgboost.trainจะละเว้นพารามิเตอร์n_estimatorsในขณะที่xgboost.XGBRegressorยอมรับ ในการxgboost.trainเพิ่มการวนซ้ำ (ie n_estimators) ถูกควบคุมโดยnum_boost_round(ค่าเริ่มต้น: 10)

ในกรณีของคุณรหัสแรกจะทำซ้ำ 10 ครั้ง (โดยค่าเริ่มต้น) แต่รหัสที่สองจะทำซ้ำ 1,000 ครั้ง จะไม่มีความแตกต่างใด ๆ ใหญ่ถ้าคุณพยายามที่จะเปลี่ยนclf = xg.train(params, dmatrix)เข้าclf = xg.train(params, dmatrix, 1000),

อ้างอิง

http://xgboost.readthedocs.io/en/latest/python/python_api.html#xgboost.train

http://xgboost.readthedocs.io/en/latest/python/python_api.html#xgboost.XGBRegressor

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.