LightGBM กับ XGBoost

ฉันพยายามเข้าใจว่าวิธีไหนดีกว่า (แม่นยำยิ่งขึ้นโดยเฉพาะในปัญหาการจำแนก)

ฉันได้ค้นหาบทความเปรียบเทียบ LightGBM และ XGBoost แต่พบเพียงสอง:

1. https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 - ซึ่งเกี่ยวกับความเร็ว แต่ไม่แม่นยำ
2. https://github.com/Microsoft/LightGBM/wiki/Experiments - ซึ่งมาจากผู้เขียนของ LightGBM และไม่แปลกใจที่ LightGBM ชนะที่นั่น

ในการทดสอบของฉันฉันได้รับ AUC เดียวกันทั้งสองอัลกอริทึม แต่ LightGBM ทำงานได้เร็วขึ้น 2 ถึง 5 เท่า

ถ้า LGBM เจ๋งมากทำไมฉันไม่ได้ยินเรื่องนี้ที่นี่และ Kaggle :)

LightGBM เป็นการใช้งานที่ยอดเยี่ยมซึ่งคล้ายกับ XGBoost แต่แตกต่างกันไปในบางวิธีโดยเฉพาะอย่างยิ่งในการสร้างต้นไม้

มีพารามิเตอร์ที่แตกต่างกันบ้าง แต่ส่วนใหญ่คล้ายกับ XGBoost

หากคุณใช้พารามิเตอร์เดียวกันคุณเกือบจะได้คะแนนที่ใกล้เคียงกันเสมอ ในกรณีส่วนใหญ่การฝึกอบรมจะเร็วขึ้น 2-10 เท่า

ทำไมผู้คนไม่ใช้มันมากกว่านี้?

XGBoost ใช้เวลานานกว่าและติดตั้งในเครื่องหลายเครื่องแล้ว LightGBM ค่อนข้างใหม่และไม่มีเสื้อคลุมหลามในตอนแรก เวอร์ชันปัจจุบันติดตั้งและใช้ง่ายกว่าไม่มีอุปสรรคนี่

ผู้ใช้ขั้นสูงจำนวนมากใน Kaggle และเว็บไซต์ที่คล้ายกันใช้ LightGBM แล้วและสำหรับการแข่งขันใหม่แต่ละครั้งก็จะได้รับความคุ้มครองมากขึ้นเรื่อย ๆ อย่างไรก็ตามสคริปต์เริ่มต้นมักใช้พื้นฐาน XGBoost เนื่องจากผู้คนเพิ่งใช้รหัสเก่าของพวกเขาซ้ำและปรับพารามิเตอร์บางอย่าง ฉันแน่ใจว่าสิ่งนี้จะเพิ่มขึ้นเมื่อมีบทเรียนเพิ่มเติมอีกสองสามรายการและคำแนะนำเกี่ยวกับวิธีใช้

ตอนนี้ XGBoost มีฮิสโตแกรม binning ตัวเลือกสำหรับการเจริญเติบโตของต้นไม้คล้ายกับหนึ่ง LightGBM ใช้ มันให้ความเร็วในระดับเดียวกันและลักษณะความแม่นยำที่คล้ายคลึงกันแม้ว่าอัลกอริทึมยังคงไม่เหมือนเดิม

มีบางแปลงและตารางที่นี่แสดงให้เห็นว่าพวกเขาอยู่ด้านบนของกันและกันตอนนี้ https://github.com/dmlc/xgboost/issues/1950

เพื่อความเป็นธรรม LightGBM อ้างอิงการทดสอบประสิทธิภาพของตัวเองแสดงให้เห็นว่าพวกเขายังคงขยายตัว XGBoost (hist) แม้ว่าจะไม่ใช่ลำดับความสำคัญอีกต่อไป https://github.com/Microsoft/LightGBM/blob/master/docs/Experiments.rst#comparison-experiment