ฉันพยายามเข้าใจความแตกต่างระหว่าง GBM และ Adaboost

นี่คือสิ่งที่ฉันเข้าใจ:

• มีอัลกอริธึมการเพิ่มประสิทธิภาพทั้งสองซึ่งเรียนรู้จากข้อผิดพลาดของรุ่นก่อนหน้าและในที่สุดก็สร้างผลรวมถ่วงน้ำหนักของโมเดล
• GBM และ Adaboost ค่อนข้างคล้ายกันยกเว้นฟังก์ชั่นการสูญเสีย

แต่ก็ยังเป็นเรื่องยากสำหรับฉันที่จะเข้าใจความแตกต่างระหว่างพวกเขา ใครสามารถให้คำอธิบายแบบหยั่งรู้ได้

ฉันพบว่าบทนำนี้อาจให้คำอธิบายที่เข้าใจง่าย

• ในการไล่โทนสีการส่งเสริม 'บกพร่อง' (ของผู้เรียนที่อ่อนแอที่มีอยู่) มีการระบุโดยการไล่ระดับสี
• ใน Adaboost 'ข้อบกพร่อง' จะถูกระบุด้วยจุดข้อมูลน้ำหนักสูง

ในความเข้าใจของฉันการสูญเสียเลขชี้กำลังของ Adaboost ให้น้ำหนักมากขึ้นสำหรับตัวอย่างที่ติดตั้งแย่ลง อย่างไรก็ตาม Adaboost ถือเป็นกรณีพิเศษของการไล่ระดับสีแบบไล่ระดับในแง่ของฟังก์ชั่นการสูญเสียดังที่แสดงในประวัติของการไล่ระดับสีแบบไล่ระดับที่มีให้ในการแนะนำ

1. คิดค้น Adaboost ซึ่งเป็นอัลกอริธึมการส่งเสริมที่ประสบความสำเร็จเป็นครั้งแรก [Freund et al., 1996, Freund และ Schapire, 1997]
2. กำหนด Adaboost เป็นทางลาดแบบลาดด้วยฟังก์ชันพิเศษสำหรับการสูญเสีย [Breiman et al., 1998, Breiman, 1999]
3. วางมาตรฐาน Adaboost เป็น Gradient Boosting เพื่อรองรับฟังก์ชั่นการสูญเสียที่หลากหลาย [Friedman et al., 2000, Friedman, 2001]

คำอธิบายที่เข้าใจง่ายของอัลกอริทึม AdaBoost

ให้ฉันสร้างคำตอบที่ยอดเยี่ยมของ @Randel ด้วยภาพประกอบของประเด็นต่อไปนี้

---

• ใน Adaboost 'ข้อบกพร่อง' จะถูกระบุด้วยจุดข้อมูลน้ำหนักสูง

สรุป AdaBoost

$G_m(x) \ m = 1,2,...,M$

$$G(x) = \text{sign} \left( \alpha_1 G_1(x) + \alpha_2 G_2(x) + ... \alpha_M G_M(x)\right) = \text{sign} \left( \sum_{m = 1}^M \alpha_m G_m(x)\right)$$

• การทำนายขั้นสุดท้ายเป็นการรวมกันของการทำนายจากตัวจําแนกทั้งหมดผ่านการลงคะแนนเสียงข้างมาก

• $\alpha_m$$G_m(x)$

• $w_1, w_2,...,w_N$$m$
• $m=1$$w_i = 1 / N$

AdaBoost ในตัวอย่างของเล่น

$M = 10$

การแสดงลำดับของผู้เรียนที่อ่อนแอและน้ำหนักตัวอย่าง

$m = 1,2...,6$

การทำซ้ำครั้งแรก:

• ขอบเขตการตัดสินใจนั้นง่ายมาก (เป็นเส้นตรง) เนื่องจากเป็นผู้เรียนที่อ่อนแอ
• คะแนนทั้งหมดมีขนาดเท่ากันตามที่คาดไว้
• 6 จุดสีน้ำเงินอยู่ในพื้นที่สีแดงและผิดประเภท

การทำซ้ำที่สอง:

• ขอบเขตการตัดสินใจเชิงเส้นเปลี่ยนไป
• จุดสีฟ้าที่ผิดประเภทก่อนหน้านี้ในขณะนี้มีขนาดใหญ่ขึ้น (sample_weight มากขึ้น) และมีอิทธิพลต่อขอบเขตการตัดสินใจ
• จุดสีน้ำเงิน 9 จุดถูกยกเลิกในขณะนี้

ผลสุดท้ายหลังจากทำซ้ำ 10 ครั้ง

$\alpha_m$

([1.041, 0.875, 0.837, 0.781, 1.04, 0.938 ...

ตามที่คาดไว้การคำนวณซ้ำครั้งแรกมีค่าสัมประสิทธิ์มากที่สุดเนื่องจากเป็นค่าที่มีการจำแนกผิดพลาดน้อยที่สุด

ขั้นตอนถัดไป

คำอธิบายที่ใช้งานง่ายของการเพิ่มการไล่ระดับสี - ให้เสร็จ

แหล่งที่มาและการอ่านเพิ่มเติม:

• รหัสหลามและตัวเลขดั้งเดิมที่นี่
• https://www.cs.cmu.edu/~aarti/Class/10701/slides/Lecture10.pdf