ทำไม Adaboost กับต้นไม้ตัดสินใจ?

ฉันอ่านบิตเกี่ยวกับการเพิ่มอัลกอริทึมสำหรับงานการจัดหมวดหมู่และ Adaboost โดยเฉพาะ ฉันเข้าใจว่าจุดประสงค์ของ Adaboost คือการใช้ "ผู้เรียนที่อ่อนแอ" หลายครั้งและผ่านการทำซ้ำในข้อมูลการฝึกอบรมให้ผู้จัดหมวดหมู่เรียนรู้ที่จะทำนายชั้นเรียนที่ตัวแบบทำผิดซ้ำ ๆ อย่างไรก็ตามฉันสงสัยว่าทำไมการอ่านจำนวนมากของฉันจึงได้ใช้ต้นไม้ตัดสินใจเป็นตัวจําแนกอ่อนแอ มีเหตุผลพิเศษสำหรับเรื่องนี้หรือไม่? มีตัวจําแนกบางอย่างที่ทําให้ผู้สมัครดีหรือไม่ดีกับ Adaboost โดยเฉพาะหรือไม่?

ผมได้พูดคุยเกี่ยวกับเรื่องนี้ในการให้คำตอบสำหรับคำถาม SO ที่เกี่ยวข้อง ต้นไม้การตัดสินใจโดยทั่วไปแล้วเป็นแบบที่ดีมากสำหรับการส่งเสริมมากไปกว่าอัลกอริธึมอื่น ๆ สัญลักษณ์แสดงหัวข้อย่อย / รุ่นสรุปคือ:

1. ต้นไม้ตัดสินใจไม่ใช่แบบเส้นตรง การเพิ่มประสิทธิภาพด้วยโมเดลเชิงเส้นก็ใช้งานไม่ได้
2. ผู้เรียนที่อ่อนแอจะต้องดีกว่าการคาดเดาแบบสุ่มอย่างต่อเนื่อง ปกติคุณไม่จำเป็นต้องทำการปรับพารามิเตอร์ใด ๆ กับแผนผังการตัดสินใจเพื่อให้ได้ลักษณะการทำงานนั้น การฝึกอบรม SVM จำเป็นต้องค้นหาพารามิเตอร์จริงๆ เนื่องจากข้อมูลนั้นมีการให้น้ำหนักซ้ำในการทำซ้ำแต่ละครั้งคุณอาจต้องทำการค้นหาพารามิเตอร์อื่นในการทำซ้ำแต่ละครั้ง ดังนั้นคุณกำลังเพิ่มปริมาณงานที่คุณต้องทำโดยระยะขอบขนาดใหญ่
3. ต้นไม้ตัดสินใจเร็วพอสมควรในการฝึกฝน เนื่องจากเรากำลังจะสร้าง 100 หรือ 1,000 ของพวกเขานั่นเป็นคุณสมบัติที่ดี พวกมันยังเร็วในการจำแนกซึ่งเป็นสิ่งสำคัญอีกครั้งเมื่อคุณต้องการ 100 หรือ 1000 เพื่อให้ทำงานก่อนที่คุณจะสามารถแสดงผลการตัดสินใจของคุณ
4. ด้วยการเปลี่ยนความลึกคุณจะสามารถควบคุมการแลกเปลี่ยนอคติ / ความแปรปรวนได้ง่ายและสะดวกการรู้ว่าการส่งเสริมสามารถลดอคติ แต่ยังลดความแปรปรวนได้อย่างมาก การเพิ่มกำลังเป็นที่รู้จักกันดีเกินความเป็นไปได้ดังนั้นการปรับระดับความสูงง่าย ๆ จะเป็นประโยชน์ในเรื่องนั้น

ฉันไม่มีคำตอบแบบตัวหนังสือ อย่างไรก็ตามนี่คือความคิดบางอย่าง

การเร่งสามารถมองเห็นได้โดยตรงเมื่อเปรียบเทียบกับการบรรจุถุง เหล่านี้เป็นสองวิธีที่แตกต่างกันของภาวะที่กลืนไม่เข้าคายไม่ออกแลกเปลี่ยนอคติ ในขณะที่การบรรจุถุงเป็นผู้เรียนที่อ่อนแอผู้เรียนบางคนที่มีความเอนเอียงต่ำและความแปรปรวนสูงโดยการเฉลี่ยชุดการบรรจุถุงลดความแปรปรวนของอคติเล็กน้อย การส่งเสริมในทางกลับกันทำงานได้ดีกับผู้เรียนที่อ่อนแอต่างกัน ผู้เรียนที่อ่อนแอนั้นมีอคติและความแปรปรวนต่ำ ด้วยการสร้างผู้เรียนหนึ่งคนขึ้นไปอยู่ด้านบนของอีกคนหนึ่งชุดการส่งเสริมพยายามที่จะลดอคติเพื่อความแปรปรวนเล็กน้อย

ดังนั้นหากคุณพิจารณาตัวอย่างการใช้การใส่ถุงและการส่งเสริมกับต้นไม้ในฐานะผู้เรียนที่อ่อนแอวิธีที่ดีที่สุดในการใช้คือต้นไม้ขนาดเล็ก / สั้นที่มีการส่งเสริมและต้นไม้ที่มีรายละเอียดมากพร้อมถุง นี่คือเหตุผลที่บ่อยครั้งที่ขั้นตอนการส่งเสริมใช้ตอการตัดสินใจในฐานะผู้เรียนที่อ่อนแอซึ่งเป็นต้นไม้ที่สั้นที่สุดเท่าที่จะเป็นไปได้ (ถ้าเงื่อนไขในมิติเดียว) ตอการตัดสินใจนี้มีความเสถียรมากดังนั้นจึงมีความแปรปรวนต่ำมาก

ฉันไม่เห็นเหตุผลที่จะใช้ต้นไม้ด้วยขั้นตอนการส่งเสริม อย่างไรก็ตามต้นไม้สั้น ๆ นั้นเรียบง่ายใช้งานง่ายและเข้าใจง่าย อย่างไรก็ตามฉันคิดว่าเพื่อที่จะประสบความสำเร็จด้วยขั้นตอนการส่งเสริมผู้เรียนที่อ่อนแอของคุณจะต้องมีความแปรปรวนต่ำจะต้องเข้มงวดและมีอิสระน้อยมาก ตัวอย่างเช่นฉันไม่เห็นจุดที่จะเป็นผู้เรียนที่อ่อนแอในฐานะเครือข่ายประสาท

นอกจากนี้คุณต้องทราบว่าสำหรับขั้นตอนการส่งเสริมบางอย่างเช่นการส่งเสริมการไล่ระดับสีเช่น Breiman พบว่าหากผู้เรียนอ่อนแอเป็นต้นไม้ ดังนั้นเราจึงมีการส่งเสริมต้นไม้ไล่โทนสี มีการเปิดเผยที่ดีในการส่งเสริมในหนังสือ ESTL