การเรียนรู้ทั้งมวล: ทำไม Model Stacking จึงมีประสิทธิภาพ


11

เมื่อเร็ว ๆ นี้ฉันเริ่มสนใจการวางโมเดลเป็นรูปแบบของการเรียนรู้ทั้งมวล โดยเฉพาะอย่างยิ่งฉันได้ทดลองกับชุดของเล่นบางอย่างสำหรับปัญหาการถดถอย ฉันได้ใช้งานตัวแยกระดับ "ระดับ 0" เป็นรายบุคคลโดยเก็บการคาดการณ์ผลลัพธ์ของ regressor แต่ละอันไว้เป็นคุณสมบัติใหม่สำหรับ "meta-regressor" เพื่อใช้เป็นอินพุตและพอดีกับ meta-regressor นี้กับคุณสมบัติใหม่เหล่านี้ (การคาดคะเนจากระดับ 0 regressors) ฉันรู้สึกประหลาดใจอย่างยิ่งที่ได้เห็นการปรับปรุงที่เหนือกว่าของ regressors ส่วนบุคคลเมื่อทำการทดสอบ meta-regressor กับชุดการตรวจสอบความถูกต้อง

ดังนั้นนี่คือคำถามของฉัน: ทำไมการวางแบบจำลองจึงมีประสิทธิภาพ โดยสังเขปฉันคาดหวังว่ารูปแบบที่ทำการวางซ้อนจะทำงานได้ไม่ดีเนื่องจากดูเหมือนว่าจะมีการแสดงคุณสมบัติที่ไม่ดีเมื่อเทียบกับรุ่นระดับ 0 แต่ละตัว นั่นคือถ้าฉันฝึก 3 ระดับ 0 regressors บนชุดข้อมูลที่มีคุณสมบัติ 20 รายการและใช้การคาดคะเนระดับ 0 regressors เหล่านี้เพื่อป้อนข้อมูลให้กับ meta-regressor ของฉันนี่หมายความว่า meta-regressor ของฉันมีเพียง 3 คุณสมบัติในการเรียนรู้จาก ดูเหมือนว่ามีการเข้ารหัสข้อมูลเพิ่มเติมในคุณลักษณะดั้งเดิม 20 ประการที่รีจีสเตอร์ระดับ 0 มีไว้สำหรับการฝึกอบรมมากกว่าฟีเจอร์เอาต์พุต 3 รายการที่เมตาดารีสเตอร์ใช้สำหรับการฝึกอบรม

คำตอบ:


5

คิดว่าตระการตาเป็นการใช้ประโยชน์จากทฤษฎีบทขีด จำกัด กลาง

ทฤษฎีขีด จำกัด กลางกล่าวอย่างหลวม ๆ ว่าเมื่อขนาดตัวอย่างเพิ่มขึ้นค่าเฉลี่ยของตัวอย่างจะกลายเป็นค่าประมาณที่แม่นยำยิ่งขึ้นของที่ตั้งจริงของค่าเฉลี่ยประชากร (สมมติว่าเป็นสถิติที่คุณกำลังดู) และความแปรปรวนจะกระชับขึ้น .

หากคุณมีหนึ่งโมเดลและสร้างการทำนายหนึ่งสำหรับตัวแปรตามของคุณการทำนายนั้นน่าจะสูงหรือต่ำถึงระดับหนึ่ง แต่ถ้าคุณมีโมเดลที่แตกต่างกัน 3 หรือ 5 หรือ 10 ตัวที่สร้างการทำนายแตกต่างกันสำหรับการสังเกตใด ๆ การคาดการณ์ที่สูงจากบางรุ่นจะมีแนวโน้มที่จะชดเชยข้อผิดพลาดต่ำจากรุ่นอื่น ๆ และผลสุทธิจะเป็นการลู่เข้าของค่าเฉลี่ย (หรือการรวมกันอื่น ๆ ) ของการคาดการณ์ที่มีต่อ "ความจริง" ไม่เกี่ยวกับการสังเกตทุกครั้ง แต่โดยทั่วไปนั่นเป็นแนวโน้ม ดังนั้นโดยทั่วไปชุดจะมีประสิทธิภาพสูงกว่ารุ่นเดียวที่ดีที่สุด

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.