การส่งเสริมทำงานอย่างไร

วิธีที่ง่ายที่สุดในการเข้าใจการส่งเสริมคืออะไร

ทำไมมันไม่เพิ่มตัวแยกประเภทที่อ่อนแอมาก ๆ "เป็นอนันต์" (ความสมบูรณ์แบบ)

ในภาษาอังกฤษแบบธรรมดา: หากตัวจําแนกของคุณจำแนกข้อมูลบางส่วนให้ฝึกอบรมสำเนาอีกส่วนหนึ่งในส่วนที่ไม่ได้จัดประเภทนี้ด้วยความหวังว่ามันจะค้นพบบางสิ่งที่บอบบาง จากนั้นตามปกติซ้ำอีก ระหว่างทางมีรูปแบบการลงคะแนนบางอย่างที่อนุญาตให้รวมการคาดคะเนของตัวแยกประเภททั้งหมดเข้าด้วยกัน

เพราะบางครั้งมันเป็นไปไม่ได้ (เสียงรบกวนเพียงซ่อนข้อมูลบางส่วนหรือไม่ได้แสดงอยู่ในข้อมูล) ในทางกลับกันการส่งเสริมมากเกินไปอาจนำไปสู่การ overfitting

การส่งเสริมให้พนักงานหดตัวผ่านพารามิเตอร์อัตราการเรียนรู้ซึ่งประกอบกับการตรวจสอบความถูกต้องแบบข้ามk -fold การคาดการณ์ "out-of-bag" (OOB) หรือชุดทดสอบอิสระกำหนดจำนวนของต้นไม้ที่ควรเก็บไว้ในชุด

เราต้องการรูปแบบที่เรียนรู้ช้าดังนั้นจึงมีการแลกเปลี่ยนในแง่ของความซับซ้อนของแต่ละรุ่นและจำนวนโมเดลที่จะรวม คำแนะนำที่ฉันได้เห็นแนะนำคุณควรกำหนดอัตราการเรียนรู้ให้ต่ำที่สุดเท่าที่จะเป็นไปได้ (กำหนดเวลาในการคำนวณและความต้องการพื้นที่เก็บข้อมูล) ในขณะที่ความซับซ้อนของต้นไม้แต่ละต้นควรเลือกตามความเหมาะสมของการโต้ตอบ ยิ่งต้นไม้มีความซับซ้อนมากเท่าใดการโต้ตอบที่ซับซ้อนก็ยิ่งมากขึ้นเท่านั้น

อัตราการเรียนรู้ที่ได้รับการแต่งตั้งในช่วง[0,1]แนะนำให้ใช้ค่าน้อยกว่า ( ) นี่คือการชั่งน้ำหนักที่ใช้กับต้นไม้แต่ละต้นเพื่อลดน้ำหนักการมีส่วนร่วมของแต่ละรุ่นกับค่าที่ติดตั้งไว้$[0,1]$$<0.01$

k -fold CV (หรือการคาดการณ์ OOB หรือชุดทดสอบอิสระ) จะใช้ในการตัดสินใจเมื่อรุ่นที่ได้รับการส่งเสริมเริ่มต้นที่จะพอดี โดยพื้นฐานแล้วมันคือสิ่งนี้ที่หยุดเราเพิ่มให้กับโมเดลที่สมบูรณ์แบบ แต่มันเป็นการดีที่จะเรียนรู้อย่างช้าๆดังนั้นเราจึงมีโมเดลขนาดใหญ่ที่เอื้อต่อโมเดลที่ได้ติดตั้งไว้