การประมาณความผิดพลาดนอกถุงเพื่อเพิ่ม?

ในฟอเรสต์ฟอเรสต์ต้นไม้แต่ละต้นจะเติบโตขนานกันบนตัวอย่าง Boostrap ที่เป็นเอกลักษณ์ของข้อมูล เนื่องจากตัวอย่าง Boostrap แต่ละอันคาดว่าจะมีการสังเกตการณ์ที่เป็นเอกลักษณ์ประมาณ 63% ทำให้มีการสำรวจประมาณ 37% ของการสังเกตออกซึ่งสามารถใช้สำหรับการทดสอบต้นไม้

ตอนนี้ดูเหมือนว่าใน Stochastic Gradient Boosting ยังมีการคล้ายกับค่าใน RF:$OOB_{error}$

หาก bag.fraction ถูกตั้งค่าเป็นมากกว่า 0 (แนะนำให้ 0.5) gbm จะคำนวณการประมาณค่าแบบไม่อยู่ในถุงเพื่อปรับปรุงประสิทธิภาพการทำนาย มันประเมินการลดความเบี่ยงเบนของข้อสังเกตเหล่านั้นที่ไม่ได้ใช้ในการเลือกแผนผังการถดถอยถัดไป

แหล่งที่มา: Ridgeway (2007) , ส่วน 3.3 (หน้า 8)

ฉันมีปัญหาในการเข้าใจวิธีการทำงาน / ใช้ได้ สมมติว่าฉันกำลังเพิ่มต้นไม้ในลำดับ ฉันกำลังปลูกต้นไม้นี้ในกลุ่มย่อยสุ่มของชุดข้อมูลดั้งเดิม ฉันสามารถทดสอบต้นไม้ต้นเดียวนี้ได้จากการสังเกตที่ไม่ได้นำมาปลูก ตกลง แต่เนื่องจากการส่งเสริมเป็นลำดับฉันจึงค่อนข้างใช้ลำดับของต้นไม้ทั้งหมดที่สร้างขึ้นเพื่อให้การคาดการณ์สำหรับการสังเกตจากซ้ายเหล่านั้น และมีโอกาสสูงที่ต้นไม้ก่อนหน้านี้จำนวนมากได้เห็นการสังเกตเหล่านี้แล้ว ดังนั้นรูปแบบนั้นไม่ได้ถูกทดสอบจริง ๆ ในแต่ละรอบจากการสังเกตการณ์ที่มองไม่เห็นเช่นเดียวกับ RF ใช่ไหม?

ดังนั้นสิ่งนี้เรียกว่าการประมาณค่าข้อผิดพลาด "out-of-bag" สำหรับฉันมันดูเหมือนจะไม่ "ออก" ของกระเป๋าใด ๆ ตั้งแต่การสังเกตได้เห็นแล้ว?

ตอบเพียงบางส่วน (และเพิ่มคำถามใหม่ให้กับคำถามของคุณ)

การติดตั้ง gbm ใน R http://www.rdocumentation.org/packages/gbm/functions/gbm มีพารามิเตอร์สองตัวในการปรับค่าบางค่า

a) train.fractionจะกำหนดสัดส่วนของข้อมูลที่ใช้ในการฝึกอบรมต้นไม้ทั้งหมดและข้อมูล 1- train.fractionจะเป็นข้อมูล OOB ที่แท้จริง (นอกถุง)

b) bag.fractionจะกำหนดสัดส่วนของข้อมูลการฝึกอบรมที่จะใช้ในการสร้างต้นไม้ถัดไปในการเพิ่ม ดังนั้นอาจมีข้อมูลบางอย่างที่ไม่เคยใช้สำหรับการสร้างแผนภูมิใด ๆ และสามารถใช้เป็นข้อมูล OOB ได้อย่างแท้จริง (แต่ไม่น่าเป็นไปได้โปรดดูคำถามด้านล่าง)

ซึ่งทำให้ฉันมีคำถาม การวิเคราะห์ข้อมูลของคุณ 37% ว่าเป็น OOB นั้นเป็นจริงสำหรับต้นไม้หนึ่งต้น แต่โอกาสที่จะมีข้อมูลใด ๆ ที่ไม่ได้ใช้ในต้นไม้ใด ๆ นั้นมีขนาดเล็กกว่ามาก - (มันต้องอยู่ใน OOB สำหรับต้นไม้ทั้งหมด- ความเข้าใจของฉันคือต้นไม้แต่ละต้นทำ bootstrap ของมันเอง) ดังนั้นใน RandomForests ไม่น่าจะเป็น OOB ใด ๆ ในการทดสอบป่า และการนำไปใช้งานแบบสุ่มใน R (ขึ้นอยู่กับรหัสดั้งเดิมของ Breiman) พูดถึง OOB มากมาย (เช่นข้อมูลผลลัพธ์และดูhttp://www.rdocumentation.org/packages/randomForest/functions/randomForest )$0.37^{ntrees}$$ntree$err.rateconfusion

ฉันไม่รู้ว่าจะตอบอย่างไร (และฉันขอขอบคุณ (+1) สำหรับการถามคำถามและทำให้ฉันรู้ว่าฉันไม่เข้าใจลักษณะของป่าสุ่มนี้ ทางออกที่เป็นไปได้คือมี bootstrap เพียงอันเดียวและต้นไม้ทั้งหมดสร้างจากมัน - แต่เท่าที่ฉันรู้มันไม่ใช่อย่างนั้น

ฉันเชื่อว่าพวกเขาประเมินราคากระเป๋าในแต่ละขั้นตอน เนื่องจากมีการเพิ่มผลลัพธ์ของทุกขั้นตอน (ด้วยค่าสัมประสิทธิ์) จึงสามารถเพิ่มข้อผิดพลาด OOB ด้วยค่าสัมประสิทธิ์เดียวกันได้