ป่าสุ่มไม่สามารถทนได้?

ฉันได้อ่านวรรณกรรมแล้วว่าป่าสุ่มไม่เหมาะสม ในขณะที่ฟังดูดี แต่มันก็ดีเกินกว่าที่จะเป็นจริงได้ เป็นไปได้หรือไม่ที่ rf จะมีน้ำหนักเกิน?

random-forest overfitting

— screechOwl
แหล่งที่มา

หากสามารถใส่ได้ก็สามารถทำให้พอดีได้ ในแง่ของ RF ลองคิดดูว่าจะเกิดอะไรขึ้นถ้าป่าของคุณไม่มีต้นไม้มากพอ (บอกว่าป่าของคุณเป็นต้นไม้เดียวที่ทำให้เห็นผลชัดเจน) มีปัญหามากกว่านี้ แต่สิ่งนี้ชัดเจนที่สุด

— Marc Claesen

ฉันเพิ่งตอบไปยังเธรดอื่นบน RF ว่ามันสามารถ overfit อย่างง่ายดายถ้าจำนวนตัวทำนายมีขนาดใหญ่

— horaceT

ป่าสุ่มสามารถ overfit ฉันมั่นใจในสิ่งนี้ สิ่งที่มักจะหมายถึงคือโมเดลจะไม่เหมาะถ้าคุณใช้ต้นไม้มากขึ้น

$y = log(x) + \epsilon$

— Donbeo
แหล่งที่มา

Random Forest จะช่วยลดความแปรปรวนได้อย่างไร @ Donbeo อาจเป็นเพราะในบางครั้งต้นไม้ในการตัดสินใจไม่สามารถทำงานได้ดีกับการอนุมาน สมมุติว่าตัวแปรตัวทำนายผิดปกติ DT อาจให้การทำนายที่ไม่ดี

— Itachi

ข้อบ่งชี้ที่ชัดเจนประการหนึ่งของการบรรจุเกินคือความแปรปรวนที่เหลือจะลดลงมากเกินไป ถ้าอย่างนั้นคุณพยายามพูดถึงคำพูดแรกของคุณไหม?

— whuber

ในการแลกเปลี่ยนความแปรปรวนแบบอคติเมื่อเราพยายามลดอคติเราจะชดเชยความแปรปรวน ถ้า x = 80 ให้ y = 100 แต่ x = 81 ให้ y = -100 นี่จะเป็นสิ่งที่มากเกินไป ไม่ออกคล้ายกับการมีความแปรปรวนสูง @ เมื่อฉันคิดว่า ovefitting นั้นเป็นเพราะความแปรปรวนสูงเท่านั้น ฉันไม่เข้าใจว่าการลดความแปรปรวนที่เหลือส่งผลให้เกิดการ overfitting ได้อย่างไร คุณช่วยแบ่งปันกระดาษให้ฉันอ่านได้ไหม

— Itachi

x_{i} = 1, 2, \dots, 10

$x_i=1,2,\ldots,10$

y_{i}

$y_i$

y = β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$

k = 0, 1, \dots, 9

$k=0, 1, \ldots, 9$

@Davide คำพูดของคุณแสดงให้เห็นว่าฉันควรจะระบุไว้อย่างชัดเจนว่าฉันกำลังเสนอตัวอย่างของฉันไม่ได้เป็นคำสั่งเกี่ยวกับป่าสุ่ม แต่เกี่ยวกับแนวคิดพื้นฐานของการลดความแปรปรวนและ overfitting แต่ความคิดเห็นแรกของคุณนั้นทึบเพราะมันไม่เกี่ยวข้อง (และอย่างที่ฉันอ่านมันไม่ถูกต้อง): ความแปรปรวนที่เหลือนั้นสำคัญในลำดับของ OLS รุ่นนี้ไม่ใช่ความแปรปรวนการทำนาย แน่นอน - กลับไปที่คำถามทั่วไปของแบบจำลองที่เหมาะสม - หากการลดความแปรปรวนของการทำนายนั้นเป็นเป้าหมายแล้วแบบจำลองใด ๆ ที่ทำนายค่าศูนย์จะเหมาะสมที่สุด!

— whuber