อีกไม่กี่ขั้นตอนของการย่อยสลาย Bias - Variance
แท้จริงแล้วการสืบทอดแบบเต็มนั้นไม่ค่อยได้รับในตำราเรียนเนื่องจากเกี่ยวข้องกับพีชคณิตที่น่าเบื่อมากมาย นี่คือความสมบูรณ์ที่มากขึ้นโดยใช้สัญกรณ์จากหนังสือ"องค์ประกอบของการเรียนรู้ทางสถิติ"ในหน้า 223
ถ้าเราคิดว่าและและจากนั้นเราสามารถหานิพจน์สำหรับข้อผิดพลาดการทำนายที่เหมาะสมของการถดถอยแบบที่อินพุตโดยใช้การสูญเสียข้อผิดพลาดกำลังสองY=f(X)+ϵE[ϵ]=0Var(ϵ)=σ2ϵF ( X ) X = x 0f^(X)X=x0
Err(x0)=E[(Y−f^(x0))2|X=x0]
เพื่อความง่ายในการสังเกตให้ ,และจำได้ว่าและf^(x0)=f^f(x0)=fE[f]=fE[Y]=f
E[(Y−f^)2]=E[(Y−f+f−f^)2]=E[(y−f)2]+E[(f−f^)2]+2E[(f−f^)(y−f)]=E[(f+ϵ−f)2]+E[(f−f^)2]+2E[fY−f2−f^Y+f^f]=E[ϵ2]+E[(f−f^)2]+2(f2−f2−fE[f^]+fE[f^])=σ2ϵ+E[(f−f^)2]+0
สำหรับคำศัพท์เราสามารถใช้กลอุบายที่คล้ายกันดังกล่าวข้างต้นเพิ่มและลบเพื่อให้ได้E[(f−f^)2]E[f^]
E[(f−f^)2]=E[(f+E[f^]−E[f^]−f^)2]=E[f−E[f^]]2+E[f^−E[f^]]2=[f−E[f^]]2+E[f^−E[f^]]2=Bias2[f^]+Var[f^]
วางไว้ด้วยกัน
E[(Y−f^)2]=σ2ϵ+Bias2[f^]+Var[f^]
ความคิดเห็นบางประการเกี่ยวกับสาเหตุที่E[f^Y]=fE[f^]
นำมาจาก Alecos Papadopoulos ที่นี่
จำได้ว่าเป็นตัวทำนายที่เราสร้างขึ้นตามจุดข้อมูลเพื่อให้เราสามารถเขียนเพื่อจำได้f^m{(x(1),y(1)),...,(x(m),y(m))} F = Fมf^=f^m
ในทางกลับกันคือการทำนายที่เราทำกับจุดข้อมูลใหม่โดยใช้แบบจำลองที่สร้างขึ้นบนจุดข้อมูลด้านบน ดังนั้น Mean Squared Error จึงสามารถเขียนเป็นY(x(m+1),y(m+1))m
E[f^m(x(m+1))−y(m+1)]2
การขยายสมการจากส่วนก่อนหน้า
E[f^mY]=E[f^m(f+ϵ)]=E[f^mf+f^mϵ]=E[f^mf]+E[f^mϵ]
ส่วนสุดท้ายของสมการสามารถดูได้เป็น
E[f^m(x(m+1))⋅ϵ(m+1)]=0
เนื่องจากเราสร้างสมมติฐานต่อไปนี้เกี่ยวกับจุด :x(m+1)
- มันก็ไม่ได้นำมาใช้เมื่อสร้างf^m
- มันเป็นอิสระจากการสังเกตอื่น ๆ ทั้งหมด{(x(1),y(1)),...,(x(m),y(m))}
- มันเป็นอิสระจากϵ(m+1)
แหล่งข้อมูลอื่น ๆ ที่มี derivations เต็มรูปแบบ