ทำความเข้าใจเกี่ยวกับการแลกเปลี่ยนความลำเอียงที่แปรปรวน


20

ฉันกำลังอ่านบทของการแลกเปลี่ยนความแปรปรวนแบบอคติขององค์ประกอบของการเรียนรู้ทางสถิติและฉันมีข้อสงสัยในสูตรที่หน้า 29 ให้ข้อมูลเกิดขึ้นจากแบบจำลองที่โดยที่สุ่ม จำนวนที่มีค่าคาดว่าและความแปรปรวน 2 ให้ค่าที่คาดหวังของข้อผิดพลาดของแบบจำลองคือ E [(Y-f_k (x)) ^ 2] โดยที่f_k (x)คือคำทำนายของxของผู้เรียนของเรา ข้อผิดพลาดคือ E [(Y-f_k (x)) ^ 2] = \ sigma ^ 2 + Bias (f_k) ^ 2 + Var (f_k (x))

Y=f(x)+ϵ
ε = E [ ε ] = 0 E E [ ( Y - k ( x ) ) 2 ] k ( x ) x E [ ( Y - k ( x ) ) 2 ] = σ 2 + B ฉันa s ( fϵϵ^=E[ϵ]=0E[(ϵϵ^)2]=E[ϵ2]=σ2
E[(Yfk(x))2]
fk(x)x
E[(Yfk(x))2]=σ2+Bias(fk)2+Var(fk(x)).

คำถามของฉันคือเหตุใดคำอคติจึงไม่เป็น 0 การพัฒนาสูตรของข้อผิดพลาดฉันเห็น

E[(Yfk(x))2]=E[(f(x)+ϵfk(x))2]=E[(f(x)fk(x))2]+2E[(f(x)fk(x))ϵ]+E[ϵ2]=Var(fk(x))+2E[(f(x)fk(x))ϵ]+σ2

as ϵเป็นหมายเลขสุ่มอิสระ2E[(f(x)fk(x))ϵ]=2E[(f(x)fk(x))]E[ϵ]=0

ฉันผิดตรงไหน

คำตอบ:


20

คุณยังไม่ได้ผิด แต่คุณทำผิดพลาดในขั้นตอนเดียวตั้งแต่E[(f(x)fk(x))2]Var(fk(x))(x)) E[(f(x)fk(x))2]คือMSE(fk(x))=Var(fk(x))+Bias2(fk(x)) .

E[(Yfk(x))2]=E[(f(x)+ϵfk(x))2]=E[(f(x)fk(x))2]+2E[(f(x)fk(x))ϵ]+E[ϵ2]=E[(f(x)E(fk(x))+E(fk(x))fk(x))2]+2E[(f(x)fk(x))ϵ]+σ2=Var(fk(x))+Bias2(fk(x))+σ2.

หมายเหตุ:E[(fk(x)E(fk(x)))(f(x)E(fk(x))]=E[fk(x)E(fk(x))](f(x)E(fk(x)))=0.


ในกรณีของผลลัพธ์ไบนารีมีหลักฐานเทียบเท่ากับเอนโทรปีของการวัดความผิดพลาดหรือไม่?
emanuele

1
มันไม่ได้ผลค่อนข้างดีนักเมื่อมีการตอบสนองแบบไบนารี ดู Ex 7.2 ในรุ่นที่สองของ "องค์ประกอบของการเรียนรู้ทางสถิติ"
Matthew Drury

3
คุณช่วยอธิบายได้อย่างไรว่าคุณไปจากถึง ? V a r ( f kE[(f(x)E(fk(x))+E(fk(x))fk(x))2]+2E[(f(x)fk(x))ϵ]+σ2Var(fk(x))+Bias2(fk(x))+σ2
แอนทอน

16

อีกไม่กี่ขั้นตอนของการย่อยสลาย Bias - Variance

แท้จริงแล้วการสืบทอดแบบเต็มนั้นไม่ค่อยได้รับในตำราเรียนเนื่องจากเกี่ยวข้องกับพีชคณิตที่น่าเบื่อมากมาย นี่คือความสมบูรณ์ที่มากขึ้นโดยใช้สัญกรณ์จากหนังสือ"องค์ประกอบของการเรียนรู้ทางสถิติ"ในหน้า 223


ถ้าเราคิดว่าและและจากนั้นเราสามารถหานิพจน์สำหรับข้อผิดพลาดการทำนายที่เหมาะสมของการถดถอยแบบที่อินพุตโดยใช้การสูญเสียข้อผิดพลาดกำลังสองY=f(X)+ϵE[ϵ]=0Var(ϵ)=σϵ2F ( X ) X = x 0f^(X)X=x0

Err(x0)=E[(Yf^(x0))2|X=x0]

เพื่อความง่ายในการสังเกตให้ ,และจำได้ว่าและf^(x0)=f^f(x0)=fE[f]=fE[Y]=f

E[(Yf^)2]=E[(Yf+ff^)2]=E[(yf)2]+E[(ff^)2]+2E[(ff^)(yf)]=E[(f+ϵf)2]+E[(ff^)2]+2E[fYf2f^Y+f^f]=E[ϵ2]+E[(ff^)2]+2(f2f2fE[f^]+fE[f^])=σϵ2+E[(ff^)2]+0

สำหรับคำศัพท์เราสามารถใช้กลอุบายที่คล้ายกันดังกล่าวข้างต้นเพิ่มและลบเพื่อให้ได้E[(ff^)2]E[f^]

E[(ff^)2]=E[(f+E[f^]E[f^]f^)2]=E[fE[f^]]2+E[f^E[f^]]2=[fE[f^]]2+E[f^E[f^]]2=Bias2[f^]+Var[f^]

วางไว้ด้วยกัน

E[(Yf^)2]=σϵ2+Bias2[f^]+Var[f^]


ความคิดเห็นบางประการเกี่ยวกับสาเหตุที่E[f^Y]=fE[f^]

นำมาจาก Alecos Papadopoulos ที่นี่

จำได้ว่าเป็นตัวทำนายที่เราสร้างขึ้นตามจุดข้อมูลเพื่อให้เราสามารถเขียนเพื่อจำได้f^m{(x(1),y(1)),...,(x(m),y(m))} F = Ff^=f^m

ในทางกลับกันคือการทำนายที่เราทำกับจุดข้อมูลใหม่โดยใช้แบบจำลองที่สร้างขึ้นบนจุดข้อมูลด้านบน ดังนั้น Mean Squared Error จึงสามารถเขียนเป็นY(x(m+1),y(m+1))m

E[f^m(x(m+1))y(m+1)]2

การขยายสมการจากส่วนก่อนหน้า

E[f^mY]=E[f^m(f+ϵ)]=E[f^mf+f^mϵ]=E[f^mf]+E[f^mϵ]

ส่วนสุดท้ายของสมการสามารถดูได้เป็น

E[f^m(x(m+1))ϵ(m+1)]=0

เนื่องจากเราสร้างสมมติฐานต่อไปนี้เกี่ยวกับจุด :x(m+1)

  • มันก็ไม่ได้นำมาใช้เมื่อสร้างf^m
  • มันเป็นอิสระจากการสังเกตอื่น ๆ ทั้งหมด{(x(1),y(1)),...,(x(m),y(m))}
  • มันเป็นอิสระจากϵ(m+1)

แหล่งข้อมูลอื่น ๆ ที่มี derivations เต็มรูปแบบ


1
ทำไม ? ฉันไม่คิดว่าและมีความเป็นอิสระตั้งแต่ถูกสร้างโดยใช้หลักYE[f^Y]=fE[f^]Yf^f^Y
Felipe Pérez

5
แต่คำถามก็เหมือนกันทำไม ? การสุ่มของมาจากข้อผิดพลาดดังนั้นฉันจึงไม่เห็นว่าทำไมและจึงเป็นอิสระและด้วยเหตุนี้ 0 E[f^ϵ]=0f^ϵf^ϵE(f^ϵ)=0
เฟลิเปเปเรซ

จากการวิเคราะห์ของคุณดูเหมือนว่าในตัวอย่างกับมุมมองตัวอย่างมีความสำคัญ มันเป็นอย่างนั้นหรือ หากเราทำงานเป็นกลุ่มตัวอย่างและจากนั้นดูเนื่องจากการเบี่ยงเบนความเบี่ยงเบนของอคติเหลืออยู่? ϵ
markowitz

1
@ FelipePérezเท่าที่ผมเข้าใจแบบแผนของมาจากแยกรถไฟทดสอบ (ซึ่งจุดสิ้นสุดลงในชุดฝึกอบรมและให้เป็นปัจจัยบ่งชี้ที่ผ่านการฝึกอบรม) กล่าวอีกนัยหนึ่งความแตกต่างของมาจากชุดย่อยที่เป็นไปได้ทั้งหมดของชุดข้อมูลคงที่ที่เราสามารถใช้เป็นชุดฝึกอบรมได้ เนื่องจากชุดข้อมูลได้รับการแก้ไขจึงไม่มีการสุ่มมาจากดังนั้นและจึงเป็นอิสระ f^f^f^ϵf^ϵ
Alberto Santini
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.