ฉันพยายามที่จะเข้าใจการแลกเปลี่ยนอคติความแปรปรวนความสัมพันธ์ระหว่างอคติของตัวประมาณและอคติของตัวแบบและความสัมพันธ์ระหว่างความแปรปรวนของตัวประมาณและความแปรปรวนของตัวแบบ

ฉันมาถึงข้อสรุปเหล่านี้:

• เรามีแนวโน้มที่จะทำให้ข้อมูลมีค่ามากเกินไปเมื่อเราละเลยอคติของตัวประมาณนั่นคือเมื่อเราตั้งเป้าหมายที่จะลดอคติของแบบจำลองให้น้อยที่สุดโดยละเลยความแปรปรวนของแบบจำลอง (กล่าวอีกนัยหนึ่งคือเรามุ่งที่จะลดความแปรปรวนของ ความเอนเอียงของตัวประมาณเช่นกัน)
• ในทางกลับกันเรามีแนวโน้มที่จะลดข้อมูลเมื่อเราเพิกเฉยความแปรปรวนของตัวประมาณนั่นคือเมื่อเรามุ่งที่จะลดความแปรปรวนของตัวแบบที่ละเลยความเอนเอียงของแบบจำลอง (กล่าวอีกนัยหนึ่งคือเรามุ่งที่จะลดอคติของ ตัวประมาณโดยไม่พิจารณาความแปรปรวนของตัวประมาณด้วย)

ข้อสรุปของฉันถูกต้องหรือไม่?

เรียงกันของ ตามที่ระบุไว้คุณให้ความสำคัญกับนักวิทยาศาสตร์เพื่อลดอคติหรือความแปรปรวน ในทางปฏิบัติคุณไม่สามารถสังเกตเห็นอคติหรือความแปรปรวนของแบบจำลองของคุณได้อย่างชัดเจน (ถ้าทำได้คุณจะทราบสัญญาณจริงซึ่งในกรณีนี้คุณไม่จำเป็นต้องใช้แบบจำลอง) โดยทั่วไปคุณสามารถสังเกตอัตราความผิดพลาดของแบบจำลองของคุณในชุดข้อมูลเฉพาะและคุณพยายามที่จะประเมินอัตราข้อผิดพลาดจากตัวอย่างโดยใช้เทคนิคการสร้างสรรค์ต่างๆ

ตอนนี้คุณจะรู้ว่าในทางทฤษฎีอย่างน้อยอัตราความผิดพลาดนี้สามารถย่อยสลายเป็นอคติและความแปรปรวนแง่ แต่คุณไม่สามารถสังเกตความสมดุลนี้อยู่ในสถานการณ์ที่เป็นรูปธรรมเฉพาะเจาะจงใด ๆ ดังนั้นฉันจะทบทวนข้อสังเกตของคุณอีกเล็กน้อยว่า:

• แบบจำลองมีความไม่สอดคล้องกับข้อมูลเมื่อคำอคติมีส่วนทำให้เกิดข้อผิดพลาดจากตัวอย่างส่วนใหญ่
• แบบจำลองมีความเหมาะสมกับข้อมูลมากเกินไปเมื่อคำแปรปรวนก่อให้เกิดข้อผิดพลาดของตัวอย่างส่วนใหญ่

โดยทั่วไปแล้วไม่มีทางที่จะรู้ได้อย่างแน่นอนเพราะคุณไม่สามารถสังเกตความลำเอียงของแบบจำลองได้อย่างแท้จริง อย่างไรก็ตามมีหลายรูปแบบของพฤติกรรมที่บ่งบอกว่าอยู่ในสถานการณ์ใดสถานการณ์หนึ่ง:

• แบบจำลอง Overfit มีแนวโน้มที่จะมีประสิทธิภาพที่ดียิ่งขึ้นในชุดข้อมูลการทดสอบเทียบกับชุดข้อมูลการฝึกอบรม
• อันเดอร์ฟิตโมเดลมีแนวโน้มที่จะมีประสิทธิภาพที่เหมาะสมในการทดสอบกับชุดข้อมูลการฝึกอบรม

นี่คือรูปแบบที่แสดงให้เห็นในแผนการที่มีชื่อเสียงของอัตราความผิดพลาดโดยความซับซ้อนของแบบจำลองอันนี้มาจากองค์ประกอบของการเรียนรู้ทางสถิติ:

บ่อยครั้งที่แผนการเหล่านี้มีการทับซ้อนกับเส้นโค้งอคติและความแปรปรวน ฉันเอาอันนี้จากงานนิทรรศการที่ดีนี้ :

แต่มันสำคัญมากที่ต้องตระหนักว่าคุณไม่เคยได้เห็นเส้นโค้งเพิ่มเติมเหล่านี้ในสถานการณ์จริง

Illustrating the Bias - Variance Tradeoff โดยใช้ตัวอย่างของเล่น

@Matthew Drury ชี้ให้เห็นว่าในสถานการณ์จริงคุณจะไม่เห็นกราฟสุดท้าย แต่ตัวอย่างของเล่นต่อไปนี้อาจให้การตีความด้วยภาพและสัญชาตญาณแก่ผู้ที่เห็นว่าเป็นประโยชน์

ชุดข้อมูลและสมมติฐาน

$Y$

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$
• $Y = f(x) + \epsilon$

$x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

$\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$

ติดตั้งโมเดลพหุนามหลายแบบ

โดยสังเขปคุณคาดหวังว่าเส้นโค้งเส้นตรงจะทำงานได้ไม่ดีเนื่องจากชุดข้อมูลนั้นไม่ใช่เส้นตรงอย่างชัดเจน ในทำนองเดียวกันการใส่พหุนามลำดับที่สูงมากอาจจะมากเกินไป สัญชาตญาณนี้สะท้อนให้เห็นในกราฟด้านล่างซึ่งแสดงให้เห็นถึงรูปแบบต่าง ๆ และค่าเฉลี่ยข้อผิดพลาดสแควร์ที่สอดคล้องกันสำหรับข้อมูลรถไฟและการทดสอบ

กราฟด้านบนใช้งานได้กับรถไฟเดี่ยว / การทดสอบแยกแต่เราจะทราบได้อย่างไรว่าเป็นแบบมาตรฐาน

การประเมินรถไฟที่คาดหวังและทดสอบ MSE

ที่นี่เรามีตัวเลือกมากมาย แต่วิธีการหนึ่งคือการสุ่มแยกข้อมูลระหว่างรถไฟ / การทดสอบ - ปรับโมเดลให้เหมาะกับการแบ่งที่กำหนดและทำการทดลองซ้ำหลายครั้ง MSE ที่เป็นผลลัพธ์สามารถถูกพล็อตและค่าเฉลี่ยคือค่าประมาณของข้อผิดพลาดที่คาดไว้

เป็นที่น่าสนใจที่จะเห็นว่าการทดสอบ MSE มีความผันผวนอย่างมากสำหรับการแยกข้อมูลการรถไฟ / การทดสอบที่แตกต่างกัน แต่การที่ค่าเฉลี่ยในการทดลองจำนวนมากเพียงพอทำให้เรามีความมั่นใจมากขึ้น

$Y$

 Bias - การสลายตัวผลต่าง

ตามที่อธิบายไว้ที่นี่ MSE สามารถแบ่งออกเป็น 3 องค์ประกอบหลัก:

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

ในกรณีที่ของเล่นของเรา:

• $f$
• $\sigma^2_\epsilon$$\epsilon$
• $E[\hat f]$
• $\hat f$
• $E\left[ \hat f - E[ \hat f] \right]^2$

ให้ความสัมพันธ์ดังต่อไปนี้

หมายเหตุ: กราฟข้างต้นใช้ข้อมูลการฝึกอบรมเพื่อให้พอดีกับรูปแบบและแล้วคำนวณ MSE บนรถไฟทดสอบด้าน