มีการแสดงกราฟิกของการแลกเปลี่ยนความแปรปรวนแบบอคติในการถดถอยเชิงเส้นหรือไม่?

ฉันกำลังทุกข์ทรมานจากความมืดมน ฉันได้นำเสนอภาพต่อไปนี้เพื่อแสดงการแลกเปลี่ยนความเอนเอียงอคติในบริบทของการถดถอยเชิงเส้น:

แบบจำลองพหุนามสำหรับข้อมูลกรณีง่ายและซับซ้อน

ฉันสามารถเห็นได้ว่าไม่มีทั้งสองรุ่นที่เหมาะสม - "ง่าย" ไม่เห็นคุณค่าความซับซ้อนของความสัมพันธ์ XY และ "ซับซ้อน" เป็นเพียง overfitting โดยทั่วไปเรียนรู้ข้อมูลการฝึกอบรมด้วยหัวใจ อย่างไรก็ตามฉันล้มเหลวอย่างสิ้นเชิงที่จะเห็นอคติและความแปรปรวนในภาพทั้งสองนี้ มีคนแสดงให้ฉันดูได้ไหม

ป.ล. : คำตอบสำหรับคำอธิบายที่เข้าใจง่ายของการแลกเปลี่ยนความเอนเอียง? ไม่ได้ช่วยฉันฉันจะดีใจถ้ามีคนให้วิธีการที่แตกต่างจากภาพด้านบน

regression variance bias

— blubb
แหล่งที่มา

คำตอบ:

การแลกเปลี่ยนความแปรปรวนอคติจะขึ้นอยู่กับการแยกย่อยของความคลาดเคลื่อนกำลังสองเฉลี่ย:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

วิธีหนึ่งในการดูการแลกเปลี่ยนความแปรปรวนแบบอคติคือคุณสมบัติของชุดข้อมูลที่ใช้ในโมเดลพอดี สำหรับโมเดลอย่างง่ายถ้าเราสมมติว่าการถดถอย OLS ถูกใช้เพื่อให้พอดีกับเส้นตรงดังนั้นจะมีเพียง 4 ตัวเลขเท่านั้นที่ใช้เพื่อให้พอดีกับเส้น:

ความแปรปรวนร่วมตัวอย่างระหว่าง x และ y
ความแปรปรวนตัวอย่างของ x
ค่าเฉลี่ยตัวอย่างของ x
ค่าเฉลี่ยตัวอย่างของ y

ดังนั้นกราฟใดก็ตามที่นำไปสู่ตัวเลข 4 ตัวด้านบนจะนำไปสู่เส้นที่พอดีกัน (10 คะแนน, 100 คะแนน, 100000000 คะแนน) ดังนั้นในแง่หนึ่งมันจึงไม่รู้สึกถึงตัวอย่างที่สังเกตได้ ซึ่งหมายความว่ามันจะ "เอนเอียง" เพราะมันจะไม่สนใจข้อมูลบางส่วน หากการละเว้นส่วนหนึ่งของข้อมูลนั้นมีความสำคัญการคาดการณ์จะผิดพลาดอย่างสม่ำเสมอ คุณจะเห็นสิ่งนี้หากคุณเปรียบเทียบสายที่ได้รับการติดตั้งโดยใช้ข้อมูลทั้งหมดกับสายที่ได้รับจากการลบจุดข้อมูลหนึ่งจุด พวกเขามีแนวโน้มที่จะมีเสถียรภาพมาก

ตอนนี้รุ่นที่สองใช้เศษข้อมูลทุกอย่างที่สามารถรับได้และเหมาะสมกับข้อมูลให้ใกล้เคียงที่สุด ดังนั้นตำแหน่งที่แน่นอนของทุกจุดข้อมูลจึงมีความสำคัญดังนั้นคุณจึงไม่สามารถเปลี่ยนข้อมูลการฝึกอบรมได้โดยไม่ต้องเปลี่ยนรูปแบบที่เหมาะสมเช่นเดียวกับ OLS ดังนั้นแบบจำลองจึงมีความอ่อนไหวต่อชุดฝึกอบรมเฉพาะที่คุณมี โมเดลที่ถูกติดตั้งจะแตกต่างกันมากหากคุณทำจุดข้อมูลแบบดรอปดาวน์เดียวกัน

— probabilityislogic
แหล่งที่มา

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

@loganecolss - นี่ไม่ใช่ความขัดแย้งเนื่องจากความเชื่อเรื่องอคติมีอยู่เฉพาะ "ในพื้นที่" - นั่นคือด้วยความเคารพต่อแบบจำลองทางสถิติที่กำหนด "บุคคลที่ผิดธรรมดา" มีอยู่สำหรับคนที่: 1) รู้ "รูปแบบที่แท้จริง" และ 2) ตัดสินใจที่จะไม่ใช้มัน คนนั้นเป็นคนงี่เง่าในหนังสือของฉัน หากคุณไม่รู้จัก "แบบจำลองที่แท้จริง" แสดงว่าไม่มีปัญหา - หากคุณไม่ได้พบแบบจำลองที่ดีและตัดสินใจที่จะไม่ใช้ ...

— ความน่าจะเป็นเชิง

คุณมีจินตนาการในการรู้ "แบบจำลองที่แท้จริง" - ไม่ใช่คำถามที่ถูกต้องที่จะถามฉันคิดว่า - มันเป็นคำถามที่มากกว่า "แบบจำลองปัจจุบันของฉันมีพารามิเตอร์ไม่เพียงพอหรือมากเกินไป" - สิ่งนี้ไม่ได้ขึ้นอยู่กับการรู้ว่า "รุ่นที่แท้จริง" คืออะไรและสามารถตอบได้ผ่านการวินิจฉัยแบบจำลองมาตรฐาน ตัวอย่างเช่นทำไม "โมเดลจริง" ของคุณถึงฟังก์ชั่นของตัวแปรที่คุณได้รวบรวมไว้ - ไม่ใช่ฟังก์ชั่นเช่นนั้น

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$ ที่ที่คุณไม่รู้ 1)

z_{i}

$z_i$ ค่าคือและ 2) มีกี่อัน - นั่นคือคุณไม่รู้

K

$K$ .

— ความน่าจะเป็นของระบบ

เพื่อสรุปสิ่งที่ฉันคิดว่าฉันรู้ในลักษณะที่ไม่ใช่ทางคณิตศาสตร์:

bias - การทำนายของคุณจะไม่ถูกต้องเมื่อคุณใช้แบบจำลองอย่างง่ายและจะเกิดขึ้นกับชุดข้อมูลใด ๆ ที่คุณใช้แบบจำลอง การคาดการณ์ของคุณคาดว่าจะผิด
ความแปรปรวน - หากคุณใช้โมเดลที่ซับซ้อนคุณจะได้รับการคาดการณ์ที่แตกต่างกันมากตามชุดข้อมูลที่คุณใช้

หน้านี้มีคำอธิบายที่ดีเกี่ยวกับไดอะแกรมเหมือนกับที่คุณโพสต์ (ฉันข้ามส่วนบนสุดไปอ่านส่วนที่มีไดอะแกรม) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (mouseover แสดงตัวอย่างที่แตกต่างกันในกรณีที่คุณไม่ได้สังเกต!)

— กษัตริย์
แหล่งที่มา

นั่นเป็นหน้าที่น่าสนใจและภาพประกอบที่ดี แต่ฉันพบว่ามันมีประโยชน์มากกว่านั้นเพราะ (ก) "ความลำเอียง" และ "ความแปรปรวน" ที่กล่าวถึงในบริบทของการถดถอยดูเหมือนจะไม่ได้เป็นอคติและความแปรปรวนตามที่กำหนดไว้ในตอนต้น หน้าและ (b) ไม่ชัดเจนเลยว่าคำสั่งที่ถูกสร้างขึ้น (เกี่ยวกับการเปลี่ยนแปลงของอคติและความแปรปรวนกับจำนวนพารามิเตอร์) ที่ถูกต้อง

— whuber