เทอมความแปรปรวนในการย่อยสลายอคติความแปรปรวนของการถดถอยเชิงเส้น

ใน 'องค์ประกอบของการเรียนรู้ทางสถิติ' นิพจน์สำหรับการสลายตัวของความแปรปรวนแบบอคติของแบบจำลองเชิงเส้นจะได้รับเป็น ที่เป็นฟังก์ชันเป้าหมายจริงคือความแปรปรวนของข้อผิดพลาดแบบสุ่มในโมเดลและเป็นประมาณการเชิงเส้นของ(x)

E r r (x_{0}) = σ_{ϵ}^{2} + E [f (x_{0}) - E \hat{f} (x_{0})]^{2} + | | h (x_{0}) | |^{2} σ_{ϵ}^{2},

$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$

f (x_{0})

$f(x_0)$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

y = f (x) + ϵ

$y=f(x)+\epsilon$

\hat{f} (x)

$\hat f(x)$

f (x)

$f(x)$

คำแปรปรวนทำให้ฉันหนักใจที่นี่เพราะสมการบอกเป็นนัยว่าความแปรปรวนจะเป็นศูนย์ถ้าเป้าหมายไม่มีเสียงนั่นคือแต่มันก็ไม่สมเหตุสมผลสำหรับฉันเพราะแม้จะมีสัญญาณรบกวนเป็นศูนย์ฉันยังสามารถรับตัวประมาณแตกต่างกันสำหรับชุดการฝึกอบรมที่แตกต่างกันซึ่งหมายถึงความแปรปรวนไม่ใช่ศูนย์ $\sigma_\epsilon^2=0.$ $\hat f(x_0)$

ตัวอย่างเช่นสมมติว่าฟังก์ชันเป้าหมายเป็นกำลังสองและข้อมูลการฝึกอบรมมีสองจุดตัวอย่างที่สุ่มจากกำลังสองนี้ ชัดเจนฉันจะได้เส้นตรงที่แตกต่างกันทุกครั้งที่ฉันสุ่มตัวอย่างสองคะแนนจากการสุ่มกำลังสอง - เป้าหมาย แล้วความแปรปรวนเป็นศูนย์ได้อย่างไร $f(x_0)$

ใครช่วยให้ฉันรู้ว่ามีอะไรผิดปกติในความเข้าใจของฉันเกี่ยวกับการย่อยสลายความแปรปรวนแบบอคติ?

regression linear-model bias-variance-tradeoff

— Abhinav Gupta
แหล่งที่มา

มีความฉลาดซ่อนเร้นอยู่เสมอในการรักษาความลำเอียงและความแปรปรวนและเป็นสิ่งสำคัญที่จะต้องให้ความสนใจอย่างระมัดระวังเมื่อทำการศึกษา หากคุณอ่านคำสองสามคำแรกของ ESL อีกครั้งในส่วนหนึ่งของบทนั้นผู้แต่งให้ความเคารพ

การอภิปรายเกี่ยวกับการประมาณอัตราความผิดพลาดอาจทำให้เกิดความสับสนเพราะเราต้องทำให้ชัดเจนว่าปริมาณใดถูกแก้ไขและเป็นแบบสุ่ม

ความละเอียดอ่อนเป็นสิ่งที่ได้รับการแก้ไขและสิ่งที่เป็นแบบสุ่ม

ในการรักษาแบบดั้งเดิมของการถดถอยเชิงเส้นข้อมูลจะถือว่าเป็นแบบคงที่และเป็นที่รู้จัก หากคุณทำตามข้อโต้แย้งใน ESL คุณจะพบว่าผู้เขียนกำลังทำข้อสมมติฐานนี้เช่นกัน ภายใต้สมมติฐานเหล่านี้ตัวอย่างของคุณไม่ได้เข้ามาเล่นเป็นเพียงแหล่งที่มาที่เหลืออยู่ของแบบแผนมาจากเงื่อนไขการจำหน่ายของได้รับXถ้ามันจะช่วยให้คุณอาจต้องการที่จะเปลี่ยนสัญกรณ์ในใจของคุณมีX) $X$ $y$ $X$ $Err(x_0)$ $Err(x_0 \mid X)$

นั่นไม่ได้เป็นการบอกว่าข้อกังวลของคุณนั้นไม่ถูกต้องแน่นอนว่าการเลือกข้อมูลการฝึกอบรมจะนำมาซึ่งการสุ่มในอัลกอริทึมแบบจำลองของเราและผู้ประกอบการที่ขยันหมั่นเพียรจะพยายามประเมินผลของการสุ่มนี้ต่อผลลัพธ์ของพวกเขา ในความเป็นจริงคุณสามารถเห็นได้อย่างชัดเจนว่าวิธีปฏิบัติทั่วไปของการทำ bootstrapping และการตรวจสอบความถูกต้องข้ามเป็นการรวมแหล่งที่มาของการสุ่มเข้าด้วยกันอย่างชัดเจน

เพื่อให้ได้นิพจน์ทางคณิตศาสตร์ที่ชัดเจนสำหรับอคติและความแปรปรวนของตัวแบบเชิงเส้นในบริบทของชุดข้อมูลการฝึกอบรมแบบสุ่มเราจะต้องตั้งสมมติฐานเกี่ยวกับโครงสร้างของการสุ่มในข้อมูลนี้จะเกี่ยวข้องกับสมมุติฐานบางอย่างเกี่ยวกับการกระจายของXสิ่งนี้สามารถทำได้ แต่ไม่ได้กลายเป็นส่วนหนึ่งของการเปิดเผยหลักของความคิดเหล่านี้ $X$ $X$

— Matthew Drury
แหล่งที่มา

ขอบคุณมากสำหรับการล้างออกความจริงที่ว่าผู้เขียนได้สันนิษฐานได้รับการแก้ไขเพื่อให้ความคาดหวังของที่นี่คือ WRTไม่ได้Y) แต่เราสามารถเขียนซึ่งหมายความว่าการรักษา X เป็นการสุ่มเราจะได้รับ . มันจะยังคงเป็นศูนย์ถ้าเป็นศูนย์ ฉันมีข้อสงสัยที่คล้ายกันเกี่ยวกับสมการนี้คุณสามารถหาที่มาของฉันได้ที่โพสต์นี้: stats.stackexchange.com/questions/307110/ …

X

$X$

Y | X

$Y|X$

(X, Y)

$(X,Y)$

E = E_{X} E_{Y | X}

$E=E_XE_{Y|X}$

V a r (\hat{f} (x_{0})) = E_{X} [| | h (x_{0}) | |^{2} σ_{ϵ}^{2}]

$Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

— Abhinav Gupta

ฉันเดาว่ามีผู้เขียนสมมติว่ารูปแบบที่ระบุไว้อย่างถูกต้องคือรวมถึงทั้งหมดและเฉพาะที่เกี่ยวข้องกับการทำนายการเปลี่ยนแปลงที่ถูกต้อง ฉันต้องกลับไปที่หนังสือแทนที่จะใช้ความทรงจำของฉันเพื่อยืนยัน

— Matthew Drury

ถ้าโดย 'ระบุไว้อย่างถูกต้อง' คุณหมายถึงว่าฟังก์ชั่นเป้าหมายนั้นเป็นเส้นตรงจากนั้นฉันเข้าใจว่าเสียงที่เป็นศูนย์จะบ่งบอกว่ามีอคติเป็นศูนย์ แต่ปรากฎว่าแม้ว่าฟังก์ชั่นเป้าหมายจะไม่เป็นเส้นตรงเราก็จะได้ค่าความแปรปรวนเท่าเดิม

— Abhinav Gupta

เป็นจริง แต่ในกรณีนั้น "ระบุอย่างถูกต้อง" จะหมายความว่าคุณกำลังใช้การถดถอยเชิงเส้นเพื่อให้พอดีกับตัวแบบรวมถึงตัวทำนายที่ถูกต้อง ดังนั้นหากความสัมพันธ์ที่แท้จริงคือสมการกำลังสองคุณจะสมมุติว่าแบบจำลองของคุณมีเงื่อนไขกำลังสอง

— Matthew Drury