การย่อยสลายความแปรปรวนแบบอคติ

ในส่วนที่ 3.2 ของการจดจำรูปแบบของอธิการและการเรียนรู้ของเครื่องจักรเขากล่าวถึงการสลายตัวของความแปรปรวนแบบอคติโดยระบุว่าสำหรับฟังก์ชันการสูญเสียกำลังสองการสูญเสียที่คาดหวังสามารถแยกย่อยเป็นระยะอคติกำลังสอง (ซึ่งอธิบายว่า รุ่น), คำแปรปรวน (ซึ่งอธิบายการแพร่กระจายของการทำนายรอบค่าเฉลี่ย) และคำที่มีเสียงรบกวน (ซึ่งให้เสียงที่แท้จริงของข้อมูล)

สามารถทำการไบอัส - แปรปรวนการสลายตัวด้วยฟังก์ชั่นการสูญเสียอื่น ๆ นอกเหนือจากการสูญเสียกำลังสอง?
สำหรับชุดข้อมูลโมเดลที่กำหนดมีมากกว่าหนึ่งโมเดลที่มีการสูญเสียที่คาดว่าจะต่ำกว่าทุกโมเดลและถ้าเป็นเช่นนั้นนั่นหมายความว่าอาจมีการผสมผสานระหว่างอคติและความแปรปรวนต่างกัน
หากแบบจำลองเกี่ยวข้องกับการทำให้เป็นมาตรฐานจะมีความสัมพันธ์ทางคณิตศาสตร์ระหว่างอคติความแปรปรวนและสัมประสิทธิ์การทำให้เป็นมาตรฐานหรือไม่? $\lambda$
คุณจะคำนวณอคติได้อย่างไรถ้าคุณไม่รู้รูปแบบที่แท้จริง?
มีสถานการณ์ที่เหมาะสมหรือไม่ที่จะลดอคติหรือความแปรปรวนมากกว่าการสูญเสียที่คาดหวังไว้ (ผลรวมของความเอนเอียงและความแปรปรวนกำลังสอง)

— Vivek Subramanian
แหล่งที่มา

... การสูญเสียที่คาดหวัง [กำลังสองผิดพลาด] สามารถแบ่งออกเป็นเทอมอคติกำลังสอง (ซึ่งอธิบายว่าการทำนายโดยเฉลี่ยนั้นมาจากแบบจำลองที่แท้จริงมากแค่ไหน) คำที่แปรปรวน (ซึ่งอธิบายการแพร่กระจายของการทำนายรอบค่าเฉลี่ย) และ คำที่มีเสียงรบกวน (ซึ่งให้เสียงที่แท้จริงของข้อมูล)

เมื่อมองไปที่การสูญเสียข้อผิดพลาดกำลังสอง ผมเห็นเพียงสองข้อหนึ่งสำหรับอคติและอีกคนหนึ่งสำหรับความแปรปรวนของประมาณการหรือทำนายที่n}) ไม่มีเสียงรบกวนเพิ่มเติมในการสูญเสียที่คาดว่าจะเป็น อย่างที่ควรจะเป็นเนื่องจากความแปรปรวนคือความแปรปรวนของไม่ใช่ตัวอย่างเอง

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

สามารถทำการไบอัส - แปรปรวนการสลายตัวด้วยฟังก์ชั่นการสูญเสียอื่น ๆ นอกเหนือจากการสูญเสียกำลังสอง?

การตีความของฉันของอคติกำลังสอง + การสลายตัวความแปรปรวน [และวิธีที่ฉันสอน] คือว่านี่คือสถิติเชิงเทียบเท่าของทฤษฎีบทของพีธากอร์นั่นคือระยะห่างระหว่างสแควร์ระหว่างตัวประมาณและจุดหนึ่งในเซตหนึ่งคือผลรวมของ ระหว่างตัวประมาณกับเซตบวกระยะห่างกำลังสองระหว่างการฉายฉากมุมฉากบนชุดกับจุดภายในชุด การสูญเสียใด ๆ ขึ้นอยู่กับระยะทางที่มี nFor สำหรับชุดข้อมูลโมเดลที่กำหนดมีมากกว่าหนึ่งโมเดลที่มีการสูญเสียที่คาดว่าจะเป็นขั้นต่ำสำหรับทุกรุ่นและถ้าเป็นเช่นนั้นนั่นหมายความว่าอาจมีอคติและความแปรปรวนต่างๆ การสูญเสียขั้นต่ำแบบเดียวกันที่คาดการณ์ไว้ของการฉายฉากมุมฉากคือผลิตภัณฑ์ภายในคือโดยพื้นฐานแล้วช่องว่างของฮิลแบร์ตเป็นไปตามการย่อยสลายนี้

สำหรับชุดข้อมูลโมเดลที่กำหนดมีมากกว่าหนึ่งโมเดลที่มีการสูญเสียที่คาดว่าจะต่ำกว่าทุกโมเดลและถ้าเป็นเช่นนั้นนั่นหมายความว่าอาจมีการผสมผสานระหว่างอคติและความแปรปรวนต่างกัน

คำถามนั้นไม่ชัดเจน: ถ้าอย่างน้อยที่สุดคุณจะหมายถึง มีหลายตัวอย่างของ แบบจำลองทางสถิติและการตัดสินใจที่เกี่ยวข้องกับคงขาดทุนที่คาดว่า (หรือความเสี่ยง) ยกตัวอย่าง MLE ของค่าเฉลี่ย

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

คุณจะคำนวณอคติได้อย่างไรถ้าคุณไม่รู้รูปแบบที่แท้จริง?

ในความหมายทั่วไปอคติคือระยะห่างระหว่างตัวแบบที่แท้จริงและตัวแบบที่ใกล้เคียงที่สุดในตระกูลการแจกแจงแบบสมมติ หากไม่ทราบโมเดลจริงจะสามารถตรวจสอบความเบี่ยงเบนได้โดย bootstrap

มีสถานการณ์ที่เหมาะสมหรือไม่ที่จะลดอคติหรือความแปรปรวนมากกว่าการสูญเสียที่คาดหวังไว้ (ผลรวมของความเอนเอียงและความแปรปรวนกำลังสอง)

เมื่อพิจารณาฟังก์ชันการสูญเสียอื่นเช่น กดเป็นศูนย์ทำให้การประเมินส่วนใหญ่เกี่ยวกับอคติในขณะที่กดไปยังอินฟินิตี้สลับ มุ่งเน้นไปที่ความแปรปรวน

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— ซีอาน
แหล่งที่มา

ระยะเสียงที่ OP อ้างถึงนั้นมาจากข้อเท็จจริงที่ว่าตัวประมาณไม่ได้เป็นพารามิเตอร์ แต่สำหรับฟังก์ชั่นในแบบจำลองโดยที่ (อิสระ) เสียงสันนิษฐานว่ามี ศูนย์ค่าเฉลี่ยและความแปรปรวน\การเพิ่มและลบก่อนแล้วจึงในมีใครมาถึงการสลายตัวดังกล่าว

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

— Miguel

นี่คือการสันนิษฐานเป็นอิสระจากซึ่งดูเหมือนจะไม่มีข้อสมมติฐานที่เป็นจริง

\hat{f}

$\hat f$

ϵ

$\epsilon$

— ซีอาน

อืมคุณถูกต้องแน่นอน แต่ฉันคิดว่าปัญหานี้เป็นสิ่งประดิษฐ์ที่มาจากความเลอะเทอะของฉัน ตรวจสอบหน้า 23 ของ ESLII ของ Hastie & Tibshirani

— Miguel

@Miguel: ในความเป็นจริงเราคิดให้เป็นอิสระจาก X ไม่{F} โดยส่วนตัวแล้วฉันพบว่า ESL (และอื่น ๆ อีกมากมาย) นั้นไม่ได้มาอย่างเข้มงวดทำให้เกิดความสับสน การได้มาของศาสตราจารย์ Mostafa ใน "การเรียนรู้จากข้อมูล" ควรเป็นสิ่งที่คุณกำลังมองหาหรือในโพสต์นี้: stats.stackexchange.com/questions/164378/…

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

— SiXUlm