การสลาย MSE ไปเป็น Variance และ Bias Squared

ในการแสดงให้เห็นว่า MSE สามารถถูกจำแนกออกเป็นความแปรปรวนบวกกับสแควร์ออฟไบแอสการพิสูจน์ในวิกิพีเดียมีขั้นตอนหนึ่งที่เน้นในภาพ มันทำงานอย่างไร ความคาดหวังผลักเข้าไปในผลิตภัณฑ์จากขั้นตอนที่ 3 ถึงขั้นตอนที่ 4 อย่างไร หากทั้งสองคำมีความเป็นอิสระการคาดการณ์จะไม่ถูกนำไปใช้กับทั้งสองคำ และถ้าไม่มีขั้นตอนนี้จะใช้ได้หรือไม่ ป้อนคำอธิบายรูปภาพที่นี่

random-variable expected-value mse

— statBeginner
แหล่งที่มา

คำตอบ:

เคล็ดลับคือว่า $\mathbb{E}(\hat{\theta}) - \theta$ เป็นค่าคงที่

— Adamo
แหล่งที่มา

อ้อเข้าใจแล้ว. สิ่งเดียวที่ไม่ทราบที่นี่คือตัวประมาณ ขวา?

— statBeginner

ใช่. การคาดหวังว่าวิธีการประมาณการไปกับสิ่งที่มันประมาณว่าเป็นสิ่งที่ทำให้

ไปที่ 0

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— Adamo

ขออภัยประโยคนั้นไม่สมเหตุสมผลสำหรับฉัน หากตัวประมาณไปสิ่งใดก็ตามที่ประมาณมันจะไม่ทำให้เกิดความเอนเอียงหรือไม่ มันสามารถอธิบายได้ด้วยการพูดว่า

= 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 คำศัพท์ที่อยู่ตรงกลางเป็นค่าคงที่คูณด้วยค่าที่คาดหวัง 0 ถึงแม้ว่า theta-hat จะมีอคติ แต่ก็ยังคงเป็นค่าคงที่ 0

— AdamO

เป็นตัวแปรและไม่คงที่ นอกจากนี้ยังมีเคล็ดลับคือน้อยกว่าเล็กน้อยและ

กับ

คงไม่ได้กลายเป็น 0 เป็นค่าเริ่มต้น (เช่น

) เคล็ดลับที่แท้จริงอยู่ที่ข้อเท็จจริงที่ว่า

คือค่าคงที่ (และสามารถนำออกมาจากอินทิกรัล) ดังนั้น

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

คำตอบของอาดัมถูกต้องเกี่ยวกับเคล็ดลับที่เป็นค่าคงที่ อย่างไรก็ตามมันช่วยในการค้นหาผลลัพธ์สุดท้ายและไม่อธิบายคำถามเกี่ยวกับขั้นตอนเฉพาะในบทความวิกิพีเดีย (แก้ไข: ที่ฉันเห็นตอนนี้คลุมเครือเกี่ยวกับไฮไลท์และขั้นตอนจากบรรทัดที่สามถึงสี่) $E(\hat{\theta}) - \theta$

$\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

เคล็ดลับที่ 1:พิจารณา

$x=\hat{\theta}$

$a=\mathbb{E}\left[ \hat{\theta} \right]$

$b = \theta$

$x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

เคล็ดลับที่ 2:สำหรับช่วงเวลาที่สองสูตรข้างต้นมีสามคำในการรวม เราสามารถกำจัดหนึ่งในนั้นได้ (ในกรณีที่ ) เพราะ $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

ที่นี่เราสามารถโต้แย้งด้วยบางสิ่งบางอย่างที่คงที่ คือหากเป็นค่าคงที่และใช้ซึ่งเป็นค่าคงที่คุณจะได้รับtheta) $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

โดยสังหรณ์ใจมากขึ้น: เราสร้างช่วงเวลาของประมาณ , เท่ากับช่วงเวลากลาง (และช่วงเวลาแปลก ๆ กลางเป็นศูนย์) เราได้รับการพูดซ้ำซาก โดยการแทนที่ค่าเฉลี่ยจากตัวแปรเราสร้างตัวแปรที่มีค่าเฉลี่ยเป็นศูนย์ และค่าเฉลี่ยของ 'ตัวแปรที่มีค่าเฉลี่ยศูนย์' คือศูนย์ $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

บทความวิกิพีเดียใช้เทคนิคทั้งสองนี้ตามลำดับบรรทัดที่สามและสี่

ความคาดหวังซ้อนในบรรทัดที่สาม

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

ทำได้ง่ายขึ้นโดยเอาส่วนที่คงที่นอก (เคล็ดลับ 1) $(\mathbb{E}({\hat{\theta}})-\theta)$
คำว่าแก้ไข (เท่ากับศูนย์) โดยใช้ความจริงที่ว่าตัวแปรมีค่าเฉลี่ยเป็นศูนย์ (เคล็ดลับ 2) $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sextus Empiricus
แหล่งที่มา

$E(\hat{\theta}) - \theta$ ไม่คงที่

ความคิดเห็นของ @ user1158559 เป็นจริงที่ถูกต้อง:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— little_monster
แหล่งที่มา

ฉันไม่เห็นสิ่งที่คุณพยายามแสดง อคติอาจไม่เป็นศูนย์เช่นกัน แต่นั่นไม่ได้หมายความว่ามันไม่คงที่

— Michael R. Chernick

มันไม่คงที่เพราะโดยที่เป็นข้อมูลการฝึกอบรมที่กำหนดซึ่งเป็นตัวแปรสุ่ม ดังนั้นความคาดหวังของมันจึงไม่คงที่

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster

นอกจากนี้ข้อเท็จจริงที่ว่ามันไม่คงที่หรือไม่สามารถอธิบายได้ว่าขั้นตอนที่ 4 เป็นไปได้จากขั้นตอนที่ 3 ในทางกลับกันความคิดเห็นของ @ user1158559 อธิบายว่า

— little_monster

@Michael มีความสับสนเกี่ยวกับคำถาม ส่วนที่ไฮไลต์มีนิพจน์นี้แต่ในข้อความของคำถามมันถูกกล่าวถึงว่ามันแทน เกี่ยวกับการเปลี่ยนจากบรรทัดที่สามเป็นบรรทัดที่สี่เปลี่ยนการวางซ้อนของความคาดหวัง

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sextus Empiricus