จะเข้าใจได้อย่างไรว่า MLE of Variance นั้นลำเอียงในการแจกแจงแบบเกาส์เซียน?

ภาพประกอบของ PRML เกี่ยวกับการเกิดอคติในการใช้โอกาสสูงสุดในการพิจารณาความแปรปรวนของ Gaussian

ฉันกำลังอ่าน PRML และฉันไม่เข้าใจภาพ คุณกรุณาให้คำแนะนำเพื่อเข้าใจภาพและทำไมความแปรปรวนของ MLE ในการแจกแจงแบบเกาส์ถึงมีอคติ?

สูตร 1.55: สูตร 1.56

μ_{M L E} = \frac{1}{N} \sum_{n = 1}^{N} x_{n}

$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$

σ_{M L E}^{2} = \frac{1}{N} \sum_{n = 1}^{N} (x_{n} - μ_{M L E})^{2}

$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$

machine-learning self-study maximum-likelihood

— ningyuwhut
แหล่งที่มา

โปรดเพิ่มแท็กศึกษาด้วยตนเอง

— StatsStudent

เหตุใดกราฟแต่ละอันจุดข้อมูลสีน้ำเงินเพียงจุดเดียวจึงปรากฏแก่ฉัน btw ในขณะที่ฉันพยายามแก้ไข overflow ของตัวห้อยสองตัวในโพสต์นี้ระบบต้องการ "อย่างน้อย 6 ตัวอักษร" ... น่าอาย

— Zhanxiong

คุณต้องการเข้าใจอะไรจริง ๆ รูปภาพหรือทำไมการประมาณค่าความแปรปรวน MLE จึงมีอคติ อดีตนั้นสับสนมาก แต่ฉันสามารถอธิบายเรื่องหลังได้

— TrynnaDoStat

ใช่ฉันพบว่าในกราฟรุ่นใหม่แต่ละกราฟมีข้อมูลสีน้ำเงินสองไฟล์ PDF ของฉันเก่า

— ningyuwhut

@TrynnaDoStat ขออภัยสำหรับคำถามของฉันไม่ชัดเจน สิ่งที่ฉันอยากรู้คือเหตุใดการประมาณความแปรปรวนของ MLE จึงมีอคติ และสิ่งนี้แสดงในกราฟนี้ได้อย่างไร

— ningyuwhut

ปรีชา

อคติคือ "มาจาก" (ไม่ได้เลยระยะทางเทคนิค) ความจริงที่ว่าจะลำเอียงสำหรับ 2คำถามตามธรรมชาติคือ "เอาละอะไรคือสัญชาตญาณว่าทำไมมีอคติสำหรับ "? สัญชาตญาณคือว่าในค่าเฉลี่ยตัวอย่างที่ไม่ได้ยกกำลังสองบางครั้งเราพลาดค่าที่แท้จริงโดยการประมาณมากเกินไปและบางครั้งโดยการประมาณต่ำกว่า แต่หากไม่มีการยกกำลังสองแนวโน้มที่จะประเมินสูงกว่าและต่ำกว่าคาดการณ์จะยกเลิกกัน อย่างไรก็ตามเมื่อเรา squareแนวโน้มที่จะประเมินต่ำกว่า (พลาดค่าจริงของ $E[\bar{x}^2]$ $\mu^2$ $E[\bar{x}^2]$ $\mu^2$ $\mu$ $\bar{x}$ $\mu$ ด้วยจำนวนลบ) จะได้กำลังสองและทำให้เป็นบวก ดังนั้นจึงไม่ยกเลิกอีกต่อไปและมีแนวโน้มเล็กน้อยที่จะประเมินสูงเกินไป

ถ้าสัญชาตญาณอยู่เบื้องหลังว่าทำไมจะลำเอียงสำหรับคือยังไม่ชัดเจนพยายามที่จะเข้าใจสัญชาตญาณที่อยู่เบื้องหลังความไม่เท่าเทียมกันของเซ่น (คำอธิบายที่ใช้งานง่ายดีที่นี่ ) และนำมันไปใช้2] $x^2$ $\mu^2$ $E[x^2]$

ลองพิสูจน์ว่า MLE ของความแปรปรวนสำหรับตัวอย่าง iid นั้นมีความเอนเอียง จากนั้นเราจะวิเคราะห์ยืนยันสัญชาติญาณของเรา

พิสูจน์

Let 2 $\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

เราต้องการแสดง 2 $E[\hat{\sigma}^2] \neq \sigma^2$

E [{\hat{σ}}^{2}] = E [\frac{1}{N} \sum_{n = 1}^{N} (x_{n} - \bar{x})^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} (x_{n}^{2} - 2 x_{n} \bar{x} + {\bar{x}}^{2})] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}]

$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$

การใช้ความจริงที่ว่าและ , $\sum_{n = 1}^N x_n = N\bar{x}$ $\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

\frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2}] - E [{\bar{x}}^{2}] = \frac{1}{N} \sum_{n = 1}^{N} E [x_{n}^{2}] - E [{\bar{x}}^{2}] = E [x_{n}^{2}] - E [{\bar{x}}^{2}]

$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$

ด้วยขั้นตอนสุดท้ายต่อไปนี้เนื่องจากมีค่าเท่ากันข้ามเนื่องจากมาจากการแจกแจงแบบเดียวกัน $E[x_n^2]$ $n$

ตอนนี้จำความหมายของความแปรปรวนที่ระบุว่า 2 จากที่นี่เราได้รับดังต่อไปนี้ $\sigma^2_x = E[x^2] - E[x]^2$

E [x_{n}^{2}] - E [{\bar{x}}^{2}] = σ_{x}^{2} + E [x_{n}]^{2} - σ_{\bar{x}}^{2} - E [x_{n}]^{2} = σ_{x}^{2} - σ_{\bar{x}}^{2} = σ_{x}^{2} - V a r (\bar{x}) = σ_{x}^{2} - V a r (\frac{1}{N} \sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n})

$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$

แจ้งให้ทราบว่าเราได้ยืดเหมาะสมอย่างต่อเนื่องเมื่อถ่ายมันออกมาจาก() ให้ความสนใจเป็นพิเศษกับสิ่งนั้น! $\frac{1}{N}$ $Var()$

σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} N σ_{x}^{2} = σ_{x}^{2} - \frac{1}{N} σ_{x}^{2} = \frac{N - 1}{N} σ_{x}^{2}

$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$

ซึ่งเป็นของหลักสูตรไม่เท่ากับ 2 $\sigma_x^2$

ตรวจสอบวิเคราะห์สัญชาตญาณของเรา

เราสามารถยืนยันสัญชาตญาณได้โดยสมมติว่าเรารู้ค่าของและเสียบเข้ากับการพิสูจน์ข้างต้น เนื่องจากขณะนี้เรารู้ว่าเราไม่ได้มีความจำเป็นที่จะต้องประมาณการและทำให้เราไม่เคยมากกว่าที่ประเมินด้วย2] ลองมาดูกันว่า "ลบ" อคติใน 2 $\mu$ $\mu$ $\mu^2$ $E[\bar{x}^2]$ $\hat{\sigma}^2$

Let 2 $\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

จากหลักฐานดังกล่าวข้างต้นขอหยิบขึ้นมาจากเปลี่ยนกับมูลค่าที่แท้จริง\ $E[x_n^2] - E[\bar{x}^2]$ $\bar{x}$ $\mu$

E [x_{n}^{2}] - E [μ^{2}] = E [x_{n}^{2}] - μ^{2} = σ_{x}^{2} + E [x_{n}]^{2} - μ^{2} = σ_{x}^{2}

$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$

ซึ่งเป็นกลาง!

— TrynnaDoStat
แหล่งที่มา

+1 มันอาจคุ้มค่าที่จะกล่าวว่าการสาธิตของคุณไม่ต้องการให้มีการแจกแจงแบบเกาส์เซียน (อย่างไรก็ตามสำหรับการแจกแจงแบบอื่นความแปรปรวนตัวอย่างอาจไม่ใช่ MLE สำหรับพารามิเตอร์ความแปรปรวน)

X

$X$

— whuber

ขอบคุณสำหรับคำอธิบายของคุณ ฉันต้องการเวลาในการทำความเข้าใจนอกจากนี้ฉันพบข้อผิดพลาดบางอย่างในสมการคุณสามารถตรวจสอบได้หรือไม่ ขอบคุณ!

— ningyuwhut

@ whuber - ไม่แน่ใจว่าทำไมคุณถึงพูดว่า ".. การสาธิตไม่ต้องการให้มีการแจกแจงแบบเกาส์" เราจะไม่พูดเกี่ยวกับความแปรปรวนของ ML สำหรับการแจกแจงทุกครั้งพูดการแจกแจงทวินาม โดยปริยายเราสมมุติว่าการกระจาย X มีความแปรปรวนเป็นหนึ่งในพารามิเตอร์

X

$X$

— KGhatak