ตัวประมาณโอกาสสูงสุดที่ไม่เอนเอียงเป็นตัวประมาณค่าแบบเป็นกลางที่ดีที่สุดเสมอหรือไม่

22

ฉันรู้ปัญหาที่เกิดขึ้นเป็นประจำหากเรามีตัวประมาณค่าแบบไม่เอนเอียงที่ดีที่สุดมันต้องเป็นตัวประมาณความเป็นไปได้สูงสุด (MLE) แต่โดยทั่วไปถ้าเรามี MLE ที่ไม่เอนเอียงมันจะเป็นตัวประมาณที่ดีที่สุด (หรือบางทีฉันควรเรียกมันว่า UMVUE ตราบใดที่มันมีความแปรปรวนน้อยที่สุด)

mathematical-statistics maximum-likelihood unbiased-estimator

— แกรี่เฉิง
แหล่งที่มา

3

คำถามที่น่าสนใจ MLE เป็นฟังก์ชั่นของสถิติที่เพียงพอและสามารถรับ UMVUE ได้โดยการปรับเงื่อนไขในสถิติที่สมบูรณ์และเพียงพอ ดังนั้นถ้า MLE ไม่เอนเอียง (และฟังก์ชันของสถิติที่เพียงพอ) วิธีเดียวที่เป็นไปได้ที่จะไม่มีความแปรปรวนขั้นต่ำคือถ้าสถิติที่เพียงพอไม่สมบูรณ์ ฉันพยายามหาตัวอย่าง แต่ไม่ประสบความสำเร็จ

— Greenparker

2

และนี่คือข้อมูลสั้น ๆ เกี่ยวกับสถิติที่เพียงพอและครบถ้วน

— Richard Hardy

10

ปัญหาที่แท้จริงคือ MLE นั้นไม่ค่อยเอนเอียง: ถ้าเป็นตัวประมาณค่าของและ MLE ของ ,คือ MLE ของแต่มีอคติมากที่สุด แปลง bijective ฉ

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— ซีอาน

1

สิ่งนี้เกี่ยวข้องหรือไม่ "การประมาณค่าเฉลี่ยของประชากรโดยเฉลี่ย" Vyas Dubey Pt.Ravishankar Shukla University, Raipur, อินเดีย

2

+1 สำหรับความคิดเห็นของซีอาน ตัวประมาณที่ดีที่สุดหมายถึงความแปรปรวนน้อยที่สุดซึ่งไม่เอนเอียงหมายถึงสิ่งอื่น ดังนั้นฉันไม่แน่ใจว่าคุณสามารถลองพิสูจน์ได้เพราะคนอื่นมีส่วนเกี่ยวข้องกับคนอื่นน้อย แต่ก่อนที่ฉันจะเริ่มต้นกำเนิดของฉันเองฉันต้องการเห็นความพยายามอย่างจริงจังในการพิสูจน์ (ลอง) ฉันจะบอกว่าแม้หลักฐานของข้อความแรก (MLE นั้นดีที่สุดสำหรับบางกรณี) ก็ไม่สำคัญ

— เครูบ

13

ในความคิดของฉันคำถามไม่สอดคล้องกันอย่างแท้จริงในการเพิ่มความเป็นไปได้และความเอนเอียงไม่ให้เข้ากันถ้าเพียงเพราะตัวประมาณความเป็นไปได้สูงสุดนั้นมีความเสมอภาคนั่นคือการเปลี่ยนแปลงของตัวประมาณค่าเป็นตัวประมาณของการเปลี่ยนพารามิเตอร์ ความเป็นกลางไม่ได้อยู่ภายใต้การแปลงที่ไม่ใช่เชิงเส้น ดังนั้นตัวประมาณความน่าจะเป็นสูงสุดนั้นแทบจะไม่มีความเป็นกลางเลยถ้า "เกือบ" จะถูกพิจารณาในช่วงของการถ่ายโอนภาพที่เป็นไปได้ทั้งหมด

อย่างไรก็ตามมีคำตอบที่ตรงกว่าสำหรับคำถาม: เมื่อพิจารณาการประมาณค่าความแปรปรวนปกติ , UMVUE ของคือ ขณะที่ MLE ของคือ Ergo พวกเขาแตกต่างกัน นี่ก็หมายความว่า $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

หากเรามีตัวประมาณค่าที่เป็นกลางที่สุดจะต้องเป็นตัวประมาณความเป็นไปได้สูงสุด (MLE)

ไม่ถือโดยทั่วไป

โปรดทราบเพิ่มเติมว่าแม้เมื่อมีตัวประมาณค่าที่ไม่เอนเอียงของพารามิเตอร์ก็ไม่จำเป็นต้องเป็นตัวประมาณค่าความแปรปรวนขั้นต่ำที่ไม่เอนเอียงที่ดีที่สุด (UNMVUE) $\theta$

— ซีอาน
แหล่งที่มา

เราสามารถพูดได้ไหมว่า MLE ที่ไม่เอนเอียงมันเป็น (U) MVUE แต่ไม่ใช่ทุกคน (U) MVUE คือ MLE หรือไม่

— Sextus Empiricus

2

ไม่เราไม่มีเหตุผลที่จะเชื่อว่าเรื่องนี้เป็นเรื่องจริงโดยทั่วไป

— ซีอาน

13

แต่โดยทั่วไปถ้าเรามี MLE ที่ไม่เอนเอียงมันจะเป็นตัวประมาณที่ดีที่สุดหรือไม่?

หากมีสถิติเพียงพอสมบูรณ์ใช่

พิสูจน์:

ทฤษฎีบท Lehmann – Scheffé : ตัวประมาณค่าใด ๆ ที่เป็นกลางซึ่งเป็นฟังก์ชันของสถิติที่เพียงพอที่สมบูรณ์คือสิ่งที่ดีที่สุด (UMVUE)
MLE เป็นฟังก์ชันของสถิติที่เพียงพอ ดู 4.2.3 นี่ ;

ดังนั้น MLE ที่เป็นกลางจึงเป็นสิ่งที่ดีที่สุดตราบใดที่มีสถิติเพียงพอ

แต่จริงๆแล้วผลลัพธ์นี้แทบไม่มีกรณีของแอปพลิเคชันเนื่องจากสถิติที่สมบูรณ์เพียงพอเกือบจะไม่เคยมีอยู่ มันเป็นเพราะสถิติที่สมบูรณ์เพียงพอมีอยู่ (เป็นหลัก) เฉพาะสำหรับครอบครัวชี้แจงที่ MLE มักจะลำเอียง (ยกเว้นพารามิเตอร์สถานที่ตั้งของ Gaussians)

ดังนั้นคำตอบที่แท้จริงเป็นจริงไม่มี

สามารถให้ตัวอย่างการนับทั่วไป: ตระกูลตำแหน่งที่ตั้งใด ๆ ที่มีความเป็นไปได้ ) ด้วยสมมาตรรอบ 0 ( $p_\theta(x)=p(x-\theta$ $p$ ) ด้วยขนาดตัวอย่างการถือต่อไปนี้: $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE นั้นไม่เอนเอียง
มันถูกครอบงำโดยตัวประมาณอื่น ๆ ที่เป็นกลางรู้ว่าเป็นตัวประมาณของพิตแมน

บ่อยครั้งที่การปกครองนั้นเข้มงวดดังนั้น MLE จึงไม่สามารถยอมรับได้ มันพิสูจน์แล้วว่าเมื่อคือ Cauchy แต่ฉันคิดว่ามันเป็นความจริงทั่วไป ดังนั้น MLE ไม่สามารถเป็น UMVU ได้ ที่จริงแล้วสำหรับครอบครัวเหล่านี้เป็นที่ทราบกันดีว่าด้วยเงื่อนไขที่ไม่รุนแรงไม่มี UMVUE ตัวอย่างนี้ถูกศึกษาในคำถามนี้พร้อมการอ้างอิงและหลักฐานอันเล็กน้อย $p$

— เบอนัวต์ซานเชซ
แหล่งที่มา

ทำไมถึงไม่มีคะแนนสูงสุด ฉันรู้สึกว่าคำตอบนี้ดีกว่าของซีอาน

— Red Floyd

0

ความแปรปรวนเชิงอนุพันธ์ของ MLE คือ UMVUE นั่นคือบรรลุถึงขอบเขต cramer rao ที่ต่ำกว่า แต่ความแปรปรวนอัน จำกัด อาจไม่ใช่ UMVUE เพื่อให้แน่ใจว่าตัวประมาณเป็น UMVUE มันควรจะเพียงพอและสมบูรณ์สถิติหรือฟังก์ชันใด ๆ ของสถิตินั้น

— Serse Simsek
แหล่งที่มา

0

กล่าวโดยสรุปตัวประมาณคือ UMVUE ถ้ามันไม่เอนเอียงและฟังก์ชันของสถิติที่สมบูรณ์และเพียงพอ (ดู Rao-Blackwell และ Scheffe)

— creutzml
แหล่งที่มา

ซึ่งหมายความว่าสิ่งนี้ จำกัด เฉพาะตระกูลเอ็กซ์โปเนนเชียล

— ซีอาน