ข้อผิดพลาดกำลังสองเฉลี่ยใช้เพื่อประเมินความเหนือกว่าของตัวประมาณหนึ่งตัวเทียบกับอีกตัวหนึ่งหรือไม่?

สมมติว่าเรามีสองประมาณและสำหรับพารามิเตอร์บางxในการพิจารณาว่าตัวประมาณใดที่ "ดีกว่า" เราจะดูที่ MSE (หมายถึงข้อผิดพลาดกำลังสอง) หรือไม่ กล่าวอีกนัยหนึ่งเรามองไปที่โดยที่คืออคติของตัวประมาณและคือความแปรปรวนของตัวประมาณ MSE ที่ดีกว่าใดจะเป็นตัวประมาณที่แย่กว่านั้น?α 2 x M S E = β 2 + σ 2 β σ $\alpha_1$$\alpha_2$$x$

$$MSE = \beta^2+ \sigma^2$$ $\beta$$\sigma^2$

หากคุณมีตัวประมาณสองตัวและไม่ว่าบอกคุณว่านั้น ตัวประมาณที่ดีกว่านั้นขึ้นอยู่กับนิยามของคำว่า "ดีที่สุด" ทั้งหมด ตัวอย่างเช่นหากคุณกำลังเปรียบเทียบตัวประมาณที่ไม่เอนเอียงและโดย "ดีกว่า" คุณหมายถึงมีความแปรปรวนต่ำกว่าใช่นั่นจะหมายความว่าดีกว่า เป็นเกณฑ์ที่ได้รับความนิยมเนื่องจากมีการเชื่อมต่อกับกำลังสองน้อยที่สุดและความน่าจะเป็นในการบันทึกแบบเกาส์ แต่เช่นเดียวกับเกณฑ์ทางสถิติหลาย ๆ ข้อควรระมัดระวังไม่ให้ใช้ θ 2MSE( θ 1)<MSE( θ 2) θ 1 θ 1MSEMS$\hat \theta_1$$\hat \theta_2$

$${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$$ $\hat \theta_1$$\hat \theta_1$$\rm MSE$$\rm MSE$ สุ่มสี่สุ่มห้าเป็นตัวชี้วัดคุณภาพตัวประมาณโดยไม่ต้องใส่ใจกับแอปพลิเคชัน

มีบางสถานการณ์ที่การเลือกตัวประมาณค่าเพื่อลดค่าอาจไม่เหมาะสมอย่างยิ่งที่ต้องทำ สองสถานการณ์ที่นึกถึง:${\rm MSE}$

• หากมีค่าผิดปกติจำนวนมากในชุดข้อมูลจะมีผลกระทบต่อ MSE อย่างมากดังนั้นตัวประมาณที่ลด MSE จะได้รับผลกระทบจากค่าผิดปกติดังกล่าว ในสถานการณ์เช่นนี้ความจริงที่ว่าตัวประมาณจะย่อขนาด MSE ไม่ได้บอกอะไรคุณมากนักหากคุณลบค่าผิดปกติคุณจะได้ค่าประมาณต่างกัน ในแง่นี้ MSE นั้นไม่ "แข็งแกร่ง" สำหรับค่าผิดปกติ ในบริบทของการถดถอยความจริงข้อนี้เป็นสิ่งที่กระตุ้นให้ Huber M-Estimator (ที่ฉันพูดถึงในคำตอบนี้) ซึ่งลดฟังก์ชั่นเกณฑ์ที่แตกต่างกัน (นั่นคือส่วนผสมระหว่างข้อผิดพลาดกำลังสองและข้อผิดพลาดสัมบูรณ์) .

• หากคุณกำลังประเมินพารามิเตอร์ที่มีขอบเขตการเปรียบเทียบอาจไม่เหมาะสมเนื่องจากจะมีการลงโทษมากกว่าและการเข้าใจที่แตกต่างกันในกรณีนั้น ตัวอย่างเช่นสมมติว่าคุณกำลังประเมินความแปรปรวนσ 2 แล้วถ้าคุณมีสติประมาทปริมาณของคุณเอ็มเอสอีได้มากที่สุดσ 4ในขณะที่การประเมินค่าสูงสามารถผลิตM S Eที่ไกลเกินกว่าσ 4บางทีอาจจะตามจำนวนเงินที่มากมาย$\rm MSE$$\sigma^2$$\rm MSE$$\sigma^4$$\rm MSE$$\sigma^4$

เพื่อให้ข้อเสียเปรียบเหล่านี้ชัดเจนยิ่งขึ้นฉันจะยกตัวอย่างที่ชัดเจนว่าเมื่อใดเนื่องจากปัญหาเหล่านี้อาจไม่สามารถวัดคุณภาพการประมาณค่าที่เหมาะสมได้$\rm MSE$

สมมติว่าคุณมีตัวอย่างจากเสื้อกับการกระจายν > 2องศาอิสระและเรากำลังพยายามที่จะประเมินความแปรปรวนซึ่งเป็นν / ( ν - 2 ) พิจารณาสองประมาณแข่งขัน: θ 1 : ทีเอชอียูn ขฉันs อีd s มพีลิตรอีวีR $X_1, ..., X_n$$t$$\nu>2$$\nu/(\nu-2)$และ θ 2 = 0 , R อีกรัมR d ลิตรอีs s o ฉทีเอชอีd เสื้อชัดเจน M S E ( θ 2 ) = ν

$$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$$ $$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$$ และมันก็เป็นความจริงที่ว่าเอ็มเอสอี( θ 1)={ ∞ ถ้า  ν ≤ 4 ν $\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$ซึ่งสามารถนำมาใช้จริงที่กล่าวถึงในหัวข้อนี้และคุณสมบัติของเสื้อ-distribution ดังนั้นตัวประมาณที่ไร้เดียงสาจึงมีประสิทธิภาพสูงกว่าในแง่ของMSEโดยไม่คำนึงถึงขนาดตัวอย่างเมื่อใดก็ตามที่ν<4ซึ่งค่อนข้างน่าอึดอัดใจ นอกจากนี้ยังมีประสิทธิภาพสูงกว่าเมื่อ( $${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$$ $t$$\rm MSE$$\nu < 4$แต่นี่จะเกี่ยวข้องกับตัวอย่างขนาดเล็กมากเท่านั้น ดังกล่าวข้างต้นที่เกิดขึ้นเพราะธรรมชาตินกยาวของเสื้อกับการกระจายองศาขนาดเล็กของเสรีภาพซึ่งทำให้ θ 2มีแนวโน้มที่จะเป็นค่าที่มีขนาดใหญ่มากและMSEลงโทษอย่างหนักสำหรับการประเมินค่าสูงในขณะที่ θ 1ไม่ได้มีปัญหานี้$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$$t$$\hat \theta_{2}$$\rm MSE$$\hat \theta_1$

$\rm MSE$$\rm MSE$$\hat \theta$

$$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$$

$S(\hat \theta_1)=\infty$

$L(\alpha_i) = (\alpha_i - \alpha)^2$

$f(x) = x^2$

$f(x) = |x|$

MSE น่าจะเป็นทางเลือกที่ดีถ้ามีการแจกแจงข้อผิดพลาดตามปกติ หากพวกมันมีหางที่อ้วนขึ้นตัวเลือกที่แข็งแกร่งกว่าเช่นค่าสัมบูรณ์จะดีกว่า

ในการอนุมานเชิงสถิติของ Case & Berger รุ่นที่ 2 หน้า 332 ระบุว่า MSE ลงโทษอย่างเท่าเทียมกันสำหรับการประเมินค่าสูงและประเมินค่าต่ำไป ในกรณีของสเกลอย่างไรก็ตาม 0 เป็นขอบเขตล่างตามธรรมชาติดังนั้นปัญหาการประมาณค่าจึงไม่สมมาตร การใช้ MSE ในกรณีนี้มีแนวโน้มที่จะให้อภัยการประเมินค่าต่ำไป

คุณอาจต้องการตรวจสอบตัวประมาณค่าที่เป็นไปตามคุณสมบัติของ UMVUE ซึ่งหมายถึงการใช้ขอบเขต Cramer-Rao Lower หน้า 341