วิธีการตีความรูตหมายความว่าข้อผิดพลาดกำลังสอง (RMSE) กับค่าเบี่ยงเบนมาตรฐาน?

21

สมมติว่าฉันมีแบบจำลองที่ให้ค่าที่คาดการณ์กับฉัน ฉันคำนวณ RMSE ของค่าเหล่านั้น แล้วค่าเบี่ยงเบนมาตรฐานของค่าจริง

มันสมเหตุสมผลไหมที่จะเปรียบเทียบค่าทั้งสอง (ความแปรปรวน)? สิ่งที่ฉันคิดคือถ้า RMSE และส่วนเบี่ยงเบนมาตรฐานเหมือนกัน / เหมือนกันข้อผิดพลาด / ความแปรปรวนของโมเดลของฉันจะเหมือนกับสิ่งที่เกิดขึ้นจริง แต่ถ้ามันไม่สมเหตุสมผลที่จะเปรียบเทียบค่าเหล่านั้นดังนั้นข้อสรุปนี้อาจผิด หากความคิดของฉันเป็นจริงแสดงว่าแบบจำลองนั้นดีเท่าที่ควรเพราะมันไม่สามารถบอกได้ว่าอะไรทำให้เกิดความแปรปรวน? ฉันคิดว่าส่วนสุดท้ายอาจผิดหรืออย่างน้อยต้องการข้อมูลเพิ่มเติมเพื่อตอบ

standard-deviation standard-error rms

— jkim19
แหล่งที่มา

22

สมมติว่าการตอบสนองของเรามีและค่านิยมที่คาดการณ์ของเรามีy_n $y_1, \dots, y_n$ $\hat y_1, \dots, \hat y_n$

ตัวอย่างความแปรปรวน (ใช้แทนเพื่อความง่าย) คือในขณะที่ MSE คือ 2 ดังนั้นความแปรปรวนตัวอย่างให้จำนวนการตอบสนองที่แตกต่างกันโดยรอบในขณะที่ MSE ให้การตอบสนองที่แตกต่างกันไปตามการคาดการณ์ของเรา ถ้าเราคิดว่าค่าเฉลี่ยโดยรวมเป็นตัวทำนายที่ง่ายที่สุดที่เราเคยพิจารณาจากการเปรียบเทียบ MSE กับความแปรปรวนตัวอย่างของคำตอบที่เราสามารถเห็นได้ว่าเราได้อธิบายรูปแบบของเรามากน้อยเพียงใด นี่คือสิ่งที่ค่าทำในการถดถอยเชิงเส้น $n$ $n-1$ $\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$ $\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$ $\bar y$ $R^2$

พิจารณาภาพต่อไปนี้: ความแปรปรวนตัวอย่างของคือความแปรปรวนรอบเส้นแนวนอน ถ้าเราฉายข้อมูลทั้งหมดลงบนแกนเราจะเห็นสิ่งนี้ MSE คือระยะทางกำลังสองเฉลี่ยของเส้นถดถอยคือความแปรปรวนรอบ ๆ เส้นถดถอย (เช่น ) ดังนั้นความแปรปรวนที่วัดโดยความแปรปรวนตัวอย่างคือระยะห่างยกกำลังสองเฉลี่ยกับเส้นแนวนอนซึ่งเราเห็นได้มากกว่าระยะทางยกกำลังสองเฉลี่ยกับเส้นถดถอย $y_i$ $Y$ $\hat y_i$

— JLD
แหล่งที่มา

5

ในกรณีที่คุณกำลังพูดถึงข้อผิดพลาดกำลังสองเฉลี่ยของการทำนายนี่อาจเป็น: ขึ้นอยู่กับจำนวนพารามิเตอร์ที่ประมาณ( p ) สำหรับการคาดการณ์คือการสูญเสียระดับความเป็นอิสระ (DF)

\frac{\underset{ผม}{Σ} (Y_{ผม} - {\hat{Y}}_{ผม})^{2}}{n - พี},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p},$

ความแปรปรวนของกลุ่มตัวอย่างสามารถ: ที่เป็นเพียงการประมาณการของค่าเฉลี่ยของy_i

\frac{\underset{ผม}{Σ} (Y_{ผม} - \bar{Y})^{2}}{n - 1},

$\frac{\sum_i(y_i - \bar{y}) ^2}{n-1},$

\bar{y}

$\bar{y}$

y_{i}

$y_i$

ดังนั้นคุณสามารถพิจารณาสูตรหลัง (ความแปรปรวนตัวอย่าง) เป็นกรณีพิเศษของอดีต (MSE) โดยที่และการสูญเสียของ DF คือ 1 เนื่องจากการคำนวณค่าเฉลี่ยคือการประมาณ $\hat{y}_i = \bar{y}$ $\bar{y}$

หรือถ้าคุณไม่สนใจว่าจะคาดเดาได้มากแค่ไหนแต่ต้องการรับ ballpark MSE ในแบบจำลองของคุณคุณยังสามารถใช้สูตรต่อไปนี้เพื่อคาดการณ์ $\hat{y}_i$

\frac{\underset{ผม}{Σ} (Y_{ผม} - {\hat{Y}}_{ผม})^{2}}{n},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n},$

ซึ่งเป็นการคำนวณที่ง่ายที่สุด

— เสี่ยวเฟิงหลี่
แหล่งที่มา

ฉันไม่มีสิทธิ์แสดงความคิดเห็นในคำตอบของ @Chaconne แต่ฉันสงสัยว่าคำแถลงสุดท้ายของเขามีการพิมพ์ผิดที่เขาพูดว่า: "ดังนั้นความแปรปรวนที่วัดโดยความแปรปรวนตัวอย่างนั้นคือระยะเฉลี่ยยกกำลังสองกับเส้นนอน เห็นว่ามีนัยสำคัญน้อยกว่าระยะทางกำลังสองเฉลี่ยกับเส้น " แต่จากตัวเลขในคำตอบของเขาการคาดการณ์ค่า y กับเส้นนั้นค่อนข้างแม่นยำซึ่งหมายความว่า MSE มีขนาดเล็กอย่างน้อยก็ดีกว่า "การทำนาย" ด้วยค่าเฉลี่ย

— Xiao-Feng Li

3

ในกรณีที่ไม่มีข้อมูลที่ดีกว่าค่าเฉลี่ยของตัวแปรเป้าหมายสามารถพิจารณาได้ง่ายสำหรับค่าของตัวแปรเป้าหมายไม่ว่าจะพยายามสร้างแบบจำลองข้อมูลที่มีอยู่หรือพยายามทำนายค่าในอนาคต การประมาณค่าแบบง่ายของตัวแปรเป้าหมาย (นั่นคือค่าที่คาดการณ์ไว้ทั้งหมดเท่ากับค่าเฉลี่ยของตัวแปรเป้าหมาย) จะถูกปิดโดยข้อผิดพลาดบางอย่าง วิธีมาตรฐานในการวัดความคลาดเคลื่อนเฉลี่ยคือส่วนเบี่ยงเบนมาตรฐาน (SD) ,ตั้งแต่ SD มีคุณสมบัติที่ดีของการกระจายการกระจายตัวของรูประฆัง (Gaussian) ถ้าตัวแปรเป้าหมายมีการกระจายตามปกติ ดังนั้น SD สามารถพิจารณาจำนวนข้อผิดพลาดที่เกิดขึ้นตามธรรมชาติในการประมาณค่าของตัวแปรเป้าหมาย $\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$ สิ่งนี้ทำให้มันเป็นเกณฑ์มาตรฐานที่โมเดลใด ๆ ต้องพยายามเอาชนะ

มีหลายวิธีในการวัดความผิดพลาดของการประเมินรูปแบบ ; ในหมู่พวกเขาRoot Root Squared Error (RMSE)ที่คุณพูดถึงเป็นหนึ่งใน ที่นิยมมากที่สุด. เป็นแนวคิดที่ค่อนข้างคล้ายกับ SD: แทนที่จะวัดว่ามูลค่าที่แท้จริงมาจากค่าเฉลี่ยนั้นไกลแค่ไหนโดยใช้สูตรเดียวกันในการวัดว่ามูลค่าที่แท้จริงนั้นห่างไกลจากการคาดการณ์ของโมเดลสำหรับค่านั้น แบบจำลองที่ดีควรมีการคาดการณ์ที่ดีกว่าการประมาณการแบบไร้ค่าเฉลี่ยสำหรับการคาดการณ์ทั้งหมด ดังนั้นการวัดความแปรปรวน (RMSE) ควรลดการสุ่มที่ดีกว่า SD $\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

อาร์กิวเมนต์นี้ใช้กับการวัดความผิดพลาดอื่น ๆ ไม่ใช่เฉพาะกับ RMSE แต่ RMSE นั้นมีความน่าสนใจเป็นพิเศษสำหรับการเปรียบเทียบโดยตรงกับ SD เพราะสูตรทางคณิตศาสตร์ของพวกเขาคล้ายคลึงกัน

— Tripartio
แหล่งที่มา

นี่เป็นคำตอบที่ดีที่สุดเพราะจะอธิบายว่าการเปรียบเทียบอาจมีประโยชน์มากกว่าแค่อธิบายความแตกต่าง

— ฮันส์