ช่วงความเชื่อมั่นของ RMSE

ฉันได้รับตัวอย่างของจุดข้อมูลจากประชากร แต่ละจุดเหล่านี้มีค่าจริง (รู้จักจากความจริงพื้นดิน) และค่าประมาณ ฉันคำนวณข้อผิดพลาดสำหรับแต่ละจุดที่สุ่มตัวอย่างแล้วคำนวณ RMSE ของตัวอย่าง $n$

จากนั้นฉันจะอนุมานช่วงความเชื่อมั่นบางประเภทรอบ RMSE นี้ตามขนาดตัวอย่างอย่างไร $n$

ถ้าฉันใช้ค่าเฉลี่ยมากกว่า RMSE ฉันก็จะไม่มีปัญหาในการทำเช่นนี้เพราะฉันสามารถใช้สมการมาตรฐาน

$m = \frac{Z \sigma}{\sqrt{n}}$

แต่ฉันไม่รู้ว่าสิ่งนี้ใช้ได้สำหรับ RMSE มากกว่าค่าเฉลี่ยหรือไม่ มีวิธีใดบ้างที่ฉันสามารถปรับเปลี่ยนสิ่งนี้ได้

(ฉันได้เห็นคำถามนี้แต่ฉันไม่ได้มีปัญหาว่าประชากรของฉันมีการกระจายตามปกติหรือไม่ซึ่งเป็นคำตอบที่เกี่ยวข้องกับ)

confidence-interval

— robintw
แหล่งที่มา

คุณคำนวณอะไรเป็นพิเศษเมื่อคุณ "คำนวณค่า RMSE ของกลุ่มตัวอย่าง" มันคือ RMSE ของค่าจริงของค่าโดยประมาณหรือความแตกต่างของพวกเขา?

— whuber

ฉันกำลังคำนวณ RMSE ของความแตกต่างนั่นคือการคำนวณสแควร์รูทของค่าเฉลี่ยของความแตกต่างกำลังสองระหว่างค่าจริงและค่าประมาณ

— robintw

หากคุณรู้ว่า 'ความจริงพื้นฐาน' (แม้ว่าฉันไม่แน่ใจว่าสิ่งที่จริงหมายถึง) ทำไมคุณจะต้องมีความไม่แน่นอนใน RMSE? คุณกำลังพยายามสร้างการอนุมานบางอย่างเกี่ยวกับกรณีที่คุณไม่มีความจริงพื้นฐานหรือไม่? นี่เป็นปัญหาการสอบเทียบหรือไม่

— Glen_b -Reinstate Monica

@Glen_b: ใช่นั่นคือสิ่งที่เรากำลังพยายามทำ เราไม่มีความจริงพื้นฐานสำหรับประชากรทั้งหมดเพียงเพื่อตัวอย่าง จากนั้นเราจะคำนวณ RMSE สำหรับตัวอย่างและเราต้องการให้มีช่วงความมั่นใจเมื่อเราใช้ตัวอย่างนี้เพื่ออนุมาน RMSE ของประชากร

— robintw

สำเนาซ้ำซ้อนที่เป็นไปได้ของSE ของ RMSE ใน R

— Curious

คำตอบ:

ด้วยเหตุผลที่คล้ายกันที่นี่ฉันอาจให้คำตอบสำหรับคำถามของคุณภายใต้เงื่อนไขบางประการ

ให้เป็นค่าจริงของคุณสำหรับจุดข้อมูลและค่าโดยประมาณ หากเราสมมติว่าความแตกต่างระหว่างค่าโดยประมาณและค่าจริงมี $x_{i}$ $i^{th}$ $\hat{x}_{i}$

หมายถึงศูนย์ (เช่นมีการกระจายรอบ ) $\hat{x}_{i}$ $x_{i}$
ติดตามการแจกแจงแบบปกติ
และทุกคนมีค่าเบี่ยงเบนมาตรฐานเดียวกัน $\sigma$

ในระยะสั้น:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

แล้วคุณต้องการช่วงความเชื่อมั่นจริงๆ\ $\sigma$

หากสมมติฐานข้างต้นถือเป็นจริง ติดตาม aการกระจายที่มี (ไม่ใช่ ) องศาของ เสรีภาพ ซึ่งหมายความว่า

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

ดังนั้น เป็นช่วงความมั่นใจของคุณ

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

นี่คือโปรแกรมไพ ธ อนที่จำลองสถานการณ์ของคุณ

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

หวังว่าจะช่วย

หากคุณไม่แน่ใจว่าสมมติฐานที่ใช้หรือถ้าคุณต้องการที่จะเปรียบเทียบสิ่งที่ผมเขียนถึงวิธีการที่แตกต่างกันคุณก็สามารถลองร่วมมือ

— fabee
แหล่งที่มา

ผมคิดว่าคุณผิด - เขาต้องการ CI สำหรับ RMSE ไม่\และฉันก็ต้องการเช่นกัน :)

σ

$\sigma$

— อยากรู้อยากเห็น

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

$i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

$\epsilon_i$

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

$\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

$\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— CVR
แหล่งที่มา

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— fabee

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
แหล่งที่มา