Mean Squared Error และผลรวมที่เหลือของกำลังสอง

31

ดูคำจำกัดความวิกิพีเดียของ:

ดูเหมือนว่าฉันจะ

MSE = \frac{1}{ยังไม่มีข้อความ} RSS = \frac{1}{ยังไม่มีข้อความ} Σ (ฉ_{ผม} - Y_{ผม})^{2}

$\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2$

โดยที่คือจำนวนตัวอย่างและคือการประมาณของเรา $N$ $f_i$ $y_i$

อย่างไรก็ตามบทความวิกิพีเดียไม่ได้พูดถึงความสัมพันธ์นี้ ทำไม? ฉันพลาดอะไรไปรึเปล่า?

residuals mse

— หยอกเย้า
แหล่งที่มา

6

ฉันรู้ว่าสิ่งนี้ดูเหมือนจะไม่ช่วยเหลือและเป็นศัตรู แต่พวกเขาไม่พูดถึงเพราะเห็นได้ชัด นอกจากนี้คุณต้องการระวังเล็กน้อยที่นี่ โดยปกติแล้วเมื่อคุณพบ MSE ในงานเชิงประจักษ์จริง ๆ มันไม่ใช่หารด้วยแต่หารด้วยโดยที่คือตัวเลข (รวมถึงการสกัดกั้น) ของตัวแปรทางด้านขวาในรูปแบบการถดถอยบางแบบ

R S S

$RSS$

N

$N$

R S S

$RSS$

N - K

$N-K$

K

$K$

— Bill

10

@Bill: เป็นความสัมพันธ์ที่นำไปสู่บทความที่เชื่อมโยงกับ Wikipedia ประเด็นของคุณเกี่ยวกับระดับของเสรีภาพยังแสดงให้เห็นว่าไม่ชัดเจนและเป็นสิ่งที่ควรค่าแก่การพูดถึง

— bluenote10

2

@ บิล: เห็นด้วย แต่ความชัดเจนเป็นเรื่องส่วนตัวมาก สถิติ / การเรียนรู้พื้นที่สีเทานั้นเกลื่อนไปด้วยสัญกรณ์นรกและดังนั้นจึงเป็นการดีที่จะมีความชัดเจน

— rnoodle

30

จริงๆแล้วมันถูกกล่าวถึงในส่วนการถดถอยของข้อผิดพลาดกำลังสองเฉลี่ยใน Wikipedia:

ในการวิเคราะห์การถดถอยคำผิดพลาดกำลังสองหมายถึงบางครั้งใช้เพื่ออ้างถึงการประมาณค่าความแปรปรวนข้อผิดพลาดที่ไม่เอนเอียง: ผลรวมที่เหลือของกำลังสองหารด้วยจำนวนองศาอิสระ

คุณสามารถหาข้อมูลได้ที่นี่: ข้อผิดพลาดและส่วนที่เหลือในสถิติ มันบอกว่าการแสดงออกหมายถึงข้อผิดพลาดกำลังสองอาจมีความหมายที่แตกต่างกันในกรณีที่แตกต่างกันซึ่งบางครั้งก็ยุ่งยาก

— whenov
แหล่งที่มา

4

แต่โปรดระวังว่า Sum of Squared Erros (SSE) และ Residue Sum of Squares (RSS) บางครั้งใช้แลกเปลี่ยนกันอย่างสับสนทำให้ผู้อ่านสับสน ตัวอย่างเช่นตรวจสอบ URL นี้: https://365datascience.com/sum-squares/สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการถดถอยเชิงเส้น

การพูดอย่างเคร่งครัดจากมุมมองทางสถิติข้อผิดพลาดและสารตกค้างเป็นแนวคิดที่แตกต่างอย่างสิ้นเชิง ข้อผิดพลาดส่วนใหญ่อ้างถึงความแตกต่างระหว่างค่าตัวอย่างที่สังเกตได้จริงกับค่าที่คาดการณ์ของคุณและส่วนใหญ่ใช้ในสถิติเชิงสถิติเช่น Root Means Squared Errors (RMSE) และ Mean Absollute Errors (MAE) ในทางตรงกันข้ามสิ่งตกค้างอ้างถึงความแตกต่างระหว่างตัวแปรตามและการประมาณค่าจากการถดถอยเชิงเส้น

— Dr.CYY
แหล่งที่มา

0

ฉันไม่คิดว่านี่ถูกต้องที่นี่ถ้าเราคิดว่า MSE เป็น sqaure ของ RMSE ตัวอย่างเช่นคุณมีชุดของข้อมูลตัวอย่างเกี่ยวกับการคาดการณ์และการสังเกตการณ์ตอนนี้คุณพยายามทำการตรวจสอบซ้ำเชิงเส้น: Observation (O) = a + b X Prediction (P) ในกรณีนี้ MSE คือผลรวมของความแตกต่างกำลังสองระหว่าง O และ P และหารด้วยขนาดตัวอย่าง N

แต่ถ้าคุณต้องการวัดประสิทธิภาพของการถดถอยเชิงเส้นคุณต้องคำนวณ Mean Squared Residue (MSR) ในกรณีเดียวกันก็จะมีการคำนวณแรกที่เหลือรวมของสแควร์ (RSS) ที่สอดคล้องกับผลรวมของความแตกต่างระหว่างค่า Squared สังเกตที่เกิดขึ้นจริงและข้อสังเกตที่ได้มาจากการคาดการณ์เชิงเส้น regression.Then ก็จะปฏิบัติตามเพื่อ RSS หารด้วยN-2เพื่อ รับ MSR

ใส่เพียงในตัวอย่าง MSE ไม่สามารถประมาณได้โดยใช้ RSS / N เนื่องจากองค์ประกอบ RSS ไม่เหมือนกันสำหรับส่วนประกอบที่ใช้ในการคำนวณ MSE

— Dr.CYY
แหล่งที่มา

1

ฉันไม่เข้าใจคำตอบนี้

— Michael R. Chernick

ดูตามตัวอย่างที่กล่าวถึงของการทำนายตัวอย่างและค่าข้อมูลที่สังเกตได้การถดถอยเชิงเส้นถูกสร้างขึ้น: การสังเกต (O) = a + b X การทำนาย (P) (a, b เป็นจุดตัดและความชันตามลำดับ) ในกรณีนี้ MSE = Σ (OP) ^ 2 / n โดยที่Σ (OP) ^ 2 คือผลรวมของ Squared Erros (SSE) และ n คือขนาดตัวอย่าง อย่างไรก็ตาม Mean Squared Residues (MSR) = Σ (OO´) ^ 2 / n-2 โดยที่Σ (OO´) ^ 2 เท่ากับผลรวมตกค้างของ Squares (RSS) และ O` = a + b X P. MSR และ RSS ส่วนใหญ่จะใช้สำหรับการทดสอบความสำคัญโดยรวมของการถดถอยเชิงเส้น โปรดทราบด้วย SSE = ข้อผิดพลาดอย่างเป็นระบบ (SE) + RSS โดยที่ SE = Σ (PO´) ^ 2

— Dr.CYY