เหตุใดจึงใช้การวัดข้อผิดพลาดการคาดการณ์บางอย่าง (เช่น MAD) เมื่อเทียบกับข้อผิดพลาดอื่น (เช่น MSE)

MAD = Mean เบี่ยงเบนจากค่าสัมบูรณ์สัมบูรณ์ MSE = Mean Squared Error

ฉันเคยเห็นคำแนะนำจากสถานที่ต่าง ๆ ที่ใช้ MSE แม้จะมีคุณสมบัติที่ไม่พึงประสงค์บางอย่าง (เช่นhttp://www.stat.nus.edu.sg/~staxyc/T12.pdfซึ่งกล่าวถึง p8 "เป็นที่เชื่อกันโดยทั่วไปว่า MAD เป็นเกณฑ์ที่ดีกว่า MSE อย่างไรก็ตาม MSE ทางคณิตศาสตร์สะดวกกว่า MAD ")

มีอะไรมากกว่านั้นอีกไหม? มีกระดาษที่วิเคราะห์สถานการณ์อย่างละเอียดซึ่งวิธีการต่างๆในการวัดข้อผิดพลาดการคาดการณ์มีความเหมาะสมมากขึ้นหรือน้อยลงหรือไม่? การค้นหา google ของฉันยังไม่เปิดเผยอะไรเลย

คำถามที่คล้ายกันนี้ถูกถามที่/programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sdeและผู้ใช้ถูกถาม โพสต์บน stats.stackexchange.com แต่ฉันไม่คิดว่าพวกเขาเคยทำ

ในการตัดสินใจว่าจะใช้มาตรการการคาดการณ์ข้อผิดพลาดแบบใดเราต้องย้อนกลับไป โปรดทราบว่าเราไม่ทราบผลลัพธ์ในอนาคตอย่างสมบูรณ์แบบและเราจะไม่เคย ดังนั้นผลในอนาคตต่อไปนี้การกระจายความน่าจะเป็น วิธีการคาดการณ์บางวิธีส่งออกการแจกแจงแบบเต็มอย่างชัดเจนและบางวิธีก็ไม่ทำเช่นนั้น แต่จะมีอยู่เสมอหากโดยปริยาย

ตอนนี้เราต้องการที่จะมีมาตรการข้อผิดพลาดที่ดีสำหรับการคาดการณ์จุด การคาดคะเนจุดดังกล่าว$F_t$คือความพยายามของเราที่จะสรุปสิ่งที่เรารู้เกี่ยวกับการแจกแจงในอนาคต (เช่นการแจกแจงการทำนาย) ณ เวลาที่$t$โดยใช้หมายเลขเดียวฟังก์ชันที่เรียกว่าความหนาแน่นในอนาคต การวัดความผิดพลาดเป็นวิธีหนึ่งในการประเมินคุณภาพของการสรุปตัวเลขเดี่ยวนี้

ดังนั้นคุณควรเลือกการวัดข้อผิดพลาดที่ให้ผลสรุปตัวเลข "ดี" หนึ่งหมายเลขของความหนาแน่นในอนาคต (ไม่ทราบอาจคาดการณ์ แต่อาจเป็นเพียงนัย) ความหนาแน่นในอนาคต

ความท้าทายคือการวัดความผิดพลาดที่แตกต่างกันจะถูกย่อให้เล็กสุดโดยฟังก์ชันที่แตกต่างกัน MSE ที่คาดหวังจะถูกย่อให้เล็กสุดโดยค่าที่คาดหวังของการกระจายในอนาคต MAD ที่คาดหวังจะถูกย่อให้เล็กสุดโดยค่ามัธยฐานของการแจกแจงในอนาคต ดังนั้นหากคุณปรับการคาดการณ์ของคุณให้เหลือน้อยที่สุดการคาดคะเนจุดของคุณจะเป็นค่ามัธยฐานในอนาคตไม่ใช่ค่าที่คาดหวังในอนาคตและการคาดการณ์ของคุณจะลำเอียงหากการกระจายในอนาคตของคุณไม่สมมาตร

สิ่งนี้มีความเกี่ยวข้องมากที่สุดสำหรับข้อมูลการนับซึ่งโดยทั่วไปจะเบ้ ในกรณีที่รุนแรง (พูดว่าปัวซองกระจายยอดขายโดยมีค่าเฉลี่ยต่ำกว่า$\log 2\approx 0.69$ ) แม่ของคุณจะต่ำที่สุดสำหรับการคาดการณ์ที่ไม่เป็นศูนย์ ดูที่นี่หรือที่นี่หรือที่นี่เพื่อดูรายละเอียด

ฉันให้ข้อมูลเพิ่มเติมและภาพประกอบในข้อบกพร่องของข้อผิดพลาดค่าเฉลี่ยสัมบูรณ์ร้อยละ (MAPE) คืออะไร เธรดนั้นพิจารณาmapeแต่ยังรวมถึงข้อผิดพลาดอื่น ๆ และมีลิงก์ไปยังเธรดที่เกี่ยวข้องอื่น ๆ

ในท้ายที่สุดการวัดความผิดพลาดที่ใช้จริงขึ้นอยู่กับต้นทุนการคาดการณ์ผิดพลาดของคุณนั่นคือข้อผิดพลาดชนิดใดที่เจ็บปวดที่สุด หากไม่มีการดูความหมายที่แท้จริงของข้อผิดพลาดการคาดการณ์การอภิปรายเกี่ยวกับ "เกณฑ์ที่ดีกว่า" นั้นไม่มีความหมาย

การวัดความแม่นยำในการคาดการณ์เป็นหัวข้อใหญ่ในชุมชนการคาดการณ์เมื่อหลายปีก่อนและพวกเขายังคงปรากฏขึ้นมาในขณะนี้ บทความที่ดีมากที่ควรอ่านคือ Hyndman & Koehler "ดูที่การวัดความแม่นยำในการคาดการณ์อีกครั้ง" (2006)

ในที่สุดทางเลือกหนึ่งคือการคำนวณความหนาแน่นของการทำนายเต็มรูปแบบและประเมินการใช้ที่เหมาะสมเหล่านี้ให้คะแนนกฎ

ข้อดีของการใช้ Mae แทน MSE อธิบายไว้ในDavydenko และ Fildes (2016)ดูหัวข้อ 3.1:

... ผู้เขียนบางคน (เช่น Zellner, 1986) ยืนยันว่าเกณฑ์ที่เราประเมินการคาดการณ์ควรสอดคล้องกับเกณฑ์ที่เราคาดการณ์การปรับให้เหมาะสม กล่าวอีกนัยหนึ่งถ้าเราปรับการประมาณให้เหมาะสมโดยใช้ฟังก์ชันการสูญเสียที่กำหนดเราต้องใช้ฟังก์ชันการสูญเสียเดียวกันสำหรับการประเมินเชิงประจักษ์เพื่อหาว่าแบบจำลองใดดีกว่า

การติดตั้งแบบจำลองทางสถิติมักจะให้การพยากรณ์ที่ดีที่สุดภายใต้การสูญเสียกำลังสอง สิ่งนี้เกิดขึ้นเมื่อเราพอดีกับการถดถอยเชิงเส้น หากการพยากรณ์ความหนาแน่นของเราจากการสร้างแบบจำลองทางสถิติเป็นแบบสมมาตรการคาดการณ์ที่ดีที่สุดภายใต้การสูญเสียกำลังสองก็เหมาะสมที่สุดภายใต้การสูญเสียเชิงเส้น แต่ถ้าเรารักษาความแปรปรวนด้วยการแปลงล็อกแล้วแปลงกลับการพยากรณ์โดยการยกกำลังเราจะได้การพยากรณ์ที่ดีที่สุดภายใต้การสูญเสียเชิงเส้นเท่านั้น หากเราใช้การสูญเสียอื่นเราต้องได้รับการพยากรณ์ความหนาแน่นโดยใช้แบบจำลองทางสถิติก่อนแล้วจึงปรับการประมาณของเราตามหน้าที่การสูญเสียที่เฉพาะเจาะจงของเรา (ดูตัวอย่างการทำเช่นนี้ใน Goodwin, 2000)

สมมติว่าเราต้องการเปรียบเทียบเชิงประจักษ์สองวิธีและหาวิธีที่ดีกว่าในแง่ของการสูญเสียเชิงเส้นแบบสมมาตร (เนื่องจากการสูญเสียประเภทนี้มักใช้ในการสร้างแบบจำลอง) หากเรามีซีรีส์เพียงครั้งเดียวดูเหมือนว่าเป็นธรรมชาติที่จะใช้ข้อผิดพลาดแบบสัมบูรณ์ (MAE) ยิ่งไปกว่านั้น Mae ก็น่าสนใจเพราะง่ายต่อการเข้าใจและคำนวณ (Hyndman, 2006) ...

อ้างอิง

Davydenko, A. , & Fildes, R. (2016) มาตรการข้อผิดพลาดการพยากรณ์: การทบทวนอย่างมีวิจารณญาณและข้อเสนอแนะเชิงปฏิบัติ ในการพยากรณ์ธุรกิจ: ปัญหาและแนวทางแก้ปัญหาในทางปฏิบัติ John Wiley & Sons

$RMSE = \sqrt{MSE}$$MAE = MAD$

อันที่จริงแล้ว

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

$MAE \leq RMSE \leq \sqrt{MAE}$$y_i$$\hat y_i$$\in [0, 1]$

• $e_i$$\leq 1$
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  $n_{wrong}$$e_i \in [0, 1]$$e_i < 1$

หาก RMSE อยู่ใกล้กับแม่คุณก็จะมีความเบี่ยงเบนเล็ก ๆ น้อย ๆ ถ้ามันอยู่ใกล้กับขอบบนของมันก็มีการคาดการณ์ที่ผิดพลาดเล็กน้อย