การแปลความหมายของข้อผิดพลาดแบบมาตราส่วนค่าเฉลี่ย (MASE)

Mean แน่นอนข้อผิดพลาดที่ปรับขนาด (MASE) เป็นตัวชี้วัดของความถูกต้องคาดการณ์ที่เสนอโดยซานโตสและ Hyndman (2006)

M A S E = \frac{M A E}{M A E_{ผม n - s a ม. พี ล. อี, n a ผม โวลต์ อี}}

$MASE=\frac{MAE}{MAE_{in-sample, \, naive}}$

โดยที่คือข้อผิดพลาดแบบสัมบูรณ์ที่เกิดจากการคาดการณ์จริง ในขณะที่เป็นข้อผิดพลาดแบบสัมบูรณ์ที่เกิดจากการคาดการณ์ไร้เดียงสา (เช่นไม่มีการเปลี่ยนแปลงการคาดการณ์สำหรับอนุกรมเวลา ) ซึ่งคำนวณจากข้อมูลในตัวอย่าง $MAE$
$MAE_{in-sample, \, naive}$ $I(1)$

(ตรวจสอบกระดาษKoehler & Hyndman (2006)สำหรับคำจำกัดความและสูตรที่แม่นยำ)

แสดงว่าการคาดการณ์ที่เกิดขึ้นจริงนั้นเลวร้ายกว่าตัวอย่างที่คาดการณ์ไร้เดียงสาในกลุ่มตัวอย่าง ดังนั้นหากมีข้อผิดพลาดแน่นอนค่าเฉลี่ยเป็นตัวชี้วัดที่เกี่ยวข้องของความถูกต้องคาดการณ์ (ซึ่งขึ้นอยู่กับปัญหาที่มือ)แสดงให้เห็นว่าการคาดการณ์ที่เกิดขึ้นจริงควรจะยกเลิกในความโปรดปรานของการคาดการณ์ที่ไร้เดียงสาถ้าเราคาดหวังออก -of- ข้อมูลตัวอย่างจะค่อนข้างเหมือนกับข้อมูลในตัวอย่าง(เพราะเรารู้เพียงว่าการคาดการณ์ที่ไร้เดียงสาทำได้ดีเพียงใดในตัวอย่างไม่ใช่จากตัวอย่าง) $MASE>1$ $MASE>1$

คำถาม:

ใช้เป็นเกณฑ์มาตรฐานในการแข่งขันการพยากรณ์ที่เสนอในโพสต์บล็อก Hyndsightนี้ เกณฑ์มาตรฐานที่ชัดเจนไม่ควรเป็น ? $MASE=1.38$ $MASE=1$

แน่นอนว่าคำถามนี้ไม่เฉพาะเจาะจงสำหรับการแข่งขันการพยากรณ์โดยเฉพาะ ฉันต้องการความช่วยเหลือในการทำความเข้าใจในบริบททั่วไป

ฉันเดา:

คำอธิบายที่สมเหตุสมผลเพียงอย่างเดียวที่ฉันเห็นคือการคาดการณ์ที่ไร้เดียงสาคาดว่าจะทำให้กลุ่มตัวอย่างแย่ลงกว่าที่คาดการณ์ไว้ในตัวอย่างเช่นเนื่องจากการเปลี่ยนแปลงโครงสร้าง จากนั้นอาจท้าทายเกินกว่าที่จะบรรลุ $MASE<1$

อ้างอิง:

Hyndman, Rob J. และ Anne B. Koehler " ดูที่การวัดความแม่นยำของการคาดการณ์อีกประการหนึ่ง " วารสารการพยากรณ์นานาชาติ 22.4 (2549): 679-688
โพสต์บล็อก Hyndsight

— Richard Hardy
แหล่งที่มา

ในโพสต์บล็อกของเขา Rob บันทึกว่าเกณฑ์มาตรฐานนี้มาจาก: "เกณฑ์เหล่านี้เป็นวิธีการที่มีประสิทธิภาพสูงสุดในการวิเคราะห์ข้อมูลเหล่านี้ที่อธิบายไว้ใน Athanasopoulos et al (2010)" คุณเคยดูกระดาษ Athanosopoulos หรือไม่?

— S. Kolassa - Reinstate Monica

ฉันค่อนข้างงุนงงกับ "การคาดเดาของคุณ": การเปลี่ยนแปลงเชิงโครงสร้างจะหมายถึงการคาดการณ์ที่ซับซ้อนจะขึ้นอยู่กับข้อมูลในอดีตที่ไม่เกี่ยวข้องบางส่วนแน่นอน แต่การทำลายโครงสร้างจะส่งผลกระทบต่อการคาดการณ์ "ไม่เปลี่ยนแปลง" อย่างไรนั้นขึ้นอยู่กับการหยุดพัก ตัวอย่างเช่นเรากำลังดูการเดินแบบสุ่มที่มีการดริฟท์และการหยุดพักแบบโครงสร้างหมายความว่าการดริฟท์ระยะเวลาคงที่ลดลงจากนั้นการคาดการณ์ "ไม่มีการเปลี่ยนแปลง" จะทำงานได้ดีขึ้นหลังจากการหยุดพัก

— Alecos Papadopoulos

@AlecosPapadopoulos: คุณพูดถูก แต่ผมหมายถึงข้อมูลที่ออกจากกลุ่มตัวอย่างที่เป็นค่อนข้างแตกต่างจากในตัวอย่างข้อมูลเป็นสิ่งจำเป็น แต่ไม่ได้เป็นเงื่อนไขที่เพียงพอสำหรับการคาดหวังว่า

บางทีฉันไม่ได้แสดงออกอย่างถูกต้อง

M A S E >> 1

$MASE>>1$

— Richard Hardy

@StephanKolassa: ฉันอ่านผ่านกระดาษและไม่พบคำอธิบายที่ดี บางทีฉันควรอ่านให้ละเอียดยิ่งขึ้น แต่คำถามของฉันมีจุดประสงค์ทั่วไปมากกว่านั้น ฉันไม่สนใจเป็นพิเศษในตัวอย่างนั้นฉันเพิ่งนำเสนอเป็นตัวอย่าง ฉันกำลังมองหาการปรีชาเกี่ยวกับ

M A S E

$MASE$

— Richard Hardy

ที่เกี่ยวข้อง: stats.stackexchange.com/questions/124955/ …

— S. Kolassa - Reinstate Monica

คำตอบ:

ในบล็อกโพสต์ที่เชื่อมโยง Rob Hyndman เรียกร้องให้มีการประกวดการพยากรณ์การท่องเที่ยว โดยพื้นฐานแล้วการโพสต์บล็อกมีจุดประสงค์เพื่อดึงดูดความสนใจไปยังบทความ IJF ที่เกี่ยวข้องซึ่งเป็นเวอร์ชั่นที่ไม่มีการเชื่อมโยงซึ่งมีการเชื่อมโยงกับในโพสต์บล็อก

มาตรฐานที่คุณอ้างถึง - 1.38 สำหรับรายเดือน, 1.43 สำหรับรายไตรมาสและ 2.28 สำหรับข้อมูลรายปี - มาถึงอย่างชัดเจนแล้วดังนี้ ผู้เขียน (ทั้งหมดเป็นผู้เชี่ยวชาญด้านการพยากรณ์และมีบทบาทมากในIIF - ไม่มีพนักงานขายน้ำมันงูที่นี่) สามารถใช้อัลกอริธึมการพยากรณ์มาตรฐานหรือซอฟต์แวร์พยากรณ์ได้ค่อนข้างมากและพวกเขาอาจไม่สนใจส่ง ARIMA แบบง่าย ๆ ดังนั้นพวกเขาจึงไปและใช้วิธีการมาตรฐานกับข้อมูลของพวกเขา สำหรับการส่งผลงานที่ชนะเลิศจะได้รับเชิญให้รับกระดาษในIJFพวกเขาขอให้ปรับปรุงให้ดีที่สุดของวิธีมาตรฐานเหล่านี้ตามที่วัดโดย MASE

ดังนั้นคำถามของคุณจำเป็นอย่างยิ่งที่จะ:

ระบุว่า MASE 1 สอดคล้องกับการคาดการณ์ที่ดีกว่าตัวอย่าง (โดย MAD) เป็นตัวอย่างการคาดการณ์การเดินสุ่มที่ไร้เดียงสาทำไมวิธีการพยากรณ์มาตรฐานเช่น ARIMA ไม่สามารถปรับปรุง 1.38 สำหรับข้อมูลรายเดือนได้?

ที่นี่ 1.38 MASE มาจากตารางที่ 4 ในเวอร์ชั่นที่ไม่ได้ปรับปรุง มันเป็นค่าเฉลี่ย ASE มากกว่า 1-24 เดือนข้างหน้าการคาดการณ์จาก ARIMA วิธีมาตรฐานอื่น ๆ เช่น ForecastPro, ETS ฯลฯ ทำงานได้แย่ลง

$\exp(t)$ ด้วยวิธีการมาตรฐาน สิ่งเหล่านี้จะไม่จับแนวโน้มเร่งด่วน (และนี่คือสิ่งที่ดี - หากอัลกอริทึมการคาดการณ์ของคุณมักจะจำลองแนวโน้มการเร่งคุณจะไกลเกินกว่าเครื่องหมายของคุณ) และพวกเขาจะให้ MASE ที่สูงกว่า 1 คำอธิบายอื่น ๆ ดังที่คุณกล่าวว่าเป็นตัวแบ่งโครงสร้างที่แตกต่างกันเช่นการเลื่อนระดับหรืออิทธิพลภายนอกเช่น SARS หรือ 9/11 ซึ่งจะไม่ถูกบันทึกโดยแบบจำลองมาตรฐานไม่ใช่สาเหตุ แต่สามารถจำลองได้ด้วยวิธีการพยากรณ์การท่องเที่ยวโดยเฉพาะ (แม้ว่าจะใช้สาเหตุในอนาคตในกลุ่มตัวอย่างที่ถือเอาไว้เป็นการโกง)

ดังนั้นฉันจะบอกว่าคุณคงไม่สามารถพูดอะไรมากมายเกี่ยวกับเรื่องนี้ได้โดยไม่ต้องดูข้อมูลเอง พวกเขามีอยู่ใน Kaggle ทางออกที่ดีที่สุดของคุณมีแนวโน้มที่จะใช้ชุด 518 เหล่านี้ค้างไว้ 24 เดือนที่ผ่านมาพอดีกับชุด ARIMA คำนวณ MASEs ขุดชุดพยากรณ์สิบหรือยี่สิบ MASE ที่แย่ที่สุดรับกาแฟหม้อดูชุดนี้แล้วลอง เพื่อหาว่ามันคืออะไรที่ทำให้แบบจำลอง ARIMA แย่มากในการพยากรณ์พวกมัน

แก้ไข: อีกจุดหนึ่งที่ปรากฏชัดเจนหลังจากข้อเท็จจริง แต่ใช้เวลาห้าวันในการดู - โปรดจำไว้ว่าตัวหารของ MASE เป็นขั้นตอนเดียวในการคาดการณ์การเดินสุ่มตัวอย่างในขณะที่ตัวเศษเป็นค่าเฉลี่ยของ1-24 -คาดการณ์ล่วงหน้า ไม่น่าแปลกใจมากนักที่การคาดการณ์ลดลงเมื่อมีขอบเขตที่เพิ่มขึ้นดังนั้นนี่อาจเป็นอีกเหตุผลหนึ่งที่ทำให้ MASE เท่ากับ 1.38 โปรดทราบว่าการพยากรณ์ตามฤดูกาลนั้นรวมอยู่ในเกณฑ์มาตรฐานและมีค่า MASE ที่สูงขึ้น

— S. Kolassa - Reinstate Monica
แหล่งที่มา

คำตอบที่ดี! ขอบคุณสำหรับการสรุปย่อของกระดาษต้นฉบับ (มันจะทำหน้าที่เป็นทางลัดที่เป็นประโยชน์สำหรับทุกคนที่ไม่ได้ฝึกหัด) ดูเหมือนว่าความคิดหลักที่อยู่เบื้องหลังคำตอบของคุณจะไม่ขัดแย้งกับการคาดเดาของฉัน (แต่จะขยายออกไป) มีบางสิ่งที่พิเศษจากตัวอย่างที่ข้อผิดพลาดการคาดการณ์ไร้เดียงสาในตัวอย่างต่ำไป

— Richard Hardy

ไม่ใช่คำตอบ แต่มีพล็อตตามการเรียก Stephan Kolassa ของ "ดูซีรี่ส์เหล่านี้"
Kaggle tourism1 มีอนุกรมเวลา 518 ปีซึ่งเราต้องการทำนาย 4 ค่าล่าสุด:

ป้อนคำอธิบายรูปภาพที่นี่

$5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$ $length(y)$

เห็นได้ชัดว่าซีรี่ส์สั้นมาก - 12 11 7 7 7 ... ในแถวบน - ยากที่จะทำนาย: ไม่แปลกใจ
(Athanasopoulos, Hyndman, Song และ Wu, การพยากรณ์การท่องเที่ยว (2011, 23p) ใช้ 112 จาก 518 ชุดต่อปี แต่ฉันไม่เห็นอันไหน)

มีคอลเล็กชันใหม่ของซีรีย์เวลาที่ใหม่กว่ามาตั้งแต่ปี 2010 ซึ่งอาจคุ้มค่าที่จะดูหรือไม่?

— เดนิส
แหล่งที่มา

ขอบคุณ! ฉันไม่ทราบคำตอบสำหรับคำถามสุดท้ายของคุณ

— Richard Hardy

@denis: เพิ่งเห็นคำถามของคุณ - คุณอาจต้องการที่จะขอข้อมูลที่OpenData.SE

— S. Kolassa - Reinstate Monica