ทำไมการย่อขนาดแม่ให้เล็กที่สุดนำไปสู่การคาดการณ์ค่ามัธยฐานไม่ใช่ค่าเฉลี่ย?

จากการพยากรณ์: หลักการและแบบฝึกหัดโดย Rob J Hyndman และ George Athanasopoulosโดยเฉพาะในส่วนของการวัดความแม่นยำ :

วิธีการพยากรณ์ที่ย่อขนาดเล็กที่สุดจะนำไปสู่การคาดการณ์ของค่ามัธยฐานในขณะที่การลด RMSE จะนำไปสู่การคาดการณ์ค่าเฉลี่ย

บางคนสามารถให้คำอธิบายที่เข้าใจง่ายว่าทำไมการย่อขนาดแม่ให้เล็กที่สุดนำไปสู่การคาดคะเนค่ามัธยฐานไม่ใช่ค่าเฉลี่ย? และนี่หมายถึงอะไรในทางปฏิบัติ

ฉันได้ถามลูกค้า: "สิ่งที่สำคัญกว่าสำหรับคุณคือการคาดการณ์หมายถึงแม่นยำยิ่งขึ้นหรือเพื่อหลีกเลี่ยงการคาดการณ์ที่ไม่ถูกต้องมาก" เขาบอกว่าการคาดหมายที่แม่นยำยิ่งกว่านั้นจะมีลำดับความสำคัญสูงกว่า ดังนั้นในกรณีนี้ฉันควรใช้ Mae หรือ RMSE หรือไม่ ก่อนที่ฉันจะอ่านหนังเรื่องนี้ฉันเชื่อว่าแม่จะดีขึ้นสำหรับเงื่อนไขดังกล่าว และตอนนี้ฉันสงสัย

การย้อนเวลากลับไปและเป็นประโยชน์มีประโยชน์สำหรับการคาดการณ์เป็นเวลาหนึ่งนาที ลองพิจารณาการกระจายแบบและสมมติว่าเราต้องการสรุปโดยใช้หมายเลขเดียว$F$

คุณเรียนรู้ตั้งแต่ต้นในชั้นเรียนสถิติของคุณที่ใช้ความคาดหวังของเป็นข้อมูลสรุปตัวเลขเดียวจะลดข้อผิดพลาดกำลังสองที่คาดไว้$F$

คำถามคือ: ทำไมการใช้ค่ามัธยฐานของลดข้อผิดพลาดสัมบูรณ์ที่คาดไว้$F$

สำหรับเรื่องนี้ฉันมักจะแนะนำ"การมองเห็นค่ามัธยฐานเป็นตำแหน่งเบี่ยงเบนขั้นต่ำ" โดย Hanley และคณะ (2001, อเมริกันสถิติ ) พวกเขาตั้งแอปเพล็ตเล็ก ๆ น้อย ๆพร้อมกับกระดาษของพวกเขาซึ่งน่าเสียดายที่อาจไม่สามารถทำงานกับเบราว์เซอร์ที่ทันสมัยได้อีกต่อไป แต่เราสามารถทำตามตรรกะในกระดาษได้

สมมติว่าคุณยืนอยู่หน้าธนาคารลิฟต์ อาจจัดให้มีระยะห่างเท่ากันหรือระยะทางระหว่างประตูลิฟต์อาจใหญ่กว่าระยะอื่น (เช่นลิฟต์บางตัวอาจไม่เป็นระเบียบ) หน้าลิฟต์ที่คุณควรยืนให้เดินน้อยที่สุดเมื่อลิฟต์ตัวใดตัวหนึ่งมาถึง โปรดทราบว่าการเดินที่คาดหวังนี้มีบทบาทในข้อผิดพลาดสัมบูรณ์ที่คาดหวัง!

สมมติว่าคุณมีลิฟต์สามตัว A, B และ C

• หากคุณรออยู่หน้า A คุณอาจต้องเดินจาก A ถึง B (ถ้า B มาถึง) หรือจาก A ถึง C (ถ้า C มาถึง) - ผ่าน B!
• หากคุณรออยู่หน้า B คุณต้องเดินจาก B ถึง A (ถ้า A มาถึง) หรือจาก B ถึง C (ถ้า C มาถึง)
• หากคุณรออยู่หน้า C คุณจะต้องเดินจาก C ถึง A (ถ้า A มาถึง) - ผ่าน B - หรือจาก C ถึง B (ถ้า B มาถึง)

โปรดทราบว่าจากตำแหน่งที่รอครั้งแรกและครั้งสุดท้ายมีระยะทาง - AB ในครั้งแรกก่อนคริสต์ศักราชในตำแหน่งสุดท้าย - ที่คุณต้องเดินในหลายกรณีของลิฟต์มา ดังนั้นทางออกที่ดีที่สุดของคุณคือยืนอยู่ตรงหน้าลิฟต์กลาง - ไม่ว่าลิฟต์สามตัวจะถูกจัดเรียงอย่างไร

นี่คือรูปที่ 1 จาก Hanley และคณะ:

สิ่งนี้ทำให้ลิฟต์ธรรมดามากกว่าสามลิฟต์ง่ายขึ้น หรือถึงลิฟท์ที่มีโอกาสแตกต่างกันในการมาถึงก่อน หรือแน่นอนว่าจะมีลิฟท์จำนวนมากนับไม่ถ้วน ดังนั้นเราสามารถใช้ตรรกะนี้กับการกระจายแบบไม่ต่อเนื่องทั้งหมดแล้วส่งผ่านไปยังขีด จำกัด เพื่อให้ได้การแจกแจงแบบต่อเนื่อง

ในการกลับเป็นสองเท่าของการคาดการณ์คุณต้องพิจารณาว่าพื้นฐานการคาดการณ์จุดของคุณสำหรับช่วงเวลาในอนาคตที่แน่นอนมีการคาดการณ์ความหนาแน่น (ปกติโดยนัย) หรือการกระจายการทำนายซึ่งเราสรุปโดยใช้การพยากรณ์จุดเดียว อาร์กิวเมนต์ข้างต้นแสดงให้เห็นว่าเหตุใดค่ามัธยฐานของความหนาแน่นของการคาดคะเนของคุณคือการคาดการณ์จุดที่ลดข้อผิดพลาดสัมบูรณ์แบบคาดหวังหรือ Mae (เพื่อจะแม่นยำมากขึ้นใด ๆเฉลี่ยอาจจะทำเพราะมันอาจจะไม่ได้กำหนดไว้โดยไม่ซ้ำกัน - ในตัวอย่างลิฟท์ตรงนี้เพื่อมีแม้กระทั่ง . จำนวนของลิฟท์)$\hat{F}$

และแน่นอนว่าค่ามัธยฐานอาจแตกต่างจากที่คาดไว้มากถ้าไม่สมมาตร ตัวอย่างหนึ่งที่สำคัญคือมีปริมาณต่ำนับข้อมูลโดยเฉพาะอย่างยิ่งเป็นระยะเวลาชุด แน่นอนถ้าคุณมีโอกาส 50% หรือสูงกว่าของยอดขายที่เป็นศูนย์เช่นถ้ายอดขายนั้นปัวซองกระจายด้วยพารามิเตอร์คุณจะลดข้อผิดพลาดสัมบูรณ์ที่คาดหวังโดยการคาดการณ์ศูนย์แบน - ซึ่งค่อนข้างใช้งานง่าย แม้กระทั่งอนุกรมเวลาที่ไม่ต่อเนื่อง ฉันเขียนบทความเล็กน้อยเกี่ยวกับเรื่องนี้ ( Kolassa, 2016, วารสารการพยากรณ์ระหว่างประเทศ )$\hat{F}$$\lambda\leq \ln 2$

ดังนั้นหากคุณสงสัยว่าการกระจายการทำนายของคุณ (หรือควรจะ) ไม่สมมาตรในขณะที่ทั้งสองกรณีข้างต้นแล้วถ้าคุณต้องการที่จะได้รับการคาดการณ์ความคาดหวังที่เป็นกลางใช้RMSE หากการแจกแจงแบบสมมาตร (โดยทั่วไปสำหรับซีรีย์ปริมาณสูง) ดังนั้นค่ามัธยฐานและค่าเฉลี่ยที่เหมือนกันและการใช้แม่จะนำคุณไปสู่การพยากรณ์ที่ไม่เอนเอียงและแม่ก็เข้าใจได้ง่ายขึ้น

ในทำนองเดียวกันการลดขนาดmapeสามารถนำไปสู่การคาดการณ์แบบเอนเอียงแม้กระทั่งการแจกแจงแบบสมมาตร คำตอบก่อนหน้านี้ของฉันมีตัวอย่างที่จำลองด้วยการกระจายแบบอสมมาตรอย่างเข้มงวด (กระจายแบบล็อกนอร์มอล) อย่างมีความหมายสามารถคาดการณ์จุดได้โดยใช้การพยากรณ์จุดต่างกันสามแบบขึ้นอยู่กับว่าเราต้องการลด MSE, Mae หรือ MAPE

คำตอบของสเตฟานให้คำอธิบายที่เข้าใจง่ายว่าทำไมการลดข้อผิดพลาดโดยเฉลี่ยให้ค่ามัธยฐานลดลง ตอนนี้เพื่อตอบว่าควรใช้ MSE, MAE หรือ MAPE ใด:

แม่มีความแข็งแกร่งซึ่งหมายความว่ามันมีความไวต่อค่าผิดปกติน้อยลง ลองนึกภาพชุดที่มีข้อผิดพลาดเป็นล้านครั้งมากกว่าที่มันควรจะเป็น บน MSE นั้นจะดึงการคาดการณ์หนึ่งล้าน / N ครั้ง (โดยที่ N คือจำนวนคะแนน) ในขณะที่แม่จะดึงได้เพียง 1 ยูนิตเท่านั้น

น่าเสียดายที่แม่ไม่ได้มีลักษณะเฉพาะดังนั้นมันอาจแสดงพฤติกรรมของโรคจิตเภท

ดังนั้นคำแนะนำของฉันคือการสร้าง MSE ก่อนจากนั้นใช้พารามิเตอร์ MSE เพื่อเริ่มการถดถอยของแม่

ไม่ว่าในกรณีใดเปรียบเทียบทั้งการคาดการณ์: หากพวกเขาแตกต่างกันมากข้อมูลของคุณจะมีกลิ่นเหม็น