AIC กับการตรวจสอบความถูกต้องข้ามในอนุกรมเวลา: กรณีตัวอย่างขนาดเล็ก

ฉันสนใจในการเลือกรูปแบบในการตั้งค่าอนุกรมเวลา เพื่อความเป็นรูปธรรมสมมติว่าฉันต้องการเลือกรุ่น ARMA จากกลุ่มของรุ่น ARMA ที่มีคำสั่งซื้อล่าช้าต่างกัน สุดยอดความตั้งใจคือการคาดการณ์

การเลือกรุ่นสามารถทำได้โดย

1. การตรวจสอบข้าม
2. การใช้เกณฑ์ข้อมูล (AIC, BIC)

ท่ามกลางวิธีอื่น ๆ

ร็อบเจ Hyndman มีวิธีการทำการตรวจสอบข้ามอนุกรมเวลา สำหรับตัวอย่างที่มีขนาดค่อนข้างเล็กขนาดของตัวอย่างที่ใช้ในการตรวจสอบความถูกต้องไขว้อาจมีคุณภาพแตกต่างจากขนาดตัวอย่างดั้งเดิม ตัวอย่างเช่นหากขนาดตัวอย่างดั้งเดิมคือ 200 การสังเกตดังนั้นใครจะคิดว่าจะเริ่มการตรวจสอบข้ามโดยการสังเกต 101 ครั้งแรกและขยายหน้าต่างเป็น 102, 103, ... , 200 การสังเกตเพื่อให้ได้ 100 ผลการตรวจสอบข้าม เห็นได้ชัดว่าแบบจำลองที่มีเหตุผลพอสมควรสำหรับการสังเกต 200 ครั้งอาจใหญ่เกินไปสำหรับการสังเกต 100 ครั้งดังนั้นข้อผิดพลาดในการตรวจสอบจะมีขนาดใหญ่ ดังนั้นการตรวจสอบข้ามจึงมีแนวโน้มที่จะสนับสนุนรูปแบบที่ไม่สุภาพ นี่คือผลกระทบที่ไม่พึงประสงค์เกิดจากการไม่ตรงกันในขนาดตัวอย่าง

ทางเลือกอื่นในการตรวจสอบข้ามคือการใช้เกณฑ์ข้อมูลสำหรับการเลือกแบบจำลอง เนื่องจากฉันสนใจเกี่ยวกับการคาดการณ์ฉันจะใช้ AIC ถึงแม้ว่า AIC นั้นจะเทียบเท่ากับ asymptotically ในการลดการคาดการณ์ MSE แบบขั้นตอนเดียวให้น้อยที่สุดสำหรับแบบจำลองอนุกรมเวลา (อ้างอิงจาก Rob J. Hyndman จากการโพสต์นี้ ) ฉันสงสัยว่ามันเกี่ยวข้องกันที่นี่ตั้งแต่ตัวอย่าง ขนาดที่ฉันสนใจไม่ใช่ขนาดใหญ่ ...

คำถาม:ฉันควรเลือก AIC เมื่อใช้การตรวจสอบความถูกต้องของอนุกรมข้ามเวลาสำหรับตัวอย่างขนาดเล็ก / ขนาดกลางหรือไม่

คำถามที่เกี่ยวข้องไม่กี่สามารถพบได้ที่นี่ , ที่นี่และที่นี่

การพิจารณาทางทฤษฎีนอกเหนือไปจากเกณฑ์ข้อมูล Akaike เป็นโอกาสเพียงลงโทษโดยองศาอิสระ สิ่งที่ตามมาคือ AIC มีความไม่แน่นอนในข้อมูล ( -2LL ) และทำให้สันนิษฐานว่าพารามิเตอร์มากขึ้นนำไปสู่ความเสี่ยงที่สูงขึ้นของการโอเวอร์โหลด ( 2k ) การตรวจสอบข้ามเพียงแค่ดูที่ชุดการทดสอบประสิทธิภาพของโมเดลโดยไม่มีข้อสมมติฐานเพิ่มเติม

หากคุณสนใจเกี่ยวกับการคาดการณ์เป็นส่วนใหญ่และคุณสามารถสันนิษฐานได้ว่าชุดทดสอบจะคล้ายกับข้อมูลในโลกแห่งความเป็นจริงคุณควรทำการตรวจสอบข้าม ปัญหาที่เป็นไปได้คือเมื่อข้อมูลของคุณมีขนาดเล็กจากนั้นโดยการแยกคุณจะจบลงด้วยการฝึกอบรมและชุดทดสอบขนาดเล็ก ข้อมูลที่น้อยกว่าสำหรับการฝึกอบรมไม่ดีและข้อมูลที่น้อยกว่าสำหรับชุดการทดสอบทำให้ผลการตรวจสอบไขว้มีความไม่แน่นอนมากขึ้น (ดูVaroquaux, 2018 ) หากตัวอย่างทดสอบของคุณไม่เพียงพอคุณอาจถูกบังคับให้ใช้ AIC แต่โปรดจำไว้ว่ามันใช้มาตรการอะไรและคาดเดาได้อย่างไร

ในอีกแง่หนึ่งดังที่ได้กล่าวไว้แล้วในความคิดเห็น AIC ให้การรับประกันแบบไม่มีอาการและไม่ใช่กรณีตัวอย่างขนาดเล็ก ตัวอย่างขนาดเล็กอาจทำให้เข้าใจผิดเกี่ยวกับความไม่แน่นอนในข้อมูลเช่นกัน

หืม - ถ้าเป้าหมายสูงสุดของคุณคือการคาดการณ์ทำไมคุณถึงตั้งใจเลือกรูปแบบเลย? เท่าที่ฉันรู้มันได้รับการยอมรับเป็นอย่างดีทั้งในวรรณกรรมทางสถิติ "ดั้งเดิม" และวรรณกรรมการเรียนรู้ของเครื่องว่าค่าเฉลี่ยของแบบจำลองนั้นเหนือกว่าเมื่อมันมาถึงการทำนาย พูดง่ายๆคือการหาค่าเฉลี่ยของแบบจำลองหมายความว่าคุณประเมินแบบจำลองที่เป็นไปได้ทั้งหมดให้พวกเขาทำนายและเฉลี่ยการทำนายของพวกเขาด้วยน้ำหนักโดยใช้หลักฐานของแบบจำลองสัมพัทธ์

การอ้างอิงที่มีประโยชน์เพื่อเริ่มต้นคือ https://journals.sagepub.com/doi/10.1177/0049124104268644

พวกเขาอธิบายสิ่งนี้ค่อนข้างง่ายและอ้างถึงวรรณกรรมที่เกี่ยวข้อง

หวังว่านี่จะช่วยได้

ความคิดของฉันคือทำทั้งสองอย่างและดู มันโดยตรงที่จะใช้ AIC AIC ที่เล็กกว่าดีกว่าโมเดล แต่ก็ไม่สามารถพึ่งพา AIC ได้และบอกว่ารูปแบบดังกล่าวดีที่สุด ดังนั้นถ้าคุณมีกลุ่มของแบบจำลอง ARIMA ให้นำแต่ละอันมาตรวจสอบการพยากรณ์ค่าที่มีอยู่และดูว่าตัวแบบใดทำนายค่าข้อมูลอนุกรมเวลาที่ใกล้เคียงที่สุด ตรวจสอบ AIC เป็นครั้งที่สองและพิจารณาทั้งสองอย่างมาเป็นทางเลือกที่ดี ไม่มีกฎที่ยากและรวดเร็ว เพียงไปสำหรับรุ่นที่ทำนายได้ดีที่สุด