ความแตกต่างระหว่างการคาดการณ์“ ในตัวอย่าง” และ“ หลอกออกจากตัวอย่าง”

มีความแตกต่างอย่างชัดเจนระหว่างการคาดการณ์ในตัวอย่างและการคาดการณ์ออกจากตัวอย่างหลอก ทั้งสองมีความหมายในบริบทของการประเมินและเปรียบเทียบแบบจำลองการพยากรณ์

สมมติว่าคุณมีข้อมูลโดยที่และเป้าหมายของคุณคือสร้างแบบจำลอง (พูด , ) ที่จะทำนายรับ{TH} สำหรับ concreteness สมมติว่าข้อมูลเป็นรายวันและสอดคล้องกับวันนี้ชั่วโมง∈ { 1 , 2 , ... } , F ( X ที- เอช ) Y ทีเอ็กซ์ที- เอช$\{Y_t,X_{t-h}\}_{t=h+1}^T$$h \in \{1,2,\ldots\},$$\hat f(X_{t-h})$$Y_t$$X_{t-h}$$T$

การวิเคราะห์ในตัวอย่างหมายถึงการประมาณรูปแบบโดยใช้ข้อมูลที่มีทั้งหมดจนถึงและรวมถึงแล้วเปรียบเทียบค่าที่พอดีของแบบจำลองกับการรับรู้จริง อย่างไรก็ตามขั้นตอนนี้เป็นที่รู้จักกันในการวาดภาพในแง่ดีมากเกินไปของความสามารถในการพยากรณ์ของโมเดลเนื่องจากอัลกอริทึมการปรับพอดี (เช่นการใช้ข้อผิดพลาดกำลังสองหรือเกณฑ์ความน่าจะเป็น) มีแนวโน้มที่จะเจ็บปวดเพื่อหลีกเลี่ยง สำหรับสัญญาณในข้อมูล$T$

การวิเคราะห์นอกตัวอย่างที่แท้จริงคือการประเมินตัวแบบตามข้อมูลจนถึงและรวมถึงวันนี้สร้างการคาดการณ์มูลค่าของวันพรุ่งนี้รอจนกระทั่งพรุ่งนี้บันทึกข้อผิดพลาดการคาดการณ์ประเมินแบบจำลองอีกครั้งทำการคาดการณ์ใหม่และอื่น ๆ ในตอนท้ายของแบบฝึกหัดนี้จะมีตัวอย่างของข้อผิดพลาดการคาดการณ์ซึ่งจะออกนอกตัวอย่างจริงและจะให้ภาพที่เหมือนจริงมากของ ประสิทธิภาพของโมเดล E T + 1 ≡ Y T + 1 - F ( X T + 1 - เอช ) , Y T + 2 { E T + L } L L = $Y_{T+1}$$e_{T+1} \equiv Y_{T+1} - \hat f(X_{T+1-h}),$$Y_{T+2}$$\{e_{T+l}\}_{l=1}^L$

เนื่องจากขั้นตอนนี้ใช้เวลานานมากผู้คนมักใช้วิธี "หลอก" หรือ "จำลอง" การวิเคราะห์นอกตัวอย่างซึ่งหมายถึงการเลียนแบบขั้นตอนที่อธิบายไว้ในย่อหน้าสุดท้ายโดยใช้วันที่ทางประวัติศาสตร์แทน กว่าวันที่วันนี้เป็นจุดเริ่มต้น ข้อผิดพลาดการคาดการณ์ผลลัพธ์ที่เกิดขึ้นจะถูกใช้เพื่อรับการประมาณความสามารถในการพยากรณ์แบบตัวอย่างT { e t } T t = T 0 + $T_0 < T$$T$$\{e_t\}_{t=T_0+1}^T$

โปรดทราบว่าการวิเคราะห์แบบหลอกออกจากตัวอย่างไม่ได้เป็นวิธีเดียวที่จะประเมินประสิทธิภาพการทำงานนอกกลุ่มตัวอย่าง ทางเลือกรวมถึงการตรวจสอบข้ามและเกณฑ์ข้อมูล

การอภิปรายที่ดีมากของปัญหาเหล่านี้มีอยู่ในบทที่ 7 ของ

http://www.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf