วิธีการพยากรณ์กับการตรวจจับค่าผิดปกติใน R - ขั้นตอนและวิธีการวิเคราะห์อนุกรมเวลา


16

ฉันมีข้อมูลอนุกรมเวลารายเดือนและต้องการคาดการณ์ด้วยการตรวจจับค่าผิดปกติ

นี่คือตัวอย่างของชุดข้อมูลของฉัน:

       Jan   Feb   Mar   Apr   May   Jun   Jul   Aug   Sep   Oct   Nov   Dec
2006  7.55  7.63  7.62  7.50  7.47  7.53  7.55  7.47  7.65  7.72  7.78  7.81
2007  7.71  7.67  7.85  7.82  7.91  7.91  8.00  7.82  7.90  7.93  7.99  7.93
2008  8.46  8.48  9.03  9.43 11.58 12.19 12.23 11.98 12.26 12.31 12.13 11.99
2009 11.51 11.75 11.87 11.91 11.87 11.69 11.66 11.23 11.37 11.71 11.88 11.93
2010 11.99 11.84 12.33 12.55 12.58 12.67 12.57 12.35 12.30 12.67 12.71 12.63
2011 12.60 12.41 12.68 12.48 12.50 12.30 12.39 12.16 12.38 12.36 12.52 12.63

ฉันได้อ้างถึงขั้นตอนและวิธีการวิเคราะห์ Timeseries โดยใช้ Rเพื่อทำชุดรูปแบบการพยากรณ์ที่แตกต่างกัน แต่ดูเหมือนว่าจะไม่ถูกต้อง นอกจากนี้ฉันไม่แน่ใจว่าจะรวม tsoutliers ลงในนั้นได้อย่างไร

ฉันได้โพสต์อีกครั้งเกี่ยวกับคำถามของฉันเกี่ยวกับการสร้างแบบจำลองนักออกแบบและขั้นตอนและขั้นตอนที่นี่เช่นกัน

ดังนั้นนี่คือรหัสของฉันในปัจจุบันซึ่งคล้ายกับลิงค์หมายเลข 1

รหัส:

product<-ts(product, start=c(1993,1),frequency=12)

#Modelling product Retail Price

#Training set
product.mod<-window(product,end=c(2012,12))
#Test set
product.test<-window(product,start=c(2013,1))
#Range of time of test set
period<-(end(product.test)[1]-start(product.test)[1])*12 + #No of month * no. of yr
(end(product.test)[2]-start(product.test)[2]+1) #No of months
#Model using different method
#arima, expo smooth, theta, random walk, structural time series
models<-list(
#arima
product.arima<-forecast(auto.arima(product.mod),h=period),
#exp smoothing
product.ets<-forecast(ets(product.mod),h=period),
#theta
product.tht<-thetaf(product.mod,h=period),
#random walk
product.rwf<-rwf(product.mod,h=period),
#Structts
product.struc<-forecast(StructTS(product.mod),h=period)
)

##Compare the training set forecast with test set
par(mfrow=c(2, 3))
for (f in models){
    plot(f)
    lines(product.test,col='red')
}

##To see its accuracy on its Test set, 
#as training set would be "accurate" in the first place
acc.test<-lapply(models, function(f){
    accuracy(f, product.test)[2,]
})
acc.test <- Reduce(rbind, acc.test)
row.names(acc.test)<-c("arima","expsmooth","theta","randomwalk","struc")
acc.test <- acc.test[order(acc.test[,'MASE']),]

##Look at training set to see if there are overfitting of the forecasting
##on training set
acc.train<-lapply(models, function(f){
    accuracy(f, product.test)[1,]
})
acc.train <- Reduce(rbind, acc.train)
row.names(acc.train)<-c("arima","expsmooth","theta","randomwalk","struc")
acc.train <- acc.train[order(acc.train[,'MASE']),]

 ##Note that we look at MAE, MAPE or MASE value. The lower the better the fit.

นี่คือพล็อตของการพยากรณ์ที่แตกต่างของฉันซึ่งดูไม่น่าเชื่อถือ / ถูกต้องมากนักผ่านการเปรียบเทียบชุด "ชุดทดสอบ" สีแดงและชุด "คาดการณ์" สีน้ำเงิน พล็อตของการคาดการณ์ที่แตกต่างกัน การพยากรณ์ที่แตกต่างกัน

ความแม่นยำที่แตกต่างกันของโมเดลการทดสอบและชุดการฝึกอบรมที่เกี่ยวข้อง

Test set
                    ME      RMSE       MAE        MPE     MAPE      MASE      ACF1 Theil's U
theta      -0.07408833 0.2277015 0.1881167 -0.6037191 1.460549 0.2944165 0.1956893 0.8322151
expsmooth  -0.12237967 0.2681452 0.2268248 -0.9823104 1.765287 0.3549976 0.3432275 0.9847223
randomwalk  0.11965517 0.2916008 0.2362069  0.8823040 1.807434 0.3696813 0.4529428 1.0626775
arima      -0.32556886 0.3943527 0.3255689 -2.5326397 2.532640 0.5095394 0.2076844 1.4452932
struc      -0.39735804 0.4573140 0.3973580 -3.0794740 3.079474 0.6218948 0.3841505 1.6767075

Training set
                     ME      RMSE       MAE         MPE     MAPE      MASE    ACF1 Theil's U
theta      2.934494e-02 0.2101747 0.1046614  0.30793753 1.143115 0.1638029  0.2191889194        NA
randomwalk 2.953975e-02 0.2106058 0.1050209  0.31049479 1.146559 0.1643655  0.2190857676        NA
expsmooth  1.277048e-02 0.2037005 0.1078265  0.14375355 1.176651 0.1687565 -0.0007393747        NA
arima      4.001011e-05 0.2006623 0.1079862 -0.03405395 1.192417 0.1690063 -0.0091275716        NA
struc      5.011615e-03 1.0068396 0.5520857  0.18206018 5.989414 0.8640550  0.1499843508        NA

จากความถูกต้องของแบบจำลองเราจะเห็นได้ว่าแบบจำลองที่แม่นยำที่สุดคือแบบจำลอง theta ฉันไม่แน่ใจว่าทำไมการคาดการณ์จึงไม่ถูกต้องอย่างมากและฉันคิดว่าหนึ่งในเหตุผลที่เป็นเช่นนั้นฉันไม่ได้ปฏิบัติกับ "ค่าผิดปกติ" ในชุดข้อมูลของฉันทำให้การคาดการณ์ไม่ดีสำหรับทุกรุ่น

นี่คือแผนค่าผิดปกติของฉัน

พล็อต Outliers ค่าผิดปกติ

เอาต์พุต tsoutliers

ARIMA(0,1,0)(0,0,1)[12]                    

Coefficients:
        sma1    LS46    LS51    LS61    TC133   LS181   AO183   AO184   LS185   TC186    TC193    TC200
      0.1700  0.4316  0.6166  0.5793  -0.5127  0.5422  0.5138  0.9264  3.0762  0.5688  -0.4775  -0.4386
s.e.  0.0768  0.1109  0.1105  0.1106   0.1021  0.1120  0.1119  0.1567  0.1918  0.1037   0.1033   0.1040
       LS207    AO237    TC248    AO260    AO266
      0.4228  -0.3815  -0.4082  -0.4830  -0.5183
s.e.  0.1129   0.0782   0.1030   0.0801   0.0805

sigma^2 estimated as 0.01258:  log likelihood=205.91
AIC=-375.83   AICc=-373.08   BIC=-311.19

 Outliers:
    type ind    time coefhat  tstat
1    LS  46 1996:10  0.4316  3.891
2    LS  51 1997:03  0.6166  5.579
3    LS  61 1998:01  0.5793  5.236
4    TC 133 2004:01 -0.5127 -5.019
5    LS 181 2008:01  0.5422  4.841 
6    AO 183 2008:03  0.5138  4.592
7    AO 184 2008:04  0.9264  5.911
8    LS 185 2008:05  3.0762 16.038
9    TC 186 2008:06  0.5688  5.483
10   TC 193 2009:01 -0.4775 -4.624
11   TC 200 2009:08 -0.4386 -4.217
12   LS 207 2010:03  0.4228  3.746
13   AO 237 2012:09 -0.3815 -4.877
14   TC 248 2013:08 -0.4082 -3.965
15   AO 260 2014:08 -0.4830 -6.027
16   AO 266 2015:02 -0.5183 -6.442

ฉันต้องการทราบว่าฉันจะ "วิเคราะห์" / คาดการณ์ข้อมูลของฉันเพิ่มเติมได้อย่างไรด้วยชุดข้อมูลที่เกี่ยวข้องเหล่านี้และการตรวจจับค่าผิดปกติ ฯลฯ โปรดช่วยฉันในการรักษาค่าผิดปกติของฉันด้วยเช่นกัน

ท้ายนี้ฉันอยากจะรู้วิธีผสมผสานตัวแบบพยากรณ์ต่าง ๆ เข้าด้วยกันเช่นเดียวกับสิ่งที่ @forecaster พูดถึงในลิงค์หมายเลข 1 การรวมตัวแบบที่แตกต่างกันจะทำให้การพยากรณ์ / พยากรณ์ดีขึ้น

แก้ไข

ฉันต้องการรวมค่าผิดปกติในรุ่นอื่นด้วย

ฉันลองใช้รหัสแล้วเช่น

forecast.ets( res$fit ,h=period,xreg=newxreg)
Error in if (object$components[1] == "A" & is.element(object$components[2], : argument is of length zero

forecast.StructTS(res$fit,h=period,xreg=newxreg)
Error in predict.Arima(object, n.ahead = h) : 'xreg' and 'newxreg' have different numbers of columns

มีข้อผิดพลาดเกิดขึ้นและฉันไม่แน่ใจเกี่ยวกับรหัสที่ถูกต้องเพื่อรวมค่าผิดปกติเป็น regressors นอกจากนี้ฉันจะทำงานกับ thetaf หรือ rwf ได้อย่างไรเนื่องจากไม่มี Forecast.theta หรือ forecast.rwf


1
บางทีคุณควรใช้วิธีการอื่นที่จะได้รับความช่วยเหลือตามที่แก้ไขใหม่อย่างต่อเนื่องดูเหมือนจะไม่ทำงาน
IrishStat

ฉันเห็นด้วยกับ @irishstat คำตอบทั้งสองด้านล่างนี้ให้คำตอบสำหรับคำถามของคุณโดยตรงและดูเหมือนว่าจะได้รับความสนใจเล็กน้อย
นักพยากรณ์

ลองอ่านเอกสารเกี่ยวกับฟังก์ชั่นเฉพาะที่ให้ข้อผิดพลาดกับคุณ ETS และ thetaf ไม่มีความสามารถในการจัดการ regressors
นักพยากรณ์

คำตอบ:


7

คำตอบนี้ยังเกี่ยวข้องกับจุดที่ 6 และ 7 ของคุณคำถามอื่น

ค่าผิดปกติถูกเข้าใจว่าเป็นการสังเกตที่ไม่ได้อธิบายโดยตัวแบบดังนั้นบทบาทของพวกเขาในการคาดการณ์จึงถูก จำกัด ในแง่ที่ว่าการปรากฏตัวของค่าผิดปกติใหม่จะไม่ถูกทำนาย สิ่งที่คุณต้องทำคือการรวมค่าผิดปกติเหล่านี้ในสมการพยากรณ์

ในกรณีของการเติมผิดเพี้ยน (ซึ่งมีผลต่อการสังเกตเดียว) ตัวแปรที่มีค่าผิดปกตินี้จะถูกเติมเต็มด้วยศูนย์เนื่องจากตรวจพบค่าผิดปกติสำหรับการสังเกตในตัวอย่าง; ในกรณีของการเลื่อนระดับ (การเปลี่ยนแปลงถาวรในข้อมูล) ตัวแปรจะถูกเติมด้วยตัวแปรเพื่อให้การเปลี่ยนแปลงในการคาดการณ์


ต่อไปฉันจะแสดงวิธีรับการพยากรณ์ใน R ตามโมเดล ARIMA โดยมีค่าผิดปกติที่ตรวจพบโดย 'tsoutliers' กุญแจสำคัญคือการกำหนดอย่างถูกต้องอาร์กิวเมนต์ที่ส่งผ่านไปnewxregpredict

(นี่เป็นเพียงเพื่อแสดงคำตอบสำหรับคำถามของคุณเกี่ยวกับวิธีปฏิบัติต่อผู้ผิดกฎหมายเมื่อคาดการณ์ฉันไม่ได้แก้ไขปัญหาว่าแบบจำลองหรือการคาดการณ์ที่เป็นทางออกที่ดีที่สุด)

require(tsoutliers)
x <- c(
  7.55,  7.63,  7.62,  7.50,  7.47,  7.53,  7.55,  7.47,  7.65,  7.72,  7.78,  7.81,
  7.71,  7.67,  7.85,  7.82,  7.91,  7.91,  8.00,  7.82,  7.90,  7.93,  7.99,  7.93,
  8.46,  8.48,  9.03,  9.43, 11.58, 12.19, 12.23, 11.98, 12.26, 12.31, 12.13, 11.99,
 11.51, 11.75, 11.87, 11.91, 11.87, 11.69, 11.66, 11.23, 11.37, 11.71, 11.88, 11.93,
 11.99, 11.84, 12.33, 12.55, 12.58, 12.67, 12.57, 12.35, 12.30, 12.67, 12.71, 12.63,
 12.60, 12.41, 12.68, 12.48, 12.50, 12.30, 12.39, 12.16, 12.38, 12.36, 12.52, 12.63)
x <- ts(x, frequency=12, start=c(2006,1))
res <- tso(x, types=c("AO","LS","TC"))

# define the variables containing the outliers for
# the observations outside the sample
npred <- 12 # number of periods ahead to forecast 
newxreg <- outliers.effects(res$outliers, length(x) + npred)
newxreg <- ts(newxreg[-seq_along(x),], start = c(2012, 1))

# obtain the forecasts
p <- predict(res$fit, n.ahead=npred, newxreg=newxreg)

# display forecasts
plot(cbind(x, p$pred), plot.type = "single", ylab = "", type = "n", ylim=c(7,13))
lines(x)
lines(p$pred, type = "l", col = "blue")
lines(p$pred + 1.96 * p$se, type = "l", col = "red", lty = 2)  
lines(p$pred - 1.96 * p$se, type = "l", col = "red", lty = 2)  
legend("topleft", legend = c("observed data", 
  "forecasts", "95% confidence bands"), lty = c(1,1,2,2), 
  col = c("black", "blue", "red", "red"), bty = "n")

การคาดการณ์

แก้ไข

ฟังก์ชั่นpredictที่ใช้อยู่เหนือการคาดการณ์ผลตอบแทนตามแบบ ARIMA เลือก ARIMA (2,0,0) เก็บไว้ในและค่าผิดปกติที่ตรวจพบres$fit res$outliersเรามีสมการโมเดลดังนี้:

Yเสื้อ=ΣJ=1ม.ωJLJ(B)ผมเสื้อ(เสื้อJ)+θ(B)φ(B)α(B)εเสื้อ,εเสื้อ~ยังไม่มีข้อความผมD(0,σ2),

LJJtsoutliersผมเสื้อ


ดังนั้นสิ่งที่คุณทำคือการเพิ่มค่าผิดปกติในการโต้แย้ง "newxreg" สิ่งนี้เรียกว่า regressor หรือไม่? ฉันจะรู้การใช้ regressor ได้ไหม? เพิ่มเติมผ่านการใช้ regressor ในฟังก์ชั่น "ทำนาย" มันยังใช้ ARIMA อยู่หรือไม่? หรือมันเป็นวิธีการพยากรณ์ที่แตกต่างกัน? ขอบคุณมากสำหรับความช่วยเหลือในการใช้ tsoutliers = D
เท็ด

เป็นไปได้หรือไม่ที่จะรวมค่าผิดปกติเป็น regressor เพื่อใช้ในการพยากรณ์ในรุ่นอื่น ๆ ด้วย? เช่นโมเดลโครงสร้างพื้นฐาน, Theta, Random Walk และอื่น ๆ ?
เท็ด

@ ใช่ใช่การคาดการณ์นั้นอิงจากแบบจำลอง ARMA ฉันได้แก้ไขคำตอบของฉันพร้อมรายละเอียดบางอย่างเกี่ยวกับเรื่องนี้
javlacalle

คุณสามารถรวมตัวแปร regressor ที่มีเอฟเฟกต์เช่นการเลื่อนระดับ, ค่าผิดปกติเพิ่มเติม, ... ในรุ่นอื่นเช่นกัน, การเดินแบบสุ่ม, อนุกรมเวลาอนุกรมโครงสร้าง, ... หากคุณถามวิธีการใช้ซอฟต์แวร์บางอย่างเพื่อคุณ ควรถามในโพสต์อื่นและพิจารณาว่าคำถามนั้นเหมาะสำหรับไซต์อื่นเช่นStackoverflowหรือไม่
javlacalle

โอวตกลง. คำถามอื่นก็คือคุณรู้หรือไม่ว่ามีความแตกต่างระหว่างการใช้การทำนายและการคาดการณ์ ? หากมีสิ่งที่เป็นความแตกต่าง
เท็ด

2

การใช้ซอฟต์แวร์ชิ้นหนึ่งที่ฉันได้ช่วยพัฒนาแบบจำลองที่สมเหตุสมผลสำหรับการสังเกต 72 ข้อของคุณจะรวมถึงการแปลงพลังงาน (บันทึก) เนื่องจากความแปรปรวนข้อผิดพลาดสามารถเชื่อมโยงกับค่าที่คาดไว้ สิ่งนี้ยังเห็นได้ชัดเจนจากเนื้อเรื่องดั้งเดิมที่ดวงตาสามารถตรวจจับความแปรปรวนที่เพิ่มขึ้นในระดับที่สูงขึ้น ป้อนคำอธิบายรูปภาพที่นี่ด้วย real.fit/forecast ป้อนคำอธิบายรูปภาพที่นี่และพล็อตสุดท้ายที่ป้อนคำอธิบายรูปภาพที่นี่เหลืออยู่ หมายเหตุข้อ จำกัด ความเชื่อมั่นที่สมจริงยิ่งขึ้นโดยคำนึงถึงการแปลงพลังงาน แม้ว่าการตอบกลับนี้จะไม่ใช้ R แต่จะยกระดับบาร์ขึ้นอยู่กับรุ่นที่เหมาะสมโดยใช้ R อาจรวมถึง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.