ฉันตระหนักถึง LASSO, สันและชนิดยืดหยุ่นสุทธิของการทำให้เป็นระเบียบในแบบจำลองการถดถอยเชิงเส้น

คำถาม:

การประมาณแบบลงโทษนี้ (หรือคล้ายกัน) สามารถนำไปใช้กับแบบจำลอง ARIMA (ที่มีส่วน MA ที่ไม่ว่างเปล่า) ได้หรือไม่?

$p_{max}$ $q_{max}$ $p \leqslant p_{max}$ $q \leqslant q_{max}$

คำถามเพิ่มเติมของฉันคือ:

เราสามารถรวมคำทั้งหมดได้สูงสุด ( , ) แต่จะลงโทษขนาดของสัมประสิทธิ์ (อาจเป็นไปได้จนหมดศูนย์) มันสมเหตุสมผลไหม $p_{max}$ $q_{max}$
ถ้าเป็นเช่นนั้นมีการนำไปใช้ใน R หรือซอฟต์แวร์อื่น ๆ หรือไม่? ถ้าไม่ปัญหาคืออะไร

โพสต์ที่เกี่ยวข้องบ้างที่สามารถพบได้ที่นี่

+1 สำหรับคำถามที่ดีมาก เนื่องจาก P, Q เป็นค่าที่ไม่ต่อเนื่องจึงอาจมีประสิทธิภาพมากกว่าในการค้นหากริดเพื่อค้นหาลำดับที่ดีที่สุดของ P, Q?

— พยากรณ์

ฉันดีใจที่คุณชอบมัน! ใช่การค้นหากริดเป็นหนึ่งในตัวเลือกในกรอบงานที่ฉันอ้างถึงว่า "ตัวปกติ" มีอยู่คนหนึ่งอาจจะค้นหาผ่านตารางของการรวมกันเป็นไปได้ของ

จาก

ไป

)

อย่างไรก็ตามนี่ยังคงเป็นส่วนหนึ่งของ "กรอบงานปกติ" เป็นอีกทางเลือกหนึ่งที่ฉันสนใจในการรักษาความล่าช้าทั้งหมดแต่ปรับขนาดของสัมประสิทธิ์

(p, q)

$(p,q)$

(0, 0)

$(0,0)$

(p_{m a x}, q_{m a x})

$(p_{max},q_{max})$

— Richard Hardy

columbia.edu/~sn2294/papers/forecast.pdf สมมุติว่า LASSO ใช้งานได้ดีกว่าเพราะคุณสามารถข้ามความล่าช้าได้แทนการใส่ค่าสูงสุด เดียวกันสามารถทำได้โดย AIC แต่แล้วมันก็มีราคาแพงคำนวณ

— Cagdas Ozgenc

@CagdasOzgenc ฉันอ่านผ่านกระดาษ แต่ดูเหมือนจะไม่ได้จัดการกับการทำให้เป็นมาตรฐานที่ใช้กับแบบจำลอง ARIMA (แม้ว่าจะกล่าวถึงแบบจำลอง ARMA ในบริบทของเกณฑ์ข้อมูล) คุณช่วยชี้ให้เห็นว่าส่วนใดของบทความที่เกี่ยวข้องกับคำถามของฉัน

— Richard Hardy

5.3 ตารางประกอบด้วยโมเดล ARMAX ผลลัพธ์นำไปใช้กับโมเดล ARMA

— Cagdas Ozgenc

ตอบคำถาม 1.

เฉิน & ชาน"การคัดเลือก ARMA ผ่านชุดปรับตัว" (2011) * ใช้วิธีแก้ปัญหาเพื่อหลีกเลี่ยงการประมาณค่าความน่าจะเป็นสูงสุดที่คำนวณได้ อ้างถึงกระดาษพวกเขา

เสนอให้หาโมเดลย่อย ARMA ที่ดีที่สุดโดยปรับการถดถอยแบบ Lasso ที่ปรับได้ของอนุกรมเวลาบน lags ของตัวเองและของเหลือที่ได้รับจากการติดตั้ง autoregression แบบยาวเข้ากับ s <... > [U] เงื่อนไขที่ไม่เป็นระเบียบแบบไม่ต่อเนื่องวิธีการที่นำเสนอบรรลุคุณสมบัติของ oracle กล่าวคือมันระบุโมเดล ARMA เซตย่อยที่ถูกต้องพร้อมความน่าจะเป็นหนึ่งเมื่อขนาดตัวอย่างเพิ่มขึ้นเป็นอนันต์และ <... > ตัวประมาณค่าสัมประสิทธิ์ที่ไม่ใช่ศูนย์เป็นแบบปกติเชิงเส้นกำกับด้วยการกระจายตัวแบบ จำกัด เหมือนกับเมื่อค่าสัมประสิทธิ์ศูนย์เป็นที่รู้จัก $y_t$ $y_t$

ทางเลือกพวกเขาแนะนำการประมาณค่าความน่าจะเป็นสูงสุดและการวิเคราะห์โมเดลสำหรับโมเดล ARMA ของเซ็ตย่อยที่เลือก

Wilms et al. "การระบุตัวตนแบบเบาบางและการประมาณค่าเฉลี่ยเคลื่อนที่แบบเวกเตอร์อัตโนมัติที่มีมิติสูง" (2017) ทำได้มากกว่าที่ฉันถาม แทนที่จะเป็นโมเดล ARIMA ที่ไม่แปรเปลี่ยนพวกเขาใช้เวกเตอร์ ARMA (VARMA) ในมิติที่สูงและพวกเขาใช้การลงโทษสำหรับการประเมินและการเลือกคำสั่งล่าช้า พวกเขานำเสนออัลกอริทึมการประมาณและพัฒนาผลลัพธ์เชิงซีมโทติค $L_1$

โดยเฉพาะอย่างยิ่งพวกเขาใช้กระบวนการสองขั้นตอน พิจารณารูปแบบ VARMA ซึ่งจำเป็นต้องประเมิน แต่คำสั่งล่าช้าและเป็น uknown

y_{t} = \sum_{l = 1}^{p} Φ_{l} y_{t - l} + \sum_{m = 1}^{q} Θ_{m} ε_{t - m} + ε_{t}

$y_t = \sum_{l=1}^p \Phi_l y_{t-l} + \sum_{m=1}^q \Theta_m \varepsilon_{t-m} + \varepsilon_t$

p

$p$

q

$q$

ในขั้นตอนที่ 1 พวกเขาประมาณโมเดล VARMA โดยโมเดล VAR ที่มีลำดับสูงและประเมินโดยใช้ตัวประมาณ Hierarchical VAR ซึ่งวางการลงโทษแบบกลุ่ม - ลาสโซตามลำดับชั้นบนพารามิเตอร์ออโต้แบบก้าวหน้า
(ลำดับความล่าช้าถูกตั้งไว้ที่ ⌋สมการรูปแบบจะมีการประเมินร่วมกันและบรรทัดฐาน Frobenius ของข้อผิดพลาดจะลดลงมีโทษกลุ่มเชือกลำดับชั้นในค่าสัมประสิทธิ์การถดถอย). พวกเขาได้รับสิ่งตกค้างที่จะใช้เป็นผู้รับมอบฉันทะสำหรับข้อผิดพลาดจริงในขั้นที่ 2 $\lfloor 1.5\sqrt{T} \rfloor$ $||y-\hat y||_2^F$
$\hat\varepsilon := y - \hat y$
ในขั้นที่ 2 พวกเขาประเมินรูปแบบ VARX ที่ X หมายถึง lagged เหลือจากขั้นที่ 1 นั่นคือพวกเขา Minic รูปแบบ VARMA แต่การใช้ประมาณตกค้างในสถานที่ของข้อผิดพลาดจริงซึ่งจะช่วยให้การใช้ประมาณการเดียวกัน (ลำดับชั้นกลุ่มเชือก) อีกครั้งเช่นเดียวกับในขั้นที่ 1 (และ
$y_{t} = \sum_{l = 1}^{\hat{p}} Φ_{l} y_{t - l} + \sum_{m = 1}^{\hat{q}} Θ_{m} {\hat{ε}}_{t - m} + u_{t},$ $y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$
$\hat p$ $\hat q$ ถูกตั้งค่าเป็น.) $\lfloor 1.5\sqrt{T} \rfloor$

แนวทางของ Wilms และคณะ จะถูกนำมาใช้ในแพคเกจ R "Bigtime"

อ้างอิง

เฉิน, K. , & Chan, KS (2011) การเลือกชุดย่อย ARMA ผ่านทาง Lasso ที่ปรับได้ สถิติและส่วนต่อประสาน, 4 (2), 197-205
Wilms, I. , Basu, S. , Bien, J. , & Matteson, DS (2017) การจำแนกแบบเบาบางและการประมาณค่าเฉลี่ยเคลื่อนที่แบบเวกเตอร์อัตโนมัติเชิงมิติระดับสูง พิมพ์ล่วงหน้า arXiv arXiv: 1707.09208

^{* ขอบคุณ @hejseb สำหรับลิงก์}

— Richard Hardy
แหล่งที่มา

บทความนี้ใช้งานได้สดมากโพสต์บน arXiv เมื่อวานนี้

— Richard Hardy

มีการนำไปใช้ใน python หรือ R หรือไม่?

— David Masip

@DavidMasip โปรดดูการโพสต์ที่ปรับปรุงแล้วสำหรับการนำไปใช้งาน R

— Richard Hardy

การทำให้เป็นมาตรฐานสำหรับโมเดล ARIMA

ตอบคำถาม 1.