เหตุใดจึงใช้เกณฑ์ข้อมูล (ไม่ได้ปรับ ) เพื่อเลือกลำดับความล่าช้าที่เหมาะสมในรุ่นอนุกรมเวลา

9

ในโมเดลอนุกรมเวลาเช่น ARMA-GARCH เพื่อเลือกความล่าช้าหรือลำดับของเกณฑ์ข้อมูลที่แตกต่างกันของโมเดลเช่น AIC, BIC, SIC เป็นต้น

คำถามของฉันง่ายมากเหตุใดเราจึงไม่ใช้การปรับเพื่อเลือกรุ่นที่เหมาะสม เราสามารถเลือกรูปแบบที่นำไปสู่มูลค่าที่สูงขึ้นของการปรับ 2 เนื่องจากทั้งสองปรับและเกณฑ์ข้อมูลลงโทษสำหรับจำนวน regressors เพิ่มเติมในรูปแบบที่ซึ่งอดีตลงโทษและต่อมาลงโทษค่าโอกาส $R^2$ $R^2$ $R^2$ $R^2$

— Neeraj
แหล่งที่มา

ฉันอาจจะพลาดอะไรบางอย่างในคำตอบ (ด้านล่าง) แต่ R-squares รวมถึง Adjusted R-squares นั้นเหมาะสมกับคลาสที่ค่อนข้าง จำกัด ของแบบจำลอง OLS โดยประมาณในขณะที่ AICs, BICs ฯลฯ เหมาะสมกับคลาสที่กว้างขึ้นของเส้นทั่วไป แบบจำลองที่ประมาณไว้อาจมี ML หรือตัวแปร

— Mike Hunter

12

ฉันจะยืนยันว่าอย่างน้อยเมื่อพูดถึงโมเดลเชิงเส้น (เช่นรุ่น AR) การปรับและ AIC นั้นไม่แตกต่างกัน $R^2$

พิจารณาคำถามว่าควรรวมไว้ใน สิ่งนี้เทียบเท่ากับการเปรียบเทียบ แบบจำลอง โดยที่ 0 เรากล่าวว่าเป็นรูปแบบที่แท้จริงถ้า\ขอให้สังเกตว่า\รุ่นจึงซ้อนกัน โพรซีเดอร์การเลือกโมเดลเป็นกฎที่ขึ้นอยู่กับข้อมูลที่เลือกได้หลายรูปแบบ $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$

เราพูดว่า นั้นสอดคล้องกันถ้า $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

พิจารณาปรับ 2 นั่นคือเลือกถ้า\ในฐานะที่เป็นจะลดลง monotonicallyขั้นตอนนี้จะเทียบเท่ากับการลด 2 ในทางกลับกันนี้จะเทียบเท่ากับการลด2) สำหรับขนาดใหญ่พอหลังสามารถเขียนเป็น โดยที่ $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ เป็นตัวประมาณ ML ของความแปรปรวนข้อผิดพลาด เลือกรูปแบบขึ้นอยู่กับจึงเป็น asymptotically เทียบเท่ากับการเลือกรุ่นที่มีขนาดเล็กที่สุด n ขั้นตอนนี้ไม่สอดคล้องกัน

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

ข้อเสนอ :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

หลักฐาน : โดยที่บรรทัดที่ 2 ถึงครั้งสุดท้ายต่อไปนี้เป็นเพราะสถิติเป็นสถิติ LR ในกรณีการถดถอยเชิงเส้นที่ตาม asymptoticการแจกแจง null QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

ตอนนี้ให้พิจารณาเกณฑ์ของ Akaike, ดังนั้น AIC ก็ทำการซื้อขายลดการ SSR โดยนัยโดย regressors เพิ่มเติมกับ "โทษระยะ" , "ซึ่งชี้ไปในทิศทางตรงกันข้าม ดังนั้นเลือกถ้า อื่นเลือก\

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

จะเห็นได้ว่ายังไม่สอดคล้องกันโดยดำเนินการตามข้อพิสูจน์ในบรรทัดที่สามด้วย_1) การปรับและจึงเลือกรุ่น "ใหญ่"มีความเป็นไปได้ในเชิงบวกแม้ว่าเป็นแบบจำลองที่แท้จริง $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

เนื่องจากการลงโทษสำหรับความซับซ้อนใน AIC นั้นใหญ่กว่าการปรับเพียงเล็กน้อยจึงอาจมีแนวโน้มที่จะเลือกได้น้อยกว่า และมันก็มีคุณสมบัติที่ดีอื่น ๆ (การลดความแตกต่างของ KL ให้เหลือน้อยกว่ารุ่นจริงหากไม่ได้อยู่ในชุดของแบบจำลองที่พิจารณา) ที่ไม่ได้ระบุไว้ในบทความ $R^2$

— คริสโตฟฮันค์
แหล่งที่มา

1

คำตอบที่ดี: ไม่หนักเกินไป แต่ก็แน่นอน! หากเคยมีเมื่อวานนี้ฉันจะไม่โพสต์ของฉัน

— Richard Hardy

แล้วกรณี ARMA-GARCH ล่ะ? วิธีจะทำที่เลือก amung MA และ GARCH แง่?

R_{a d j}^{2}

$R^2_{adj}$

— Zachary Blumenfeld

ฉันไม่กล้าพูด ในขณะที่คุณอธิบายมันยังไม่ชัดเจนว่า R2 หมายถึงอะไรสำหรับแบบจำลองดังกล่าว

— Christoph Hanck

5

บทลงโทษในไม่ได้ให้คุณสมบัติที่ดีในแง่ของการเลือกรูปแบบตามที่ AIC หรือ BIC กำหนด บทลงโทษในนั้นเพียงพอที่จะทำให้เป็นตัวประมาณค่าที่ไม่ลำเอียงของประชากรเมื่อผู้ลงทะเบียนไม่มีจริง ๆ เป็นของโมเดล (ตามโพสต์บล็อกของ Dave Giles "In What Sense "ปรับ" R-Squared ไม่มีอคติคืออะไร "และ" เพิ่มเติมเกี่ยวกับคุณสมบัติของสัมประสิทธิ์ "ปรับ" ของการกำหนด " ); อย่างไรก็ตามไม่ใช่ตัวเลือกโมเดลที่ดีที่สุด $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(อาจมีข้อพิสูจน์จากความขัดแย้ง: ถ้า AIC เหมาะสมที่สุดในแง่หนึ่งและ BIC นั้นเหมาะสมที่สุดในอีกแง่หนึ่งและไม่เทียบเท่ากับคู่ใดฝ่ายหนึ่งแล้วก็ไม่เหมาะที่สุด ของประสาทสัมผัสทั้งสองนี้) $R^2_{adj}$ $R^2_{adj}$

— Richard Hardy
แหล่งที่มา

ฉันจะพารามิเตอร์ GARCH จำนวนมากมีการเพิ่มก่อนเพิ่มขึ้น? :) .... ฉันเชื่อว่าการโต้แย้งที่คล้ายกันอาจเกิดขึ้นได้สำหรับการสันนิษฐานว่ามีข้อผิดพลาดที่สัมพันธ์กัน (เช่นเดียวกับในแบบจำลอง MA) แบบจำลอง GLS ไม่ได้ลดผลรวมของส่วนที่เป็นกำลังสอง ทั้งใน MA และ GARCH จะมีการเพิ่มพารามิเตอร์ (ไม่ใช่ตัวแปรอธิบายซึ่งถูกปรับสำหรับ) ถูกเพิ่มเข้ากับโมเดล แมสซาชูเซตและ GARCH พารามิเตอร์ที่ไม่ได้เพิ่มเพื่อลด , แต่พวกเขากำลังเพิ่มเพื่อเพิ่มโอกาสและ / หรือลดลงถ่วงน้ำหนักรวมของเหลือยกกำลังสองเพื่อสะท้อนให้เห็นถึงการขาดเงื่อนไขข้อผิดพลาด IID

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— Zachary Blumenfeld

สิ่งนี้จริง ๆ แล้วเกี่ยวข้องกับโพสต์ดั้งเดิมหรือคำตอบของฉันหรือไม่? ไม่ว่าในกรณีใดฉันเห็นด้วยกับคะแนนของคุณ

— Richard Hardy

สิ่งที่ฉันพยายามจะชี้ให้เห็นก็คือไม่สามารถใช้เพื่อเลือกส่วนประกอบ GARCH (และส่วนประกอบ MA ได้เช่นกัน) เนื่องจากมันใช้เศษส่วนของมากกว่าซึ่งเป็นตัวประมาณค่าแบบเอนเอียง ของความแปรปรวนเมื่อเงื่อนไขข้อผิดพลาดไม่ได้เป็น iid (นี่เป็นกรณีเฉพาะของอคติที่คุณพูดถึง) ในกรณีของ ARMA-GARCH คุณจะไม่เคยเลือกรุ่นที่มีส่วนประกอบ GARCH, แม้ว่าจะมีความผันผวนสุ่มในข้อมูลเพราะมันจะไม่เพิ่มขึ้น 2 โดยพื้นฐานแล้วฉันเห็นด้วยกับคุณโดยพยายามยกตัวอย่างเฉพาะ

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Zachary Blumenfeld