พิสูจน์สูตร LOOCV

จากบทนำสู่การเรียนรู้เชิงสถิติโดย James et al. การประมาณค่าการตรวจสอบความถูกต้องแบบข้ามใบ (LOOCV) ถูกกำหนดโดย ที่ 2

CV (n) = 1 n \sum i = 1 n MSE i

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

MSEi=(yi−y^i)2 $\text{MSE}_i = (y_i-\hat{y}_i)^2$

โดยไม่มีการพิสูจน์สมการ (5.2) ระบุว่าสำหรับการถดถอยแบบพหุนามหรือพหุนามอย่างน้อยที่สุด (ไม่ว่าสิ่งนี้จะนำไปใช้กับการถดถอยของตัวแปรเพียงตัวเดียวไม่รู้จักกับฉัน) โดยที่ "คือ TH ค่าติดตั้งจากน้อยสแควร์เดิมพอดี ( ความคิดที่ไม่มีสิ่งนี้หมายความว่าโดยวิธีการที่มันไม่ได้หมายความว่าจากการใช้ทั้งหมดของจุดในชุดข้อมูล?) และคืองัด" ซึ่งถูกกำหนดโดย

CV (n) = 1 n \sum i = 1 n (y i - y ^ i 1 - h i) 2

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

y^i $\hat{y}_i$

i $i$

hi $h_i$

h i = 1 n + ( x i - x ¯ ) 2 \sum j = 1 n ( x j - x ¯ ) 2 .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

เราจะพิสูจน์สิ่งนี้ได้อย่างไร

ความพยายามของฉัน: หนึ่งอาจเริ่มต้นด้วยการสังเกตว่า แต่แยกออกจากกัน จากนี้ (และถ้าฉันจำได้ว่าสูตรสำหรับนั้นเป็นจริงสำหรับการถดถอยเชิงเส้นอย่างง่ายเท่านั้น ... ) ฉันไม่แน่ใจว่าจะดำเนินการต่อจากที่นี่ได้อย่างไร

y^i = β 0 + \sum i = 1 k β k X k + some polynomial terms of degree \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

hi $h_i$

— clarinetist
แหล่งที่มา

สมการของคุณดูเหมือนจะใช้

i $i$ มากกว่าหนึ่งอย่างหรือสับสนอย่างมาก ทั้งสองวิธีความชัดเจนเพิ่มเติมจะดี

— Glen_b -Reinstate Monica

@Glen_b ฉันเพิ่งเรียนรู้เกี่ยวกับ LOOCV เมื่อวานนี้ดังนั้นฉันอาจไม่เข้าใจบางสิ่งอย่างถูกต้อง จากสิ่งที่ฉันเข้าใจคุณมีชุดของจุดข้อมูลพูด

X={(xi,yi):i∈Z+} $\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$ }

ด้วย LOOCV คุณมีการตรวจสอบความถูกต้องแต่ละค่า (จำนวนเต็มบวก)

k $k$ การตรวจสอบความถูกต้อง

Vk={(xk,yk)} $\mathcal{V}_k = \{(x_k, y_k)\}$ และชุดทดสอบ

Tk=X∖Vk $\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$ ใช้ในการสร้างแบบจำลองสำหรับแต่ละคน

k $k$ . ดังนั้นพูดเช่นเราเหมาะสมกับรูปแบบของเราโดยใช้การถดถอยเชิงเส้นอย่างง่ายที่มีสามจุดข้อมูล

X={(0,1),(1,2),(2,3)} $\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$ }

เราจะได้ (ต่อไป)

— Clarinetist

@Glen_b

V1={(0,1)} $\mathcal{V}_1 = \{(0, 1)\}$ และ

T1={(1,2),(2,3)} $\mathcal{T}_1 = \{(1, 2), (2, 3)\}$ }

โดยใช้จุดใน

T1 $\mathcal{T}_1$ เราจะพบว่าการใช้การถดถอยเชิงเส้นอย่างง่ายที่เราได้รับรูปแบบ

จากนั้นเราคำนวณ

โดยใช้

เป็นชุดการตรวจสอบความถูกต้องและรับ

y^i=X+1 $\hat{y}_i = X + 1$

MSE $\text{MSE}$

V1 $\mathcal{V}_1$

y1=1 $y_1 = 1$ (เพียงใช้จุดที่กำหนด) และ

ให้

ตกลงบางทีการใช้ตัวยกไม่ใช่ความคิดที่ดีที่สุด - ฉันจะเปลี่ยนแปลงสิ่งนี้ในโพสต์ดั้งเดิม y^(1)1=0+1=1 $\hat{y}_1^{(1)} = 0 + 1 = 1$

MSE1=0 $\text{MSE}_1 = 0$

— คลาริเน็ต

นี่คือบางส่วนเอกสารประกอบการบรรยายเกี่ยวกับการได้มาpages.iu.edu/~dajmcdon/teaching/2014spring/s682/lectures/...

— ซาเวียร์ Bourret Sicotte

ฉันจะแสดงผลลัพธ์ของการถดถอยเชิงเส้นหลายครั้งไม่ว่า regressors จะเป็นพหุนามของหรือไม่ ในความเป็นจริงมันจะแสดงมากกว่าสิ่งที่คุณถามเล็กน้อยเพราะมันแสดงให้เห็นว่าแต่ละ LOOCV เหลือเหมือนกันกับน้ำหนักยกน้ำหนักที่สอดคล้องกันจากการถดถอยเต็มไม่เพียง แต่คุณจะได้รับข้อผิดพลาด LOOCV เช่นเดียวกับใน (5.2) อาจเป็นวิธีอื่น ๆ ที่ค่าเฉลี่ยเห็นด้วยแม้ว่าจะไม่ใช่แต่ละคำในค่าเฉลี่ยก็เหมือนกัน) $X_t$

ให้ฉันใช้เสรีภาพในการใช้สัญกรณ์ดัดแปลงเล็กน้อย

ครั้งแรกที่เราแสดงให้เห็นว่า ที่เป็นประมาณการโดยใช้ข้อมูลทั้งหมดและประมาณการเมื่อออกจากสังเกตทีขอให้ได้รับการกำหนดให้เป็นเวกเตอร์แถวดังกล่าวว่าβมีความคลาดเคลื่อน

β^- β^(t) = (u ^ t 1 - h t) (X' X) - 1 X' t, (A)

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

β^ $\hat\beta$

β^(t) $\hat\beta_{(t)}$

X(t) $X_{(t)}$

t $t$

Xt $X_t$

y^t=Xtβ^ $\hat y_t=X_t\hat\beta$

u^t $\hat u_t$

การพิสูจน์ใช้ผลพีชคณิตเมทริกซ์ต่อไปนี้

Let $A$ be a nonsingular matrix, $b$ a vector and $\lambda$ a scalar. If

λ \neq - 1 b ' A - 1 b

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$ Then

(A + λ b b') - 1 = A - 1 - (λ 1 + λ b ' A - 1 b) A - 1 b b' A - 1 (B)

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

The proof of (B) follows immediately from verifying

{A - 1 - (λ 1 + λ b ' A - 1 b) A - 1 b b' A - 1} (A + λ b b') = I .

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

The following result is helpful to prove (A)

(X' (t) X (t)) - 1 X' t = (1 1 - h t) (X' X) - 1 X' t . (C)

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Proof of (C): By (B) we have, using $\sum_{t=1}^TX_t'X_t=X'X$ ,

(X' (t) X (t)) - 1 = (X' X - X' t X t) - 1 = (X' X) - 1 + ( X ' X ) - 1 X ' t X t ( X ' X ) - 1 1 - X t ( X ' X ) - 1 X ' t .

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$ So we find

(X' (t) X (t)) - 1 X' t = (X' X) - 1 X' t + (X' X) - 1 X' t (X t ( X ' X ) - 1 X ' t 1 - X t ( X ' X ) - 1 X ' t) = (1 1 - h t) (X' X) - 1 X' t .

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

The proof of (A) now follows from (C): As

X' X β^= X' y,

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$ we have

(X' (t) X (t) + X' t X t) β^= X' (t) y (t) + X' t y t,

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$ or

{Ik+(X′(t)X(t))−1X′tXt}β^=β^(t)+(X′(t)X(t))−1X′t(Xtβ^+u^t).

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$ So,

β^= β^(t) + (X' (t) X (t)) - 1 X' t u^t = β^(t) + (X' X) - 1 X' t u ^ t 1 - h t,

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$ where the last equality follows from (C).

Now, note $h_t=X_t(X'X)^{-1}X_t'$ . Multiply through in (A) by $X_t$ , add $y_t$ on both sides and rearrange to get, with $\hat u_{(t)}$ the residuals resulting from using $\hat\beta_{(t)}$ ( $y_t-X_t\hat\beta_{(t)}$ ),

u^(t) = u^t + (u ^ t 1 - h t) h t

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$ or

u^(t) = u ^ t ( 1 - h t ) + u ^ t h t 1 - h t = u ^ t 1 - h t

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— Christoph Hanck
แหล่งที่มา

The definition for

X(t) $X_{(t)}$ is missing in your answer. I assume this is a matrix

X $X$ with row

Xt $X_t$ removed.

— mpiktas

Also mentioning the fact that

X′X=∑Tt=1X′tXt $X'X=\sum_{t=1}^T X_t'X_t$ would be helpful too.

— mpiktas

@mpiktas, yes, thanks for the pointers. I edited to take the first comment into account. Where exactly would the second help? Or just leave it in your comment?

— Christoph Hanck

When you start the proof of (C) you write

(X′(t)X(t))−1=(X′X−X′tXt)−1 $(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$ . That is a nice trick, but I doubt that casual reader is aware of it.

— mpiktas

Two years later... I appreciate this answer even more, now that I've gone through a graduate-level linear models sequence. I'm re-learning this material with this new perspective. Do you have any suggested references (textbooks?) which go through derivations like what you have in this answer in detail?

— Clarinetist