ทำไมการติดตาม

ในโมเดล${y} = X \beta + \epsilon$เราสามารถประมาณ$\beta$โดยใช้สมการปกติ:

$$\hat{\beta} = (X'X)^{-1}X'y,$$ และเราจะได้รับ Y =Xβ $$\hat{y} = X \hat{\beta}.$$

เวกเตอร์ของส่วนที่เหลือประมาณโดย

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

ที่

$$Q = I - X (X'X)^{-1} X'.$$

คำถามของฉันคือวิธีการที่จะได้รับข้อสรุปของ

$$\textrm{tr}(Q) = n - p.$$

ข้อสรุปนั้นนับขนาดของปริภูมิเวกเตอร์ อย่างไรก็ตามมันไม่เป็นความจริงโดยทั่วไป

คุณสมบัติพื้นฐานที่สุดของการคูณเมทริกซ์แสดงให้เห็นว่าการแปลงเชิงเส้นแทนด้วยเมทริกซ์ตาม$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

การแสดงว่าเป็นผู้ประกอบการฉาย ดังนั้นส่วนประกอบของมัน

$$\mathbb{Q} = 1 - \mathbb{H}$$

(ตามที่ระบุในคำถาม) ยังเป็นตัวดำเนินการฉายภาพ ร่องรอยของคืออันดับของเอช (ดูด้านล่าง) มาจากไหนร่องรอยของQเท่ากับn -ชั่วโมง$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

จากสูตรของมันเป็นที่ชัดเจนว่าคือเมทริกซ์ที่เกี่ยวข้องกับองค์ประกอบของการแปลงเชิงเส้นสองอันJ = ( X ′ X ) - X ′และXเอง ครั้งแรก ( J ) แปลงnเวกเตอร์Yเข้าไปในพีเวกเตอร์β ที่สอง ( X ) คือการเปลี่ยนแปลงจากR PไปR nกำหนดโดยY = X $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. อันดับของมันต้องไม่เกินขนาดที่เล็กกว่าของสองมิติซึ่งในการตั้งค่ากำลังสองน้อยที่สุดจะเป็นเสมอ(แต่อาจน้อยกว่าpเมื่อใดก็ตามที่Jไม่อยู่ในอันดับเต็ม) ดังนั้นอันดับขององค์ประกอบH = X Jไม่สามารถเกินอันดับXได้ ข้อสรุปที่ถูกต้องนั้นคือ$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

หากว่า Jนั้นอยู่ในอันดับเต็มเท่านั้น และโดยทั่วไป n ≥ TR ( Q ) ≥ n -พี ในกรณีก่อนหน้านี้โมเดลได้รับการกล่าวถึงว่า "สามารถระบุตัวตนได้" (สำหรับค่าสัมประสิทธิ์ของ β )$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

จะอยู่ในอันดับที่สมบูรณ์หากว่า X ′ Xกลับด้านไม่ได้$\mathbb{J}$$X^\prime X$

---

การตีความทางเรขาคณิต

หมายถึงการฉายภาพมุมฉากจาก n- vector y (แสดงถึง "การตอบสนอง" หรือ "ตัวแปรตาม") บนพื้นที่ซึ่งถูกทอดโดยคอลัมน์ของ X (แทน "ตัวแปรอิสระ" หรือ "covariates") ความแตกต่าง Q = 1 - Hแสดงให้เห็นว่าจะสลายตัว n -vector yใด ๆให้เป็นผลรวมของเวกเตอร์ y = H ( y ) + Q ( y ) โดยที่ตัวแรกสามารถ "ทำนาย" จาก Xและที่สองตั้งฉากกับมัน . เมื่อ$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$คอลัมน์ของสร้างp -dimensional space (นั่นคือไม่ใช่ collinear), อันดับของHคือpและอันดับของQคือn - p , สะท้อนn - pมิติเพิ่มเติมของการเปลี่ยนแปลงในการตอบสนองที่ไม่ได้เป็นตัวแทน ภายในตัวแปรอิสระ การติดตามให้สูตรพีชคณิตสำหรับมิติเหล่านี้$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

พื้นหลังพีชคณิตเชิงเส้น

ผู้ประกอบการฉายบนปริภูมิเวกเตอร์ (เช่นR n ) คือการแปลงเชิงเส้นP : V → V (นั่นคือการendomorphismของV ) เช่นที่P 2 = P สิ่งนี้ทำให้ส่วนเสริมQ = 1 - Pเป็นตัวดำเนินการฉายภาพเช่นกันเพราะ$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

ประมาณการทั้งหมดแก้ไของค์ประกอบของภาพของพวกเขาทุกคนสำหรับเมื่อใดก็ตามที่เราอาจจะเขียนV = P ( W )สำหรับบางW ∈ Vดังนั้นW = P ( V ) = P 2 ( V ) = P ( P ( โวลต์) ) = P ( W $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

เกี่ยวข้องกับ endomorphism ของVเป็นสอง subspaces: kernel ker ( P ) = { v ∈ $\mathbb{P}$$V$ และรูปภาพ Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ ทุกเวกเตอร์วี∈ Vสามารถเขียนในรูปแบบ V = W + Uที่ W ∈ อิ่ม( P )และยู∈ เคอร์( P ) ดังนั้นเราอาจสร้างพื้นฐาน E ∪ Fสำหรับ Vที่ E ⊂ Ker ( P )และ F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$ ) เมื่อ Vเป็นมิติ จำกัด , เมทริกซ์ของ Pในพื้นฐานนี้จะอยู่ในรูปแบบบล็อกเส้นทแยงมุม, กับหนึ่งบล็อก (ตรงกับการกระทำของ Pใน E ) ทั้งหมดศูนย์และอื่น ๆ (สอดคล้องกับการกระทำของ Pใน F ) เท่ากับฉโดยฉเมทริกซ์เอกลักษณ์ที่มิติของ Fคือฉ ร่องรอยของ Pคือผลรวมของค่าในแนวทแยงและดังนั้นจึงจะต้องเท่ากับฉ× 1 = F หมายเลขนี้คืออันดับของ$F \subset \text{Im}(\mathbb{P})$$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$ : มิติของภาพ$\mathbb{P}$

ร่องรอยของเท่ากับร่องรอยของ1 (เท่ากับnมิติของV ) ลบร่องรอยของP$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

ผลลัพธ์เหล่านี้อาจสรุปได้ด้วยการยืนยันว่าร่องรอยของการฉายเท่ากับอันดับของมัน

@Dougal ได้ให้คำตอบแล้ว แต่นี่เป็นอีกคำตอบที่ง่ายกว่าเล็กน้อย

$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$$n \le p$$X$

$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$) แล้วก็

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ $Q$$Q$$n-p$$p$$Q$$n-p$